De 5x5 risicomatrix overleeft audits, maar niet kritisch onderzoek

Vraag een implementatieteam waarom hun ISO 27001-risicobeoordeling een vijf-op-vijf-raster is met groen, oranje en rood, en het antwoord luidt in onze ervaring meestal iets in de trant van "dat verwacht de auditor". Beide helften van die zin verdienen meer kritisch onderzoek dan ze krijgen. Niets in de risicoclausules van de norm vraagt om een matrix, en de matrix is een slechte manier om te voldoen aan wat die clausules wel vragen. Het raster blijft bestaan omdat het leesbaar is in een documentcontrole, niet omdat het goed is in het beschrijven van risico’s. En die twee eigenschappen als hetzelfde te behandelen, is volgens ons de stille methodologische fout in veel gecertificeerde ISMS’en.

Wat clausule 6.1.2 daadwerkelijk vereist

ISO/IEC 27001:2022 (derde editie, gepubliceerd op 25 oktober 2022; de klimaatactie-amendement Amd 1:2024, gepubliceerd op 23 februari 2024, wijzigt clausule 6.1.2 niet) besteedt één clausule, 6.1.2, aan het risicobeoordelingsproces. Daarin wordt van de organisatie verlangd dat zij een proces definieert en toepast dat risicocriteria vaststelt, inclusief criteria voor risicoacceptatie; dat herhaalde beoordelingen "consistente, valide en vergelijkbare resultaten" opleveren; en dat risico’s worden geïdentificeerd, geanalyseerd door de gevolgen en waarschijnlijkheid te beoordelen om risiconiveaus te bepalen, en geëvalueerd tegen de criteria (ISO/IEC 27001:2022, clausule 6.1.2).

Let op wat clausule 6.1.2 niet specificeert. Geen matrix. Geen heatmap. Geen vijfpuntschaal, geen "waarschijnlijkheid maal impact", geen kleurenschema. Zelfs de term "risiconiveaus", die teams vaak lezen als een vrijbrief voor ordinale categorieën, zegt niet hoe die niveaus moeten worden uitgedrukt. De ondersteunende gidsnorm, ISO/IEC 27005:2022 (vierde editie, gepubliceerd op 25 oktober 2022), biedt ruimte voor zowel kwalitatieve als kwantitatieve benaderingen, en haar voorbeeldafbeeldingen van gevolgen- en waarschijnlijkheidsschalen en matrixen staan in bijlage A, een informatieve bijlage met voorbeelddtechnieken. Het is een gids; het schrijft niets voor.

Voor de output van de methode die je kiest, vraagt de certificeerbare tekst dus om drie eigenschappen: consistentie, validiteit en vergelijkbaarheid. De norm definieert deze woorden niet, dus wat volgt is onze interpretatie, gebaseerd op hun letterlijke betekenis: de redelijke volgende vraag is hoe de standaardmethode scoort op elk van deze punten. Het antwoord daarop staat al bijna twee decennia in de peer-reviewed literatuur.

De matrix versus de drie woorden van de norm

De meest geciteerde analyse van deze methode is Tony Cox’ "What's Wrong with Risk Matrices?" (Risk Analysis, vol. 28, nr. 2, april 2008), en de bevindingen daarvan passen ongemakkelijk goed bij de drie woorden in clausule 6.1.2.

Vergelijkbaar. Cox toonde aan dat risicomatrixen een beperkte resolutie hebben: ze kunnen typisch slechts een klein deel van willekeurig geselecteerde risicopaar vergelijkbaar en ondubbelzinnig rangschikken, en ze kunnen kwantitatief zeer verschillende risico’s dezelfde rating toekennen. Twee risico’s die een orde van grootte verschillen in verwachte schade belanden vaak in dezelfde "hoge" cel. Een methode waarvan de output zulke verschillen niet kan onderscheiden, levert geen vergelijkbare resultaten op; het levert een gedeelde label op die de vergelijking die je nodig had verbergt.

Valide. Hetzelfde artikel toonde aan dat matrixen erger kunnen zijn dan alleen slecht discrimineren: ze kunnen ten onrechte een hogere kwalitatieve rating toekennen aan het kwantitatief kleinere risico, en onder realistische omstandigheden—zoals wanneer frequentie en ernst negatief gecorreleerd zijn—kan prioritering op basis van een matrix slechter presteren dan willekeur. Validiteit betekent dat de output van de methode de werkelijke meting volgt. Een methode die de rangorde van twee risico’s omdraait, voldoet daar niet aan.

Consistent. Ordinale labels voelen objectief omdat iedereen in de kamer dezelfde woorden gebruikt. De realiteit is dat die woorden niet dezelfde numerieke waarden vertegenwoordigen voor iedereen. Toen onderzoekers testten hoe lezers de gekalibreerde onzekerheids-taal van het IPCC interpreteerden, varieerden de toegewezen waarschijnlijkheden sterk en vielen vaak buiten de ranges die de termen zouden moeten betekenen (Budescu, Broomell en Por, "Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change", Psychological Science, vol. 20, nr. 3, pp. 299-308, 2009). Wat "waarschijnlijk" betekent op jouw schaal doet hetzelfde: twee competente beoordelaars, hetzelfde risico, verschillende cellen, en het proces heeft geen manier om dit op te merken, omdat de meningsverschillen verborgen zitten achter het gedeelde label.

Samen genomen is dit een ongemakkelijke omkering. De methode die teams kiezen omdat ze denken dat deze auditveilig is, is de methode die het moeilijkst te verdedigen is tegen een letterlijke lezing van de clausule die hij zou moeten ondersteunen. In onze ervaring leidt dit zelden tot een bevinding, en dat is precies het punt: de matrix is geoptimaliseerd voor herkenbaarheid in een documentcontrole, niet voor de beslissing waarvoor dat document bedoeld is.

Waarom de matrix toch blijft bestaan

Het zou te makkelijk zijn om dit luiheid te noemen. De matrix blijft bestaan omdat hij echt werk doet—alleen niet het werk van risicometing. Hij is goedkoop te produceren. Hij comprimeert meningsverschillen, waardoor een risicoworkshop op tijd kan eindigen: twee mensen die een uur zouden discussiëren over of een waarschijnlijkheid 5% of 25% is, accepteren allebei "gemiddeld". Hij geeft het management een éénpagina-overzicht. En hij is bekend bij elke reviewer die er honderden heeft gezien, wat volgens ons veel is van wat praktijkbeoefenaars bedoelen met "de auditor verwacht het".

Dit zijn sociale voordelen, en ze zijn echt. De fout zit hem in het aanzien ervan als analytische voordelen. De compressie die de workshop vroegtijdig beëindigt, is dezelfde compressie die de informatie die clausule 6.1.2 van je vraagt te behouden, wist. Wanneer de matrix de analyse is in plaats van een samenvatting daarvan, wordt het risicoregister een verslag van welke argumenten zijn vermeden.

Over de angst voor audits specifiek: naar onze lezing beoordeelt de certificeringsaudit de conformiteit met de norm en met het proces dat jij zelf hebt gedocumenteerd. Niets in de certificeerbare tekst noemt een techniek, dus als er ergens een matrix wordt verwacht, komt die verwachting voort uit conventie of uit jouw eigen gedocumenteerde methode, niet uit ISO/IEC 27001 zelf. Wat een auditor terecht kan onderzoeken, is of jouw criteria zijn gedefinieerd, of je methode wordt toegepast zoals gedocumenteerd, en of herhaalde toepassingen vergelijkbaar zijn. Die vragen zijn methode-onafhankelijk, en een betere methode beantwoordt ze overtuigender, niet minder.

De daadwerkelijke beslissing

Eerlijk gesteld kiest een team dat een risicomethodiek onder ISO 27001 selecteert tussen drie opties.

De eerste is om de matrix te behouden en te versterken: elke label koppelen aan een expliciete kwantitatieve range, gevolgen definiëren in geld of downtime in plaats van bijvoeglijke naamwoorden, en de gedocumenteerde pathologieën accepteren als de prijs van leesbaarheid. Dit is verdedigbaar, maar alleen als die koppeling echt is. Een matrix waarvan "waarschijnlijk" is gekoppeld aan een vastgestelde numerieke range, is een ander instrument dan een matrix waarvan "waarschijnlijk" betekent wat de kamer die dag voelde.

De tweede optie is volledige kwantificering in de stijl van FAIR, de Factor Analysis of Information Risk-benadering gepubliceerd door The Open Group als de Open FAIR-standaarden: verdelingen, simulaties, loss exceedance curves. Voor veel kleine en middelgrote organisaties is dit naar onze mening meer gereedschap dan hun beslissingen vereisen, en de kalibratie- en modelleervaardigheden die het veronderstelt, zijn naar onze ervaring zelden in-house beschikbaar. Het slecht toepassen ervan reproduceert het probleem van valse precisie met meer decimalen.

De derde optie—en degene die wij verdedigen—is de onopvallende middenweg: stel risicoacceptatiecriteria vast in operationele termen (geld, downtime, blootgestelde records), schat waarschijnlijkheid en impact als gekalibreerde ranges in plaats van ordinale punten, en houd het gekleurde raster—als je het al behoudt—strikt als een presentatielaag bovenop een analyse die elders heeft plaatsgevonden. Dit voldoet aan de drie woorden van clausule 6.1.2 letterlijker dan de standaardmethode, kost veel minder dan volledige kwantificering, en verandert niets aan wat de auditor ziet, behalve dat de getallen achter het plaatje nu wel bestaan.

Bij elke switch hoort één eerlijke waarschuwing: clausule 6.1.2 verlangt dat herhaalde beoordelingen vergelijkbaar zijn, en een methodiekwijziging halverwege het jaar kost je de vergelijkbaarheid tussen jaren. Wissel op een natuurlijk moment en documenteer waarom. Dat is een overgangskost om te beheren, geen reden om een methode te behouden waar je niet meer in gelooft.

De regel die het waard is om te behouden

Als het sterkste argument voor je risicomethodiek is dat het eruitziet als dat van iedereen anders, dan heb je iets geleerd over audits en niets over je risico’s. ISO 27001 is permissiever en veeleisender dan de standaardmethode waarvoor het wordt aangezien: de risicoclausule vraagt nooit om het raster, maar wel om consistentie, validiteit en vergelijkbaarheid—precies de eigenschappen waar het raster om bekend staat dat het ze mist. Teams die de clausule lezen in plaats van het sjabloon kopiëren, eindigen met een methode die ze in beide ruimtes kunnen verdedigen: de audit en de incidentreview.

Uitzoeken wat een clausule daadwerkelijk vereist, in plaats van wat het sjabloonecosysteem heeft besloten dat het vereist, is een groot deel van het dagelijkse werk bij het bouwen van een ISMS. Het is het soort vraag waarvoor ISMS Copilot is gebouwd om antwoord op te geven met de tekst van de norm zelf. De matrix is optioneel. De drie woorden niet.