La matrice de risque 5x5 survit aux audits, pas à l'examen approfondi

Demandez à une équipe de mise en œuvre pourquoi leur évaluation des risques ISO 27001 est une grille de cinq par cinq de verts, d'ambres et de rouges, et la réponse, selon notre expérience, est généralement une version de « c'est ce que l'auditeur attend ». Chacune des deux parties de cette phrase mérite un examen plus approfondi que celui qu'elle reçoit. Rien dans les clauses relatives aux risques de la norme ne demande une matrice, et la matrice est un mauvais moyen de répondre à ce que ces clauses exigent. La grille persiste parce qu'elle est lisible lors d'un examen de documents, et non parce qu'elle décrit bien les risques. Considérer ces deux propriétés comme identiques relève, selon nous, de l'erreur méthodologique silencieuse présente dans de nombreux SMSI certifiés.

Ce que l'article 6.1.2 exige réellement

ISO/IEC 27001:2022 (troisième édition, publiée le 25 octobre 2022 ; l'amendement sur l'action climatique Amd 1:2024, publié le 23 février 2024, ne modifie pas l'article 6.1.2) consacre un seul article, le 6.1.2, au processus d'évaluation des risques. Il exige que l'organisation définisse et applique un processus qui établit des critères de risque, y compris des critères d'acceptation des risques ; qui garantit que les évaluations répétées « produisent des résultats cohérents, valides et comparables » ; et qui identifie les risques, les analyse en évaluant les conséquences et la probabilité pour déterminer les niveaux de risque, puis les évalue par rapport aux critères (ISO/IEC 27001:2022, article 6.1.2).

Remarquez ce que l'article 6.1.2 ne spécifie pas. Aucune matrice. Aucune carte thermique. Aucune échelle à cinq points, aucun « probabilité multipliée par impact », aucun code couleur. Même l'expression « niveaux de risque », que les équipes interprètent souvent comme une autorisation de compartiments ordinaux, ne précise pas comment ces niveaux doivent être exprimés. La norme d'orientation associée, ISO/IEC 27005:2022 (quatrième édition, publiée le 25 octobre 2022), accepte à la fois les approches qualitatives et quantitatives, et ses exemples d'échelles de conséquences et de probabilités ainsi que de matrices se trouvent dans l'annexe A, une annexe informative présentant des techniques exemples. Il s'agit de recommandations ; rien n'est imposé.

Ainsi, pour les résultats de la méthode que vous choisissez, le texte certifiable exige trois propriétés : cohérence, validité et comparabilité. La norme ne définit pas ces termes, donc ce qui suit est notre interprétation, formulée à l'encontre de leur sens littéral : la question raisonnable qui se pose ensuite est de savoir comment la méthode par défaut se mesure sur chacun de ces critères, et la réponse se trouve dans la littérature évaluée par des pairs depuis près de deux décennies.

La matrice face aux trois mots de la norme

L'examen le plus cité de cette méthode est celui de Tony Cox, « What's Wrong with Risk Matrices? » (Risk Analysis, vol. 28, n° 2, avril 2008), dont les conclusions correspondent de manière peu confortable aux trois mots de l'article 6.1.2.

Comparabilité. Cox a démontré que les matrices de risque ont une résolution limitée : elles ne peuvent généralement comparer correctement et sans ambiguïté qu'une petite fraction des paires de dangers sélectionnées aléatoirement, et elles peuvent attribuer des évaluations identiques à des risques quantitativement très différents. Deux risques éloignés d'un ordre de grandeur en termes de perte attendue se retrouvent souvent dans la même cellule « élevée ». Une méthode dont les résultats ne peuvent pas les distinguer ne produit pas de résultats comparables ; elle produit une étiquette commune qui masque la comparaison dont vous aviez besoin.

Validité. Le même article a montré que les matrices peuvent faire pire que de ne pas faire la distinction : elles peuvent attribuer à tort une évaluation qualitative plus élevée au risque quantitativement plus faible, et dans des conditions réalistes, comme lorsque la fréquence et la gravité sont négativement corrélées, la priorisation guidée par une matrice peut donner de moins bons résultats qu'une sélection aléatoire. La validité signifie que les résultats de la méthode reflètent la réalité mesurée. Une méthode qui peut inverser le classement de deux risques ne remplit pas ce critère.

Cohérence. Les étiquettes ordinales semblent objectives parce que tout le monde dans la pièce utilise les mêmes mots. Pourtant, les preuves montrent que ces mots ne correspondent pas aux mêmes valeurs numériques d'une personne à l'autre. Lorsqu'on a testé comment les lecteurs interprétaient le langage d'incertitude calibré du GIEC, les probabilités attribuées variaient considérablement et tombaient souvent en dehors des plages que ces termes étaient censés représenter (Budescu, Broomell et Por, « Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change », Psychological Science, vol. 20, n° 3, pp. 299-308, 2009). « Probable » dans votre échelle fait la même chose : deux évaluateurs compétents, un même risque, des cellules différentes, et le processus n'a aucun moyen de le détecter, car le désaccord est masqué par l'étiquette commune.

Ensemble, cela constitue une inversion gênante. La méthode choisie par les équipes parce qu'elle semble sûre pour l'audit est celle qui est la plus difficile à défendre face à une lecture littérale de l'article qu'elle est censée satisfaire. Selon notre expérience, elle suscite rarement une observation, et c'est précisément le problème : la matrice est optimisée pour être reconnaissable lors d'un examen de documents, et non pour la prise de décision que ce document est censé soutenir.

Pourquoi elle persiste malgré tout

Il serait trop facile d'accuser la paresse. La matrice survit parce qu'elle remplit une fonction réelle, mais pas celle de mesurer les risques. Elle est peu coûteuse à produire. Elle permet de compresser les désaccords, ce qui permet à un atelier de gestion des risques de se terminer à l'heure : deux personnes qui pourraient débattre pendant une heure pour savoir si une probabilité est de 5 % ou de 25 % accepteront toutes deux « moyenne ». Elle offre à la direction une vue d'ensemble sur une page. Et elle est familière à tout examinateur ayant vu des centaines de ces matrices, ce qui, selon nous, est ce que la plupart des praticiens entendent réellement par « l'auditeur l'attend ».

Ce sont des avantages sociaux, et ils sont réels. L'erreur consiste à les considérer comme des avantages analytiques. La compression qui permet de terminer l'atelier plus tôt est la même qui efface les informations que l'article 6.1.2 vous demande de préserver. Lorsque la matrice est l'analyse plutôt qu'un résumé de celle-ci, le registre des risques devient un enregistrement des arguments évités.

Concernant spécifiquement la crainte de l'audit : selon notre interprétation, l'audit de certification évalue la conformité avec la norme et avec le processus que vous avez vous-même documenté. Rien dans le texte certifiable ne mentionne une technique, donc si une matrice est attendue quelque part, cette attente vient de la convention ou de votre propre méthode documentée, et non de l'ISO/IEC 27001 elle-même. Ce qu'un auditeur peut légitimement exiger, c'est de savoir si vos critères sont définis, si votre méthode est appliquée comme documentée, et si les évaluations répétées sont comparables. Ces questions sont indépendantes de la méthode, et une meilleure méthode y répond de manière plus convaincante, pas moins.

La décision réelle

Formulée honnêtement, une équipe qui choisit une méthodologie de gestion des risques dans le cadre d'ISO 27001 a le choix entre trois positions.

La première consiste à conserver la matrice et à la renforcer : ancrer chaque étiquette à une plage quantitative explicite, définir les conséquences en termes d'argent ou de temps d'arrêt plutôt que d'adjectifs, et accepter les pathologies documentées comme le prix de la lisibilité. Cela est défendable, mais uniquement si l'ancrage est réel. Une matrice dont « probable » est lié à une plage numérique définie est un instrument différent de celle dont « probable » signifie ce que la salle a ressenti ce jour-là.

La seconde est une quantification complète à la manière de FAIR, l'approche d'analyse factorielle publiée par The Open Group sous le nom de normes Open FAIR : distributions, simulations, courbes de dépassement de perte. Pour de nombreuses organisations petites et moyennes, cela représente, selon nous, plus de complexité que nécessaire pour leurs décisions, et les compétences en calibration et modélisation qu'elle suppose sont, selon notre expérience, rarement disponibles en interne. L'adopter de manière inadéquate reproduit le problème de fausse précision avec plus de décimales.

La troisième position, et celle que nous défendons, est le juste milieu peu glamour : exprimer les critères d'acceptation des risques en termes opérationnels (argent, temps d'arrêt, enregistrements exposés), estimer la probabilité et l'impact sous forme de plages calibrées plutôt que de points ordinaux, et conserver la grille colorée, si vous la conservez, strictement comme une couche de présentation d'une analyse effectuée ailleurs. Cela satisfait les trois mots de l'article 6.1.2 de manière plus littérale que la méthode par défaut, coûte bien moins qu'une quantification complète, et ne change rien à ce que l'auditeur voit, si ce n'est que les chiffres derrière l'image existent désormais.

Une mise en garde honnête s'impose à tout changement : l'article 6.1.2 exige que les évaluations répétées soient comparables, et un changement de méthode en cours d'année vous fait perdre la comparabilité d'une année sur l'autre. Effectuez le changement à une frontière naturelle et documentez les raisons. Il s'agit d'un coût de transition à gérer, et non d'une raison de conserver une méthode en laquelle vous ne croyez plus.

La règle qui vaut la peine d'être conservée

Si le plus fort argument en faveur de votre méthode de gestion des risques est qu'elle ressemble à celle de tout le monde, vous avez appris quelque chose sur les audits et rien sur vos risques. ISO 27001 est plus permissive, et plus exigeante, que ce dont elle est accusée par défaut : sa clause sur les risques n'exige jamais la grille, mais elle exige bien la cohérence, la validité et la comparabilité, qui sont précisément les propriétés que la grille est documentée pour ne pas posséder. Les équipes qui lisent la clause plutôt que de copier l'artefact se retrouvent avec une méthode qu'elles peuvent défendre dans les deux salles, celle de l'audit et celle de l'examen d'incident.

Déterminer ce qu'une clause exige réellement, plutôt que ce que l'écosystème de modèles a décidé qu'elle exige, fait partie intégrante du travail quotidien de construction d'un SMSI, et c'est le type de question pour lequel ISMS Copilot a été conçu pour répondre avec le texte même de la norme. La matrice est optionnelle. Les trois mots ne le sont pas.