Nous avons évalué ISMS Copilot face au modèle brut et à la meilleure invite DIY. Le verdict pré-enregistré est une égalité.

Sur ce jeu de 20 tâches figées en conformité, le même modèle de base a obtenu des scores différents selon l'échafaudage qui l'entoure ; la plus forte augmentation est survenue lorsque des connaissances structurées sur les cadres réglementaires ont été injectées au moment de l'inférence, en particulier sur les cadres moins connus. Nous avons figé les tâches et la règle de décision avant l'exécution, maintenu le verdict d'égalité pré-enregistré, et publié les pertes.

Le dispositif expérimental

Six configurations. Même modèle pour chaque configuration (GLM 5.3-Flash, configuration de raisonnement identique, budget de sortie et point de servitude identiques), mêmes vingt questions. La seule variable est ce qui entoure la requête :

Configuration	Ce que le modèle reçoit
Modèle brut	La question. Rien d'autre.
Invite DIY A / B	Deux invites rédigées indépendamment par des "consultants seniors en GRC", rédigées sans voir les tâches
DIY + connaissances	Invite A plus le module de référence structuré sur les cadres que notre système injecte
DIY + connaissances + docs	Le précédent, plus les documents contextuels de la tâche et la date actuelle
ISMS Copilot complet	L'assemblage de production : persona, détection du cadre, module injecté, date, documents de l'espace de travail

Les vingt tâches figées : seize questions standards sur neuf cadres, quatre pièges (un contrôle inexistant ISO 27001, des numérotations obsolètes de 2013, un article GDPR inexistant, une prémisse erronée sur la date et le périmètre DORA). Neuf tâches sur des cadres bien connus (ISO 27001, GDPR, SOC 2), onze sur des cadres moins répandus (ISO 42001, l'ISM australien, DORA, NIS 2, TISAX, le MTCS de Singapour). Deux tâches incluent un document contractuel ou de conception fictif dont la réponse doit citer des éléments réels. Un modèle juge d'une autre famille de fournisseurs, ignorant quelle configuration a produit chaque réponse, a évalué chaque réponse selon des grilles figées ; un vérificateur déterministe a séparément vérifié chaque identifiant de contrôle ou d'article cité contre les registres officiels.

La méthode a été revue de manière adversariale par un second système d'IA avant la figuration, et cette revue a été utile : elle a détecté des erreurs dans les clés de réponse, un vérificateur qui aurait pu pénaliser les modèles pour avoir correctement réfuté des contrôles fictifs, et plusieurs façons dont les configurations auraient pu dériver. Tout a été corrigé avant toute dépense.

Le verdict pré-enregistré

Le critère principal avait été figé à l'avance : produit complet versus la meilleure des deux invites DIY.

Configuration	Global	Cadres connus	Cadres moins connus
Modèle brut	68,0%	66,7%	69,0%
Meilleure invite DIY	76,0%	88,0%	66,3%
DIY + module de connaissances	96,9%	100,0%	94,3%
ISMS Copilot complet	92,1%	88,9%	94,7%

Le produit a obtenu 92,1% contre 76,0% : une différence de 16,1 points, intervalle de confiance à 95% [3,4, 30,2]. Notre bande d'égalité pré-enregistrée était de 18,2 points, calculée à partir de l'amplitude de variation du juge lorsqu'il réévalue des réponses identiques. La différence n'a pas franchi cette bande. Le verdict pré-enregistré est une égalité, et c'est le verdict que nous rapportons. Nous n'avons pas élargi la bande après avoir vu les chiffres.

Ce que révèlent les différentes couches

Le module de connaissances est le moteur. Une simple invite de consultant plus le module de connaissances injecté a obtenu 96,9%, le meilleur score des six configurations sur cet ensemble de tâches. Le module est le même référentiel structuré que ISMS Copilot injecte lorsque la question mentionne un cadre, et celui que l'API expose également.

L'avantage du produit se situe sur les cadres moins courants. Sur ISO 27001, GDPR et SOC 2, une bonne invite DIY est à parité avec le produit (88,0 vs 88,9). Le modèle de base connaît les classiques. Sur ISO 42001, l'ISM australien, DORA, NIS 2, TISAX et MTCS, le produit obtient 94,7% contre 66,3% pour la meilleure invite DIY, et le modèle brut obtient 69,0%. En dehors des questions pièges, le modèle brut a fabriqué 8 identifiants de contrôles et d'articles, incluant une structure entière d'Annexe A d'ISO 42001 inventée. Le produit n'en a fabriqué aucun.

Une invite DIY a sous-performé le modèle brut sur une tâche. Sur la tâche de structure ISO 42001, elle a obtenu 32% contre 82% pour le modèle brut après avoir importé avec confiance la structure d'Annexe de l'ISO 27001. Comme l'invite a été modifiée dans son ensemble, cette exécution ne permet pas d'isoler quelle instruction a causé la régression ; l'ajout du module de connaissances a porté cette même tâche à 100%.

Les pertes, en termes clairs

La configuration connaissances-plus-documents a surpassé le produit. Elle a obtenu 98,7% contre 92,1%, avec cinq cellules de tâches différentes. Ce résultat montre qu'une invite DIY (A) dotée du même module de connaissances, de la date actuelle et des documents pertinents a surpassé l'assemblage de production sur cet ensemble de tâches à question unique. Le benchmark n'a pas testé la valeur de l'état multi-tours, de la détection automatique, de la gestion de l'espace de travail ou d'autres fonctionnalités de workflow.

Le produit a échoué à l'une des quatre questions pièges. Interrogé pour expliquer le contrôle A.8.35 d'ISO 27001, qui n'existe pas, le produit a décrit avec confiance qu'il s'agissait de codage sécurisé, ce qui correspond en réalité au contrôle A.8.28. Son tableau de contrôles injecté dans la même réponse s'est arrêté à A.8.34, et les deux configurations DIY dotées de connaissances ont refusé la fausse prémisse. Un mécanisme candidat est que les directives de biais d'action de l'invite de production ont affecté le comportement de refus, mais la configuration produit diffère de ces invites DIY sur plusieurs composants, donc ce benchmark ne peut attribuer cet échec à ce mécanisme. Il s'agit d'un défaut reproductible du produit sur la tâche t17.

La détection est au niveau du nom. Une tâche décrivait une violation de données personnelles sans jamais mentionner le GDPR. Le produit n'a rien injecté et a tout de même répondu correctement grâce à ses connaissances de base. C'est le comportement documenté, sans surprise : nommez le cadre, ou fixez-le.

Ce que cela affirme et n'affirme pas

Cette comparaison sur le même modèle de base a été menée le 2026-09-02 avec vingt tâches, un échantillon par configuration et par tâche, un juge automatisé, et aucune calibration humaine. Sur cet ensemble, les scores ont varié dans les directions rapportées ci-dessus lorsque l'échafaudage changeait ; les résultats ne s'appliquent pas au-delà de cet ensemble de tâches et de cette exécution. Il ne s'agit pas d'une comparaison inter-modèles ni d'un avis d'audit, et cela ne soutient aucune affirmation d'élimination des hallucinations. Un résumé public de la méthode, des résultats, des pertes et des mises en garde est disponible sur la page de documentation : Qualité des réponses : le benchmark de l'échafaudage.