Engineering

Notre évaluation a tranché grâce à un nombre figé avant le lancement

La bande d'égalité : nous avons mesuré l'instabilité de notre juge lors de la réévaluation d'answers identiques, l'avons figée dans la pré-inscription et l'avons laissée primer sur un écart de 16,1 points. La même pré-inscription a permis de détecter un pilote qui aurait faussé l'évaluation réelle.

par ISMS Copilot··9 min read
Notre évaluation a tranché grâce à un nombre figé avant le lancement

Un écart de 16,1 points, un intervalle de confiance qui exclut zéro, et le verdict était toujours une égalité. Ce n'est pas de la lâcheté statistique. C'est le seul verdict honnête que notre instrument pouvait défendre, car nous avions mesuré, avant le lancement, que notre juge varie de 18,2 points lors d'un nouveau test sur dix lorsqu'il réévalue des réponses identiques. Nous avons figé ce nombre dans la pré-inscription et l'avons laissé primer sur le résultat principal. Si vous réalisez des évaluations avec un LLM en tant que juge et que vous n'avez jamais réévalué des réponses identiques, vous ne connaissez pas encore l'ampleur réelle de vos différences mesurables en termes de qualité, et chaque verdict que vous publiez est plus grand que votre instrument.

Le nombre d'instabilité et son origine

Le 2 septembre 2026, nous avons lancé un benchmark de conformité pré-inscrit de 20 tâches sur six configurations d'échafaudage du même modèle (GLM 5.3-Flash), avec un modèle juge inter-familles notant chaque réponse selon des grilles figées. Les résultats complets et les pertes sont disponibles dans notre article sur le benchmarking de notre pile de conformité. Cet article se concentre sur un seul nombre dans cette conception : la bande d'égalité.

La bande correspond au 90e percentile des écarts de réévaluation du juge. La procédure : prendre un échantillon stratifié de cellules de réponses parmi les bras et les familles de cadres, relancer le juge sur la même question et la même réponse deux fois, puis mesurer l'ampleur du mouvement du score pondéré. Sur notre instrument, 12 paires de réévaluation ont produit un 90e percentile d'instabilité de 18,18 points sur une échelle de 100 points. Le juge est réglé à une température de 0, lié à un seul fournisseur de service, validé par schéma et aveugle aux étiquettes des bras. Entrées identiques. Dix-huit points de mouvement, une fois sur dix.

Ce nombre est devenu une règle de décision figée, écrite dans le plan avant toute dépense de génération : VICTOIRE si la différence dépasse la bande, DÉFAITE si elle est pire que la bande négative, ÉGALITÉ sinon. Le fichier de la bande contient une empreinte SHA-256 du jeu d'outils partagé complet (tâches, bras, fixations, questions, configurations), et le lancement s'interrompt au démarrage si une ligne contient une empreinte étrangère. Nous n'avons pas choisi 18,18 parce qu'il permettait un verdict pratique. Nous l'avons calculé à partir des réévaluations, figé avec son empreinte, et le verdict a découlé de l'arithmétique.

Ce que la bande a décidé

Le critère principal pré-inscrit était l'assemblage de production complet face au meilleur des deux prompts DIY rédigés indépendamment. Le produit a obtenu 92,1 %, le meilleur prompt DIY 76,0 %. Différence moyenne : +16,1 points, intervalle de confiance bootstrap à 95 % [3,4, 30,2] sur dix clusters et 2 000 rééchantillonnages. L'intervalle exclut zéro de manière confortable. La différence ne dépasse pas 18,18.

Verdict pré-inscrit : ÉGALITÉ. Rapporté comme une égalité, titre et tout, car c'est l'arithmétique qui le dicte. Deux vérités coexistent : sur cet ensemble de tâches, la direction de l'effet est positive et peu susceptible d'être nulle, et sur cet instrument, nous ne pouvons pas qualifier l'ampleur de l'effet comme une différence. Un verdict qui ne rapporte que la première vérité relève du marketing. Un verdict qui rapporte les deux relève de la mesure.

C'est la partie que presque toutes les évaluations basées sur un juge que nous avons lues omettent : le verdict est une propriété de l'instrument, et non des systèmes. Une instabilité de 18 points signifie que des différences d'échantillon unique de 15 points sont indissociables d'une simple réévaluation du juge sur des réponses inchangées. Tout classement, article de comparaison ou porte de validation qui ignore son propre instabilité de réévaluation publie du bruit avec une décimale.

La porte pilote que la pré-inscription a construite

La pré-inscription a également accompli un travail discret avant l'évaluation réelle. Notre méthodologie exige une porte pilote sur un petit sous-ensemble de tâches avant toute dépense à grande échelle : vérifier le taux de parsing, les troncatures et qu'aucun bras comparé n'est trop saturé pour être discriminant. La première tentative de pilote (pilot-1, 2 septembre 2026) a déclenché cette porte. Le bras auxiliaire enrichi en connaissances a atteint 100 % en moyenne tandis que les bras comparés se situaient entre 52,7 % et 83,3 %. Les différences de scores entre les bras comparés étaient toujours séparables, mais le plafond était suffisamment proche pour que les marges se compriment. Nous avions figé une règle de raffinement pour ce cas précis : le critère de saturation de tout bras a été révisé pour s'appliquer uniquement aux bras comparés, l'instrument a été modifié, et le pilote a été relancé depuis le début (pilot-2, le même jour, validé : taux de parsing de 100 %, zéro troncature, 12 paires de réévaluation, détection activée sur chaque tâche porteuse de connaissances). Ce n'est qu'alors que l'évaluation complète a commencé.

Deux leçons se dégagent de cette séquence. Premièrement, pré-inscrivez également le chemin de raffinement : nous avons modifié la porte, mais ce changement était lui-même pré-planifié et re-piloté avant le gel, de sorte que la pré-inscription de l'évaluation complète n'a jamais été modifiée après l'existence des données. Deuxièmement, le bras qui a obtenu 100 % lors du pilote (la configuration DIY enrichie en connaissances) a obtenu 96,9 % lors de l'évaluation complète, le score le plus élevé parmi les bras hormis celui comparant connaissances et documents. Sans cette porte, le critère principal aurait été évalué avec des instruments dérivant vers la saturation, ce qui aurait probablement comprimé l'écart de 16,1 points, et le verdict d'égalité serait arrivé pour une raison moins bonne.

La perte publiée

Le test d'intérêt honnête pour une règle de décision est de savoir si elle peut produire un résultat que vous préféreriez ne pas publier. La nôtre l'a fait. La conception pré-inscrite des bras comprenait l'assemblage de production, un bras DIY enrichi en connaissances et un bras DIY comparant connaissances et documents comme comparaison secondaire. Le bras connaissances et documents a surpassé le produit, 98,7 % contre 92,1 %, avec cinq cellules de tâches différentes. Nous l'avons publié dans notre article sur le benchmark, en texte brut, dans la section des pertes.

La bande est ce qui a rendu cette publication facile. Un système de verdict qui ne produit jamais que des victoires n'est pas une règle de décision ; c'est un communiqué de presse avec une grille d'évaluation. Une fois que la bande d'égalité et la règle de publication des pertes sont figées avant le lancement, un bras perdant n'est qu'un résultat, et non une embarrassment. Cette symétrie est toute la clé : la même règle qui nous a forcés à qualifier un écart de 16,1 points d'égalité nous a également contraints à publier un résultat où un prompt assemblé manuellement a battu notre produit.

Un défaut concret que l'évaluation a révélé, pour mémoire : le bras du produit a échoué à une des quatre questions pièges, décrivant un contrôle fictif ISO 27001 (A.8.35) avec une exigence entièrement inventée, tandis que son propre tableau de contrôles injecté dans la même question s'arrêtait à A.8.34. Les bras DIY enrichis en connaissances ont refusé la même prémisse fausse. Nous l'avons publié également.

Limites

Il s'agit d'un seul instrument, d'une seule journée, d'un seul modèle juge (inter-familles, température 0, fournisseur unique), de 12 paires de réévaluation, de 20 tâches, d'une génération par bras et par tâche. Le 18,18 points de la bande est une propriété de notre échelle de grille et de notre juge ; votre bande sera différente, ce qui est le but de la mesurer. Une bande d'égalité est une règle de décision, et non un intervalle de confiance sur un écart particulier ; un 90e percentile d'écart de réévaluation est un proxy conservateur pour le bruit du juge, et non une distribution d'échantillonnage mesurée. Un étalonnage humain d'un échantillon noté et un ensemble de tâches plus large sont les prochaines étapes qui permettraient de réduire ce que cet instrument peut résoudre. Aucune de ces limites ne change l'affirmation transférable : une évaluation qui n'a pas mesuré son propre instabilité de réévaluation ne peut pas justifier de rapports de différences inférieures à cette instabilité.

La liste de vérification

Appliquez ceci à toute évaluation notée par un juge que vous possédez :

  1. Réévaluez 8 à 12 cellules de réponses identiques parmi vos bras et strates de tâches, avant votre prochaine évaluation réelle. Calculez le 90e percentile des écarts de scores. Ce nombre est votre seuil de résolution.
  2. Écrivez la règle de verdict par rapport à ce seuil dans le plan : seuils de VICTOIRE / ÉGALITÉ / DÉFAITE, incluant la publication des pertes, avant toute dépense de génération. (Si votre plan inclut également une porte pilote de saturation, comme le nôtre, gardez-la séparée de la bande : la bande décide du verdict, la porte décide si l'évaluation est mesurable.)
  3. Figé l'instrument avec un hachage de contenu et interrompez le lancement si une ligne contient une empreinte étrangère.
  4. Ajoutez une porte pilote qui refuse de passer à l'échelle lorsqu'un bras comparé atteint une moyenne proche du plafond de score, et pré-inscrivez comment cette porte peut être raffinée (relancez depuis le début, ne relancez jamais l'évaluation complète contre des portes modifiées). La même règle s'applique à toute autre garde pré-lancement : si elle peut être révisée, le chemin de révision doit figurer dans le plan, appliqué avant le gel, et non après l'existence des données.
  5. Lorsque le verdict tombe dans la bande, rapportez l'égalité comme titre principal et la direction comme contexte, et non l'inverse.
  6. Considérez toute différence rapportée inférieure à votre instabilité mesurée, dans vos propres articles ou ceux d'autres personnes, comme non mesurée.

Le nombre le plus utile dans votre orchestrateur d'évaluation n'est pas un score de benchmark. C'est l'ampleur du mouvement de votre juge lorsque rien ne change.

Pour aller plus loin

Articles connexes

La tarification de pointe n'est pas une stratégie de conformité
Engineering

La tarification de pointe n'est pas une stratégie de conformité

Les agents de conformité sont des fourneaux à jetons : des preuves en entrée, des références de cadre en entrée, des analyses en sortie. Nous exécutons l'API ISMS Copilot sur GLM 5.3 avec des connaissances de cadre injectées à l'inférence, à 2,80 $/8,80 $ par million de jetons et une voie en vrac à 0,50 $/2,00 $. Voici le calcul des prix par rapport à la grille tarifaire de Claude, ainsi que les preuves démontrant qu'un modèle non de pointe tient la route pour les travaux de conformité.

·10 min read
Le vérificateur aveugle : ce que notre porte anti-fabrication est autorisé à voir
Engineering

Le vérificateur aveugle : ce que notre porte anti-fabrication est autorisé à voir

Un test en laboratoire a montré que le vérificateur de notre pipeline de conformité ignorait la plupart des fabrications que nous avions insérées manuellement. La correction que nous avons mesurée pour y remédier a marqué 9 des 9 brouillons propres, alors nous avons conservé le vérificateur aveugle, et il a détecté, en production, la classe d'échec que son contrat couvre effectivement.

·15 min read
L'échange de non-infériorité : comment nous déployons des changements de modèles sur une égalité de qualité
Engineering

L'échange de non-infériorité : comment nous déployons des changements de modèles sur une égalité de qualité

Trois règles de décision préenregistrées ont permis de basculer trois interfaces de chat vers GLM 5.3 le 2026-09-01 : le changement (Grok 4.6 vers GLM 5.3) a obtenu un score inférieur de 1,7 point sur notre ensemble de qualité à quatre tâches et réduit la latence médiane du premier jet de token de 88,9 secondes à 4,2 secondes sur notre sonde de latence.

·15 min read

Prêt à optimiser votre travail de conformité ?

Conçu pour la rapidité, la précision et des livrables prêts pour l'audit.