Ingénierie et recherche

Comment nous évaluons les modèles d'IA pour la conformité : benchmarks, méthodes et résultats.

Le vérificateur aveugle : ce que notre porte anti-fabrication est autorisé à voir
Engineering

Le vérificateur aveugle : ce que notre porte anti-fabrication est autorisé à voir

Un test en laboratoire a montré que le vérificateur de notre pipeline de conformité ignorait la plupart des fabrications que nous avions insérées manuellement. La correction que nous avons mesurée pour y remédier a marqué 9 des 9 brouillons propres, alors nous avons conservé le vérificateur aveugle, et il a détecté, en production, la classe d'échec que son contrat couvre effectivement.

·15 min read
L'échange de non-infériorité : comment nous déployons des changements de modèles sur une égalité de qualité
Engineering

L'échange de non-infériorité : comment nous déployons des changements de modèles sur une égalité de qualité

Trois règles de décision préenregistrées ont permis de basculer trois interfaces de chat vers GLM 5.3 le 2026-09-01 : le changement (Grok 4.6 vers GLM 5.3) a obtenu un score inférieur de 1,7 point sur notre ensemble de qualité à quatre tâches et réduit la latence médiane du premier jet de token de 88,9 secondes à 4,2 secondes sur notre sonde de latence.

·15 min read
La tarification de pointe n'est pas une stratégie de conformité
Engineering

La tarification de pointe n'est pas une stratégie de conformité

Les agents de conformité sont des fourneaux à jetons : des preuves en entrée, des références de cadre en entrée, des analyses en sortie. Nous exécutons l'API ISMS Copilot sur GLM 5.3 avec des connaissances de cadre injectées à l'inférence, à 2,80 $/8,80 $ par million de jetons et une voie en vrac à 0,50 $/2,00 $. Voici le calcul des prix par rapport à la grille tarifaire de Claude, ainsi que les preuves démontrant qu'un modèle non de pointe tient la route pour les travaux de conformité.

·10 min read
Le zéro silencieux : quand une note de juge manquante devient une mesure
Engineering

Le zéro silencieux : quand une note de juge manquante devient une mesure

Lors de notre ablation du 17 juillet 2026 sur les stratégies de génération de documents GRC (GLM-5.2 et Claude Opus 4.8 en tant que rédacteurs et juges selon une grille de 1 à 10), le passage 2 comptait 79 lignes de jugement sur 446 sans note globale. L'agrégateur les a comptées comme des 0. Ce remplissage par des zéros avait artificiellement créé un écart de 3,25 points dans le passage 1, et lorsque cet écart a disparu, nous avons élaboré une théorie sur un biais des juges pour l'expliquer. L'écart apparié entre les deux juges sur les mêmes documents était de 0,12.

·17 min read
Pourquoi nous ne dédupliquons pas les faits de conformité par similarité d'embeddings
Engineering

Pourquoi nous ne dédupliquons pas les faits de conformité par similarité d'embeddings

Dans notre évaluation de déduplication en mémoire, les contradictions affichaient une similarité cosinus moyenne de 0,938 avec leur fait stocké le plus proche, tandis que les doublons réels atteignaient 0,940. Aucun seuil unique ne permettait de séparer clairement les paires qui ne devaient pas fusionner de celles qui le devaient. Ainsi, le cosinus ne prend jamais la décision de fusion dans notre pipeline.

·11 min read