Engineering & onderzoek

Hoe we AI-modellen voor compliance evalueren: benchmarks, methoden en bevindingen.

De stille nul: wanneer een ontbrekende beoordelingsscore een meting wordt
Engineering

De stille nul: wanneer een ontbrekende beoordelingsscore een meting wordt

Bij onze 2026-07-17 ablatie van GRC-strategieën voor documentgeneratie (GLM-5.2 en Claude Opus 4.8 als schrijvers en als 1-10 rubriekbeoordelaars) had pass 2 79 van de 446 geregistreerde beoordelingsrijen geen algemene score. De aggregator telde elk ervan als 0. Dezelfde nul-opvulling had een effect van 3,25 punten gecreëerd in pass 1, en toen dit verdween formuleerden we een theorie over beoordelaarsvooroordeel om dit te verklaren. Het gepaarde verschil tussen de twee beoordelaars op dezelfde documenten bedroeg 0,12.

·14 min read