Engineering

Onze evaluatiebeslissing werd bepaald door een getal dat we bevroren voor de uitvoering

De bandbreedte voor gelijkspel: we maten hoe veel onze beoordelaar varieert bij het herbeoordelen van identieke antwoorden, bevroren het in de pre-registratie en lieten het een verschil van 16,1 punten overstemmen. Dezelfde pre-registratie ving een pilot op die de echte run had verstoord.

door ISMS Copilot··7 min read
Onze evaluatiebeslissing werd bepaald door een getal dat we bevroren voor de uitvoering

Een verschil van 16,1 punten, een betrouwbaarheidsinterval dat nul uitsluit, en toch was het oordeel een gelijkspel. Dat is geen statistische lafheid. Het is het enige eerlijke oordeel dat onze meetinstrumenten konden verdedigen, omdat we vooraf hadden gemeten dat onze beoordelaar bij herbeoordeling van identieke antwoorden in één op de tien gevallen 18,2 punten varieert. We bevroren dat getal in de pre-registratie en lieten het het hoofdresultaat overstemmen. Als je LLM-as-judge-evaluaties uitvoert en je hebt identieke antwoorden nooit herbeoordeeld, dan ken je nog steeds niet de grootte van de meetbare kwaliteitsverschillen, en elk gepubliceerd oordeel is groter dan je instrument.

Het variatiegetal en waar het vandaan komt

Op 2026-09-02 voerden we een pre-gerigistreerde compliance-benchmark uit met 20 taken over zes scaffolding-configuraties van hetzelfde model (GLM 5.3-Flash), waarbij een cross-family beoordelaarmodel elke beantwoording beoordeelde aan de hand van bevroren rubrieken. De volledige resultaten en verliezen staan in onze benchmarkbeschrijving. Deze post gaat over één getal binnen dat ontwerp: de bandbreedte voor gelijkspel.

De bandbreedte is het 90e percentiel van de test-hertestverschillen van de beoordelaar. De procedure: neem een gestratificeerde steekproef van antwoordcellen over de armen en frameworkfamilies, voer de beoordelaar opnieuw uit op dezelfde prompt en hetzelfde antwoord en meet hoe veel de gewogen score verandert. Bij onze meetinstrumenten produceerden 12 hertestparen een 90e-percentielvariatie van 18,18 punten op een schaal van 100 punten. De beoordelaar heeft een temperatuur van 0, is gekoppeld aan een enkele aanbieder, is schema-gevalideerd en kent de arm-etiketten niet. Identieke invoer. Achttien punten beweging, één op de tien runs.

Dat getal werd een bevroren beslissingsregel, vastgelegd in het plan voordat er kosten werden gemaakt: WIN als het verschil groter is dan de bandbreedte, VERLIES als het slechter is dan de negatieve bandbreedte, GELIJKSPEL anders. Het bandbreedtebestand bevat een SHA-256-digest van het volledige gedeelde instrument (taken, armen, fixtures, prompts, configuraties), en de run wordt bij opstarten afgebroken als een rij een vreemde digest bevat. We kozen niet voor 18,18 omdat het een handig oordeel opleverde. We berekenden het uit hertests, bevroren het met de digest, en het oordeel volgde uit de rekenkunde.

Wat de bandbreedte besloot

Het pre-gerigistreerde primaire eindpunt was de volledige productieopstelling tegenover de beste van twee zelfstandig geschreven DIY-prompts. Het product scoorde 92,1%, de beste DIY-prompt 76,0%. Gemiddeld verschil: +16,1 punten, framework-geclusterd bootstrap 95% betrouwbaarheidsinterval [3,4, 30,2] over tien clusters en 2.000 herhalingen. Het interval sluit nul uit, ruim. Het verschil overschrijdt 18,18 niet.

Pre-gerigistreerd oordeel: GELIJKSPEL. Gerapporteerd als gelijkspel, inclusief de kop, omdat dat de rekenkunde is. Twee dingen zijn tegelijk waar: op deze taakset is de richting van het effect positief en onwaarschijnlijk nul, en met dit instrument kunnen we de grootte van het effect niet als een verschil benoemen. Een oordeel dat alleen de eerste waarheid rapporteert, is marketing. Een oordeel dat beide rapporteert, is een meting.

Dit is het onderdeel dat bijna elke op een beoordelaar gebaseerde evaluatie overslaat: het oordeel is een eigenschap van het instrument, niet van de systemen. Een variatie van 18 punten betekent dat enkelvoudige verschillen van 15 punten niet te onderscheiden zijn van het opnieuw uitvoeren van de beoordelaar op onveranderde antwoorden. Elke ranglijst, vergelijkingspost of implementatiepoort die zijn eigen hertestvariatie negeert, publiceert ruis met een komma.

De pilotpoort die de pre-registratie bouwde

De pre-registratie deed ook stiller werk voordat de echte run begon. Onze methodologie vereist een pilotpoort op een kleine taaksubset voordat er schaalbare kosten worden gemaakt: controleer de parseerbaarheid, afkappingen en dat geen vergeleken arm te verzadigd is om te discrimineren. De eerste pilotpoging (pilot-1, 2026-09-02) activeerde die poort. De kennisbewapende hulp-arm bereikte 100% gemiddelde score terwijl de vergeleken armen tussen 52,7% en 83,3% zaten. Verschillen tussen vergeleken armen waren nog steeds te onderscheiden, maar het plafond zat dicht genoeg om marges te comprimeren, en we hadden een verfijningregel bevroren voor precies dit geval: de verzadigingscriterium voor elke arm werd aangepast om alleen op vergeleken armen van toepassing te zijn, het instrument werd bewerkt en de pilot werd opnieuw uitgevoerd vanaf nul (pilot-2, dezelfde dag, geslaagd: 100% parseerbaarheid, nul afkappingen, 12 hertestparen, detectie geactiveerd op elke kennisdragende taak). Pas daarna begon de volledige run.

Twee lessen in die reeks. Ten eerste: registreer ook het verfijningspad vooraf: we veranderden de poort, maar de verandering zelf was vooraf gepland en opnieuw gepiloteerd voordat de bevriezing plaatsvond, zodat de pre-registratie van de volledige run nooit werd bewerkt nadat data bestond. Ten tweede: de arm die in de pilot 100% scoorde (de kennisbewapende DIY-configuratie) scoorde in de volledige run 96,9%, de hoogste arm naast de kennis-plus-documentenvergelijkingsarm. Zonder de poort zou het primaire eindpunt zijn uitgevoerd met instrumenten die richting verzadiging dreven, wat waarschijnlijk het verschil van 16,1 punten zou hebben gecomprimeerd, en het oordeel van gelijkspel zou zijn gekomen om een slechtere reden.

Het gepubliceerde verlies

De test voor een eerlijke belangstelling voor een beslissingsregel is of deze een resultaat kan opleveren dat je liever niet publiceert. Dat gebeurde bij ons. Het pre-gerigistreerde armontwerp bevatte de productieopstelling, een kennisbewapende DIY-arm en een kennis-plus-documenten DIY-arm als secundaire vergelijking. De kennis-plus-documenten-arm scoorde hoger dan het product, 98,7% tegenover 92,1%, met vijf taakcellen verschillend. We publiceerden het in de benchmarkbeschrijving, in platte tekst, in de verliezensectie.

De bandbreedte is wat het publiceren ervan goedkoop maakte. Een beslissingsysteem dat alleen maar overwinningen oplevert, is geen beslissingsregel; het is een persbericht met een rubriek. Zodra de bandbreedte voor gelijkspel en de regel voor het publiceren van verliezen zijn bevroren voordat de run begint, is een verliezende arm gewoon een uitkomst, geen schande. Die symmetrie is de hele truc: dezelfde regel die ons dwong een verschil van 16,1 punten als gelijkspel te benoemen, verplichtte ons ook om een resultaat te publiceren waarin een handmatig samengestelde prompt ons product versloeg.

Één concreet defect dat de run aan het licht bracht, ter documentatie: de productie-arm faalde op één van de vier valse vragen, door een niet-bestaande ISO 27001-controle (A.8.35) te beschrijven met een volledig verzonnen vereiste, terwijl zijn eigen geïnjecteerde controletabel in dezelfde prompt eindigde bij A.8.34. De kennisbewapende DIY-armen weigerden dezelfde valse aanname. We publiceerden dat ook.

Beperkingen

Dit is één instrument, één dag, één beoordelaarmodel (cross-family, temperatuur 0, enkele aanbieder), 12 hertestparen, 20 taken, één generatie per arm per taak. De bandbreedte van 18,18 punten is een eigenschap van onze rubriekschaal en onze beoordelaar; jouw bandbreedte zal anders zijn, en dat is het punt van het meten ervan. Een bandbreedte voor gelijkspel is een beslissingsregel, geen betrouwbaarheidsinterval voor een specifiek verschil; een 90e-percentiel hertestdelta is een conservatieve proxy voor beoordelaarsruis, geen gemeten steekproevenverdeling. Menselijke kalibratie van een beoordeelde steekproef en een grotere taakset zijn de volgende stappen die de resolutie van dit instrument kunnen verscherpen. Geen van deze beperkingen verandert de overdraagbare stelling: een evaluatie die zijn eigen hertestvariatie niet heeft gemeten, kan geen verschillen rapporteren die kleiner zijn dan die variatie.

De checklist

Pas dit toe op elke op een beoordelaar gebaseerde evaluatie die je bezit:

  1. Herbeoordeel 8 tot 12 identieke antwoordcellen over je armen en taakstrata, voordat je de volgende echte run uitvoert. Bereken het 90e percentiel van de scoreverschillen. Dat getal is je resolutiegrens.
  2. Schrijf de beslissingsregel tegen de grens in het plan: WIN / GELIJKSPEL / VERLIES-drempels, inclusief het publiceren van verliezen, voordat er kosten worden gemaakt. (Als je plan ook een verzadigingspilotpoort bevat, zoals bij ons, houd deze dan apart van de bandbreedte: de bandbreedte beslist het oordeel, de poort beslist of de run meetbaar is.)
  3. Bevries het instrument met een inhoudshash en breek de run af bij opstarten als een rij een vreemde digest bevat.
  4. Voeg een pilotpoort toe die schaalbaarheid weigert wanneer een vergeleken arm gemiddeld dicht bij het scoreplafond zit, en registreer vooraf hoe de poort kan worden verfijnd (start opnieuw vanaf nul, voer de volledige experiment nooit opnieuw uit tegen bewerkte poorten). Dezelfde regel geldt voor elke andere pre-runbewaking: als deze kan worden herzien, hoort het verfijningspad in het plan, toegepast voordat de bevriezing plaatsvindt, niet erna.
  5. Wanneer het oordeel binnen de bandbreedte valt, rapporteer het gelijkspel als kop en de richting als context, niet andersom.
  6. Behandel elk gerapporteerd verschil dat kleiner is dan je gemeten variatie, in je eigen posts of die van anderen, als ongemeten.

Het meest nuttige getal in je evaluatie-orkestrator is niet een benchmarkscore. Het is hoe veel je beoordelaar beweegt wanneer niets verandert.

Verder lezen en doen

Gerelateerde artikelen

Klaar om uw compliance-werk te stroomlijnen?

Gebouwd voor snelheid, nauwkeurigheid en audit-klare resultaten.