Engineering

Unser Evaluierungsurteil wurde von einer Zahl entschieden, die wir vor dem Lauf eingefroren haben

Die Unentschieden-Bandbreite: Wir haben gemessen, wie stark unser Richter bei der erneuten Bewertung identischer Antworten schwankt, haben diese Zahl in die Vorregistrierung aufgenommen und sie eine 16,1-Punkte-Differenz überstimmen lassen. Dieselbe Vorregistrierung fing einen Pilotversuch ab, der den eigentlichen Lauf blind gemacht hätte.

von ISMS Copilot··7 min read
Unser Evaluierungsurteil wurde von einer Zahl entschieden, die wir vor dem Lauf eingefroren haben

Eine 16,1-Punkte-Differenz, ein Konfidenzintervall, das null ausschließt, und das Urteil war trotzdem ein Unentschieden. Das ist keine statistische Feigheit. Es ist das einzige ehrliche Urteil, das unser Instrument verteidigen konnte, denn wir hatten vor dem Lauf gemessen, dass unser Richter bei einer erneuten Bewertung identischer Antworten in einem von zehn Fällen um 18,2 Punkte schwankt. Wir haben diese Zahl in die Vorregistrierung aufgenommen und sie die Hauptüberschrift überstimmen lassen. Wenn Sie LLM-als-Richter-Evaluierungen durchführen und Sie haben identische Antworten nie erneut bewertet, kennen Sie die messbaren Qualitätsunterschiede in Ihrem Instrument nicht – und jedes veröffentlichte Urteil ist größer als Ihr Messinstrument.

Die Schwankungszahl und ihre Herkunft

Am 2026-09-02 führten wir einen vorregistrierten 20-Aufgaben-Compliance-Benchmark über sechs Gerüstkonfigurationen desselben Modells (GLM 5.3-Flash) durch, wobei ein kreuzfamiliärer Richtermodell jede Antwort anhand eingefrorener Bewertungsrichtlinien bewertete. Die vollständigen Ergebnisse und Verluste sind in unserem Benchmark-Bericht zu finden. Dieser Beitrag handelt von einer einzigen Zahl innerhalb dieses Designs: der Unentschieden-Bandbreite.

Die Bandbreite ist das 90. Perzentil der Test-Retest-Deltas des Richters. Das Verfahren: Nehmen Sie eine geschichtete Stichprobe von Antwortzellen über die Arme und Framework-Familien, führen Sie den Richter zweimal mit derselben Eingabeaufforderung und derselben Antwort aus und messen Sie, wie stark sich die gewichtete Bewertung ändert. Bei unserem Instrument ergaben 12 Retest-Paare eine 90. Perzentil-Schwankung von 18,18 Punkten auf einer 100-Punkte-Skala. Der Richter arbeitet mit Temperatur 0, ist an einen einzelnen Anbieter gebunden, schema-validiert und kennt die Arm-Bezeichnungen nicht. Identische Eingaben. Achtzehn Punkte Bewegung, ein Lauf in zehn.

Diese Zahl wurde zu einer eingefrorenen Entscheidungsregel, die vor jedem Generierungsaufwand in den Plan geschrieben wurde: Sieg, wenn die Differenz die Bandbreite überschreitet, Niederlage, wenn sie schlechter als die negative Bandbreite ist, sonst Unentschieden. Die Bandbreiten-Datei enthält einen SHA-256-Digest des vollständigen gemeinsamen Instruments (Aufgaben, Arme, Fixtures, Eingabeaufforderungen, Konfigurationen), und der Lauf bricht beim Start ab, wenn eine Zeile einen fremden Digest enthält. Wir haben 18,18 nicht gewählt, weil es ein bequemes Urteil ergeben hätte. Wir haben es aus Retests berechnet, mit seinem Digest eingefroren, und das Urteil folgte aus der Arithmetik.

Was die Bandbreite entschied

Der vorregistrierte primäre Endpunkt war die vollständige Produktionsmontage im Vergleich zum besseren von zwei unabhängig erstellten DIY-Eingabeaufforderungen. Das Produkt erzielte 92,1 %, die beste DIY-Eingabeaufforderung 76,0 %. Mittlere Differenz: +16,1 Punkte, Bootstrap-95%-Konfidenzintervall [3,4, 30,2] über zehn Cluster und 2.000 Resamples. Das Intervall schließt null aus. Die Differenz überschreitet 18,18 nicht.

Vorregistriertes Urteil: Unentschieden. Als Unentschieden gemeldet, einschließlich der Hauptüberschrift, weil das die Arithmetik ist. Zwei Dinge sind gleichzeitig wahr: Auf diesem Aufgabenset ist die Richtung des Effekts positiv und unwahrscheinlich null, und mit diesem Instrument können wir die Größe des Effekts nicht als Differenz bezeichnen. Ein Urteil, das nur die erste Wahrheit meldet, ist Marketing. Ein Urteil, das beide meldet, ist eine Messung.

Das ist der Teil, den fast jede richterbasierte Evaluierung, die wir gelesen haben, auslässt: Das Urteil ist eine Eigenschaft des Instruments, nicht der Systeme. Eine 18-Punkte-Schwankung bedeutet, dass Einzeldifferenzen von 15 Punkten nicht von einem erneuten Lauf des Richters mit unveränderten Antworten zu unterscheiden sind. Jede Bestenliste, Vergleichsbeitrag oder Freigabesperre, die ihre eigene Retest-Schwankung ignoriert, veröffentlicht Rauschen mit Nachkommastelle.

Das Pilottor, das die Vorregistrierung ermöglichte

Die Vorregistrierung leistete auch vor dem eigentlichen Lauf leise Arbeit. Unsere Methodik erfordert ein Pilottor auf einem kleinen Aufgabenteilset vor jedem skalierten Aufwand: Überprüfung der Parserate, Abbrüche und dass kein verglichener Arm zu gesättigt ist, um zu diskriminieren. Der erste Pilotversuch (Pilot-1, 2026-09-02) löste dieses Tor aus. Der wissensbewehrte Hilfsarm erreichte 100 % Mittelwert, während die verglichenen Arme zwischen 52,7 % und 83,3 % lagen. Die Bewertungsdifferenzen zwischen den verglichenen Armen waren noch trennbar, aber die Obergrenze saß nah genug, dass die Margen komprimiert würden. Wir hatten eine Verfeinerungsregel für genau diesen Fall eingefroren: Das Kriterium für jede-Arm-Sättigung wurde so angepasst, dass es nur für verglichene Arme galt, das Instrument wurde bearbeitet, und der Pilot wurde von Grund auf neu gestartet (Pilot-2, derselbe Tag, bestanden: 100 % Parserate, null Abbrüche, 12 Retest-Paare, Erkennung feuerte bei jeder wissensbehafteten Aufgabe). Erst dann begann der vollständige Lauf.

Zwei Lehren aus dieser Sequenz. Erstens: Registrieren Sie auch den Verfeinerungspfad vor: Wir änderten das Tor, aber die Änderung war selbst vorregistriert und wurde vor dem Einfrieren neu pilotiert, sodass die Vorregistrierung des vollständigen Laufs nie nach dem Vorhandensein von Daten bearbeitet wurde. Zweitens: Der Arm, der im Pilot 100 % erzielte (die wissensbewehrte DIY-Konfiguration), erzielte im vollständigen Lauf 96,9 %, der höchste Arm neben dem wissens-plus-Dokumente-Vergleichsarm. Ohne das Tor hätte der primäre Endpunkt gegen Instrumente laufen können, die zur Sättigung tendieren, was die 16,1-Punkte-Differenz wahrscheinlich komprimiert hätte – und das Unentschieden-Urteil wäre aus einem schlechteren Grund zustande gekommen.

Der veröffentlichte Verlust

Der ehrliche-Interessen-Test für eine Entscheidungsregel lautet, ob sie ein Ergebnis produzieren kann, das Sie lieber nicht veröffentlichen würden. Unsere tat es. Das vorregistrierte Arm-Design umfasste die Produktionsmontage, einen wissensbewehrten DIY-Arm und einen wissens-plus-Dokumente-DIY-Arm als sekundären Vergleich. Der wissens-plus-Dokumente-Arm schnitt mit 98,7 % zu 92,1 % besser ab, mit fünf unterschiedlichen Aufgaben. Wir veröffentlichten es im Benchmark-Bericht, im Klartext, im Abschnitt Verluste.

Die Bandbreite ist es, die das Veröffentlichen günstig machte. Ein Entscheidungssystem, das nur Siege produziert, ist keine Entscheidungsregel; es ist eine Pressemitteilung mit einem Bewertungsschema. Sobald die Unentschieden-Bandbreite und die Verlustveröffentlichungsregel vor dem Lauf eingefroren sind, ist ein verlierender Arm einfach ein Ergebnis, keine Blamage. Diese Symmetrie ist der ganze Trick: Dieselbe Regel, die uns zwang, eine 16,1-Punkte-Differenz als Unentschieden zu bezeichnen, verpflichtete uns auch, ein Ergebnis zu veröffentlichen, bei dem eine handgefertigte Eingabeaufforderung unser Produkt schlug.

Ein konkreter Defekt, den der Lauf aufdeckte, zur Dokumentation: Der Produktarm scheiterte bei einer der vier Fangfragen, indem er eine nicht existierende ISO-27001-Kontrolle (A.8.35) mit einer vollständig erfundenen Anforderung beschrieb, während seine eigene eingebettete Kontrolltabelle in derselben Eingabeaufforderung bei A.8.34 endete. Die wissensbewehrten DIY-Arme lehnten dieselbe falsche Prämisse ab. Wir veröffentlichten das ebenfalls.

Grenzen

Dies ist ein Instrument, ein Tag, ein Richtermodell (kreuzfamiliär, Temperatur 0, an einen einzelnen Anbieter gebunden), 12 Retest-Paare, 20 Aufgaben, eine Generierung pro Arm und Aufgabe. Die 18,18-Punkte-Bandbreite ist eine Eigenschaft unserer Bewertungsskala und unseres Richters; Ihre Bandbreite wird anders ausfallen – und genau darum geht es beim Messen Ihrer eigenen. Eine Unentschieden-Bandbreite ist eine Entscheidungsregel, kein Konfidenzintervall für eine bestimmte Differenz; ein 90. Perzentil-Retest-Delta ist ein konservativer Proxy für Richterrauschen, kein gemessene Stichprobenverteilung. Eine menschliche Kalibrierung einer bewerteten Stichprobe und ein größeres Aufgabenset sind die nächsten Schritte, die die Auflösung dieses Instruments verfeinern würden. Keine dieser Grenzen ändert den übertragbaren Anspruch: Eine Evaluierung, die ihre eigene Retest-Schwankung nicht gemessen hat, kann Differenzen, die kleiner als diese Schwankung sind, nicht glaubwürdig berichten.

Die Checkliste

Wenden Sie dies auf jede richterbewertete Evaluierung an, die Sie besitzen, an:

  1. Bewerten Sie 8 bis 12 identische Antwortzellen über Ihre Arme und Aufgabenschichten erneut, bevor Sie Ihren nächsten echten Lauf durchführen. Berechnen Sie das 90. Perzentil der Bewertungsdeltas. Diese Zahl ist Ihre Auflösungsgrenze.
  2. Schreiben Sie die Entscheidungsregel gegen die Grenze in den Plan: Sieg/Unentschieden/Niederlage-Schwellenwerte, einschließlich der Verlustveröffentlichung, vor jedem Generierungsaufwand. (Wenn Ihr Plan auch ein Pilottor wie unseres trägt, halten Sie es getrennt von der Bandbreite: Die Bandbreite entscheidet das Urteil, das Tor entscheidet, ob der Lauf überhaupt messbar ist.)
  3. Frieren Sie das Instrument mit einem Inhalts-Hash ein und brechen Sie den Lauf ab, wenn eine Zeile einen fremden Digest enthält.
  4. Fügen Sie ein Pilottor hinzu, das die Skalierung verweigert, wenn der Mittelwert eines verglichenen Arms nahe der Obergrenze liegt, und registrieren Sie vorab, wie das Tor verfeinert werden darf (von Grund auf neu pilotieren, niemals den vollständigen Versuch gegen bearbeitete Tore neu ausführen). Dieselbe Regel gilt für jede andere Vorlaufsicherung: Wenn sie verfeinert werden kann, gehört der Verfeinerungspfad in den Plan, angewendet vor dem Einfrieren, nicht nach dem Vorhandensein von Daten.
  5. Wenn das Urteil innerhalb der Bandbreite landet, melden Sie das Unentschieden als Hauptüberschrift und die Richtung als Kontext – nicht umgekehrt.
  6. Behandeln Sie jede berichtete Differenz, die kleiner als Ihre gemessene Schwankung ist, in Ihren eigenen Beiträgen oder denen anderer, als ungemessen.

Die nützlichste Zahl in Ihrem Evaluierungs-Orchestrator ist nicht eine Benchmark-Bewertung. Es ist die Zahl, um die sich Ihr Richter bewegt, wenn sich nichts ändert.

Wie es weitergeht

Verwandte Beiträge

Bereit, Ihre Compliance-Arbeit zu optimieren?

Entwickelt für Geschwindigkeit, Genauigkeit und prüfungsreife Ergebnisse.