Die stille Null: Wenn eine fehlende Richterbewertung zur Messung wird

Die gefährlichste Zahl in einer LLM-bewerteten Evaluierung ist keine verzerrte Bewertung. Es ist eine fehlende – denn ein nachlässiger Aggregator wandelt sie ohne Hinweis in eine Null um, und dann baut man eine Theorie, um diese Null zu erklären. Wir wissen das, weil wir es zweimal im selben Evaluierungsdurchlauf taten. In einer Offline-Ablation, abgeschlossen am 17. Juli 2026, verglichen wir zehn Generierungsstrategien für GRC-Artefakte (Richtlinienpakete, eine Verarbeitungs-RoPA, eine SOC-2-Lückenanalyse, eine ISO/IEC-42001-KI-Richtlinie, eine EU-KI-Gesetz-Klassifizierung), die blind von zwei Richtermodellen anhand eines 1-10-Bewertungsschemas bewertet wurden. Im Durchgang 1 schien die Erstellung eines gesamten Artefakts in einem Durchgang um 3,25 Punkte besser zu sein als die schrittweise Erstellung. Im Durchgang 2 verschwand dieser Effekt auf 0,66, und unsere eigene methodische Notiz diagnostizierte den Kollaps als ein Richtermodell-Artefakt: Ein Richtermodell war „1,5–2 Punkte nachsichtiger“ als das andere. Beide Erkenntnisse waren derselbe Fehler. Siebenundsiebzig der 446 Richtermodel-Zeilen im Durchgang 2 hatten kein overall-Feld, der Reduzierer führte Number(r[d]) || 0 aus, und jeder Mittelwert der Gesamtbewertung in der Scorecard des Berichts sowie beide schwerpunktmäßigen Rahmenergebnisse wurden exakt reproduziert, indem diese 79 Zeilen als Nullen gemittelt wurden. Wir nennen dies die stille Null, und dieser Beitrag beschreibt, was sie uns kostete und worauf wir jetzt achten.

Die Evaluierung und ihre Ergebnisse

Der Aufbau war für diese Art von Arbeit üblich. Neun eingefrorene Szenarien, alle synthetisch und basierend auf einem fiktiven 20-köpfigen Berliner SaaS-Unternehmen (ein zehntes, ein Due-Diligence-Memo eines Anbieters, war in der Fixture-Datei enthalten, wurde aber in den analysierten Durchgängen nicht gerendert), abgeleitet aus den anspruchsvollsten Formen der Compliance-Schreibarbeit, die wir sehen: ein mehrteiliger interner Prüfbericht, ein mehrteiliges Richtlinienpaket, ein GDPR-Art. 30-Verzeichnis der Verarbeitungsvorgänge, schwerpunktmäßige Aufgaben zu SOC 2, ISO/IEC 42001 und dem EU-KI-Gesetz, eine arbeitsbereichsbasierte Richtlinie, ein zwölfteiliger Durchlauf, eine unklare Aufgabenstellung. Zehn Varianten variierten die Generierungsstrategie: schrittweise Erstellung einer vorab genehmigten Abschnitt-für-Abschnitt-Anleitung, Erstellung derselben Anleitung in einem Durchgang, Neugenerierung der Anleitung mit einem strengeren Planer zuerst, freie Erstellung aus der Kundenaufgabe ohne Anleitung, Hinzufügen einer Entwurfs-Kritik-Revisionsschleife und Wechsel des Autor:innenmodells. Die beiden Autor:innenmodelle waren z-ai/glm-5.2 und anthropic/claude-opus-4.8, beide über OpenRouter im Juli 2026 aufgerufen. Bis zu drei Durchläufe pro Szenario und Variante im Durchgang 2; zwei Varianten waren nur teilweise besetzt (die Neugenerierungs-Variante mit 18 Renderings und der Offline-Wiederholungsdurchlauf mit 17, gegenüber 27 bei den anderen neu gerenderten Varianten), und die erfasste Baseline ist ein einmaliger Referenzdatensatz von neun Dokumenten.

Die Bewertung war blind und absolut: Jede:r Richter:in sah die Kundenaufgabe und ein Dokument, nie die Variante oder das Autor:innenmodell, und wurde angewiesen, striktes JSON mit fünf Teilbewertungen (Korrektheit, Vollständigkeit, Tiefe, Zitate, Ehrlichkeit), einem overall, einer Liste von Fälschungsmarkierungen und einem einzeiligen Urteil zurückzugeben. Zwei Richtermodelle, dieselben wie die Autor:innenmodelle. Durchgang 1 verwendete eine Anti-Selbstpräferenz-Zuweisung: Der GLM-Richter bewertete die von Claude generierten Varianten und umgekehrt, da Selbstpräferenz bei LLM-Bewerter:innen dokumentiert ist: Panickssery, Bowman und Feng zeigten, dass LLM-Bewerter:innen ihre eigenen Generierungen erkennen und bevorzugen (arXiv:2404.13076, 15. April 2024), und Zheng et al. katalogisierten Selbstaufwertung, Positions- und Verbositätsverzerrungen in LLM-als-Bewerter:innen-Setups (arXiv:2306.05685, 9. Juni 2023). Durchgang 2 wendete beide Richter:innen auf jede Variante an und mittelte sie, was ein besserer Aufbau ist.

Die Schlagzeile aus Durchgang 1 im Scorecard: Die fokussierte Ein-Durchgangs-Erstellung erzielte 7,56 im Gesamtergebnis gegenüber 4,31 für die schrittweise Erstellung derselben Anleitung mit demselben Modell. Ein Topologieeffekt von 3,25 Punkten. Die Schlagzeile aus Durchgang 2: Dieser Effekt betrug 0,66, die freie Erstellung aus der Aufgabe war die beste Variante, und die schrittweise Variante lag bei der Qualität nahe am unteren Ende und bei Ehrlichkeit und Fälschungen am schlechtesten. Die methodische Notiz des Berichts erklärte die Lücke zwischen den Durchgängen: Die Bewertung verschiedener Varianten mit verschiedenen Richtern hatte absolute Bewertungen un vergleichbar gemacht, da der GLM-Richter etwa 1,5–2 Punkte nachsichtiger war als der Claude-Richter. „Vergleiche niemals absolute LLM-Bewerter:innenscores über Varianten hinweg, die von verschiedenen Modellen bewertet wurden“ wurde als Lehre festgehalten. Es klang richtig. Es entsprach nicht den Daten.

Was die Zeilen tatsächlich enthielten

Am 19. August 2026 lasen wir die Rohbewertungsdatei Zeile für Zeile erneut, statt der Scorecard. Von 446 eindeutigen (Szenario, Variante, Durchlauf, Richter:in)-Zeilen, die in Durchgang 2 erfasst wurden (von 466 geplant; 20 geplante Bewertungen haben keine Zeile, was die Harness korrekt als Fehler registrierte und aus allen Mittelwerten ausschloss), hatten 79 kein overall-Feld, 18 %. Sie teilten sich in zwei Kategorien auf. Fünfundsechzig Zeilen waren vollständige Bewertungen minus einem Feld: Alle fünf Teilbewertungen vorhanden, Fälschungsmarkierungen vorhanden, das einzeilige Urteil vorhanden und kein overall. Der Richter hatte das von uns angeforderte JSON mit einem fehlenden Schlüssel zurückgegeben, dem Schlüssel, der in der angeforderten Schema zwischen honesty und fabrication_flags stand. Vierzehn Zeilen waren JSON-Objekte ohne Rubrikfelder, die der Parser akzeptierte, weil er jedes JSON-Objekt akzeptierte. Das Fehlen war nicht gleichmäßig auf die Richter:innen verteilt: In unserem Durchlauf hatten 56 der 229 Zeilen des Claude-Richters (24 %) kein overall, alle davon vom teilweisen Typ, und 23 der 217 Zeilen des GLM-Richters (11 %) hatten keines, davon 9 teilweise und die 14 leeren Objekte. Wir untersuchten nicht, warum; unsere Richter:innenaufforderung, die JSON-Modus-Verarbeitung auf der von uns verwendeten Route und das 1.200-Token-Ausgabe-Limit sind allesamt Kandidaten, und die Rate ist eine Eigenschaft unseres Aufrufs, kein Anspruch an einen der Anbieter.

Der Aggregator führte dann das natürliche TypeScript aus:

for (const d of dims) out[d] = Number(mean(js.map((r) => Number(r[d]) || 0)).toFixed(2));

Eine Zeile ohne overall wurde zu einer 0 in einer Spalte, in der jeder reale Wert zwischen 1 und 10 lag, und die gültige Verteilung war hart am oberen Ende konzentriert (von 367 gültigen overall-Bewertungen waren 299 8 oder höher). Eine Null in einer Zelle von sechzehn verschiebt den Mittelwert um etwa einen halben Punkt auf den von uns beobachteten Bewertungsniveaus. Acht Nullen in einer Zelle von sechzehn halbieren ihn.

Hier ist die Scorecard von Durchgang 2, wie veröffentlicht, neben denselben Zeilen mit fehlenden Bewertungen als fehlend behandelt. Beide Richter:innen, alle Szenarien, overall auf 1–10:

Variante	Veröffentlichter Gesamtdurchschnitt	Gesamtdurchschnitt (gültige Zeilen)	Gültige Richter:innen n / Richter:innen Zeilen
Schrittweise Anleitungserstellung, erfasste Baseline-Ausgaben	6,56	7,50	14 / 16
Schrittweise Anleitungserstellung, Offline-Wiederholung (GLM-5.2)	6,12	8,08	25 / 33
Ein-Durchgangs-Anleitungserstellung (GLM-5.2)	6,78	8,07	42 / 50
Ein-Durchgangs-Anleitungserstellung + Reflexionsschleife (GLM-5.2)	7,02	8,14	44 / 51
Neugenerierte Anleitung + Ein-Durchgangs-Erstellung (GLM-5.2)	6,32	7,68	28 / 34
Freie Erstellung aus Aufgabe (GLM-5.2)	6,38	8,30	40 / 52
Freie Erstellung + Reflexionsschleife (GLM-5.2)	6,08	7,71	41 / 52
Ein-Durchgangs-Anleitungserstellung (Claude Opus 4.8)	7,45	8,59	46 / 53
Ein-Durchgangs-Anleitungserstellung + Reflexionsschleife (Claude Opus 4.8)	6,56	8,53	40 / 52
Freie Erstellung aus Aufgabe (Claude Opus 4.8)	7,53	8,49	47 / 53

Jeder veröffentlichte Gesamtdurchschnitt in dieser Tabelle ist der mit Nullen gefüllte Mittelwert auf zwei Dezimalstellen. Die zehn Varianten, die scheinbar zwischen 6,08 und 7,53 lagen, liegen tatsächlich zwischen 7,50 und 8,59, ein Bereich von etwa einem Punkt, und die vier besten Varianten liegen innerhalb von 0,3 voneinander. Das veröffentlichte schwerpunktmäßige Rahmenergebnis, auf das sich der Bericht am stärksten stützte („Claude frei 8,06 gegenüber Anleitung 6,59; GLM frei 7,19 gegenüber Anleitung 6,40“), wird zu 9,06 gegenüber 8,62 (16 und 13 gültige Zeilen) und 8,85 gegenüber 8,73 (13 und 11). Ein Effekt von 1,47 Punkten wird zu 0,44; ein Effekt von 0,79 Punkten wird zu 0,12.

Durchgang 1 ist der deutlichere Fall. Die 4,31 der schrittweisen Variante stammten aus sechzehn von Claude bewerteten Zeilen, von denen acht kein overall hatten; die acht, die eines hatten, ergaben im Durchschnitt 8,62. Die 7,56 der fokussierten Variante stammten aus achtzehn Zeilen mit zwei fehlenden; die sechzehn gültigen ergaben im Durchschnitt 8,50. Der Topologieeffekt von 3,25 Punkten, der die gesamte Untersuchung auslöste, war – bei den Zeilen, die eine Bewertung trugen – minus 0,12.

Die Theorie, die wir auf dem Fehler aufbauten

Dies ist der Teil, den man verinnerlichen sollte, denn der Fehler selbst ist langweilig. Als Durchgang 2 den Durchgang 1 nicht reproduzieren konnte, taten wir, was sorgfältige Menschen tun: Wir suchten nach einem Mechanismus. Das Anti-Selbstpräferenz-Design bedeutete, dass die von Claude und GLM generierten Varianten in Durchgang 1 von verschiedenen Richtern bewertet wurden, die dokumentierten Verzerrungen von LLM-Bewerter:innen machten „die Richter:innen unterscheiden sich in ihrer Strenge“ plausibel, und eine Scorecard, in der die von Claude bewerteten Varianten niedrig und die von GLM bewerteten Varianten hoch lagen, ließ es gemessen aussehen. Also notierten wir einen Nachsichtigkeitsunterschied von 1,5–2 Punkten und eine Regel, niemals absolute Scores über Richter:innen hinweg zu vergleichen.

Die Rohzeilen ermöglichten es uns, diese Theorie direkt zu testen, denn Durchgang 2 hatte beide Richter:innen dasselbe Dokument bewerten lassen. Über die 148 (Szenario, Variante, Durchlauf)-Paare, bei denen beide Richter:innen ein overall zurückgaben, betrug die durchschnittliche GLM-minus-Claude-Differenz +0,12. Dreiundsiebzig Paare waren identisch, 41 hatten GLM einen Punkt höher, 17 hatten Claude einen Punkt höher, und 17 unterschieden sich um zwei oder mehr Punkte. In den Daten von Durchgang 1 betrug dieselbe paarweise Abweichung minus 0,06 über 72 Paare. Unter den 148 vollständigen Paaren gibt es kein Anzeichen für eine 1,5-Punkte-Nachsichtsigkeitslücke. Was es gab: Fehlende Werte, in zwei Schichten. Über die Richter:innen hinweg hatten 24 % der Zeilen eines Richters kein overall gegenüber 11 % des anderen, und die Anti-Selbstpräferenz-Zuweisung platzierte den Richter mit der höheren Rate auf jede von GLM generierte Variante, sodass diese Varianten als Gruppe mehr Nullen sammelten, was ihre Scores in übergreifenden Vergleichen nach unten drückte. Innerhalb eines Richters variierte das Fehlen nach Variante: Die beiden Varianten in der Schlagzeile von Durchgang 1 waren beide von GLM generiert und beide von Claude bewertet, und sie hatten acht bzw. zwei Zeilen ohne overall. Der 3,25-Punkte-„Topologieeffekt“ war nie ein Richtervergleich. Wir hatten Fehlende als Strenge gelesen, und die Erklärung war befriedigend genug, dass niemand die Datei öffnete.

Das ist die allgemeine Form der stillen Null. Ein fehlender Wert, der zu einer Zahl erzwungen wird, sieht nicht wie ein Fehler aus; er sieht aus wie eine niedrige Bewertung, und niedrige Bewertungen erhalten Erklärungen. Ein Richter mit einem konstanten Strengeunterschied ist ein viel harmloseres Versagen: Der Unterschied hebt sich in jedem Vergleich innerhalb desselben Richters auf und zeigt sich sofort in einer paarweisen Überprüfung. Eine mit Nullen gefüllte Zelle ist nicht konsistent. Sie skaliert damit, wie oft der Parser in dieser Zelle fehlgeschlagen ist, und in unseren Daten war diese Rate mit der Variante korreliert.

Was überlebte

Nicht alles im Bericht war falsch, und die Aufteilung ist lehrreich. Die fünfundsechzig teilweisen Zeilen trugen weiterhin honesty und fabrication_flags, sodass diese beiden Spalten nur die vierzehn leeren Zeilen verloren. Neu abgeleitet aus Zeilen mit einem gültigen Ehrlichkeitswert hat die erfasste schrittweise Baseline immer noch die niedrigste Ehrlichkeit (5,81 über 16 Bewertungen) und Fälschungsmarkierungen bei 16 von 16, während die freie Claude-Erstellung die höchste Ehrlichkeit (9,75 über 52) und Markierungen bei 1 von 52 aufweist. Diese Lücke ist real. Die Qualitätsrangfolge löste sich größtenteils in einem Ein-Punkt-Band auf, und die Behauptung, dass „freies Schreiben das Anleitungs-Rendern schlägt“, ging von einer Schlagzeile zu +0,23 Gesamtdurchschnitt für GLM-5.2 (8,30 gegenüber 8,07) und -0,10 für Claude Opus 4.8 (8,49 gegenüber 8,59) über. Die Behauptung „Reflexion schadet“ hielt für die freie GLM-Erstellung (7,71 mit Reflexion gegenüber 8,30 ohne) und war ein Wash für die Claude-Anleitungs-Erstellung (8,53 gegenüber 8,59). Wir haben die Ablation nicht neu durchgeführt; die Schlussfolgerungen, die der Bericht zog, werden aus den gültigen Zeilen neu abgeleitet, und die methodischen Lehren, die wir tatsächlich gelernt haben, sind unten aufgeführt.

Es gibt auch eine Compliance-Lesart davon, und sie ist nicht nur dekorativ. ISO/IEC 27001:2022, Klausel 9.1 b) verlangt von einer Organisation, die Methoden zur Überwachung, Messung, Analyse und Bewertung so zu bestimmen, dass valide Ergebnisse sichergestellt werden, und besagt, dass die ausgewählten Methoden vergleichbare und reproduzierbare Ergebnisse liefern müssen, um als valide zu gelten (ISO/IEC 27001:2022, Klausel 9.1, Ausgabe 2022-10). Eine:r interne:r Auditor:in, die:der feststellt, dass ein ISMS-Leistungsdashboard leere Zellen als Nullen gemittelt hat, könnte eine Nichtkonformität gegen diese Klausel erheben. Eine Scorecard einer Evaluierung, die eine Architekturentscheidung steuert, ist – analog – ebenfalls eine Messmethode im selben Sinne, und wir hielten sie an einen niedrigeren Standard als den, den wir bei einem Kunden anlegen würden.

Grenzen

Dies ist eine Neuzusammenstellung der bereits vorhandenen Bewertungen, keine neue Durchführung, und die Zahlen der gültigen Zeilen erben jede Einschränkung des Originals: neun Szenarien, bis zu drei Durchläufe, ganzzahlige Scores von zwei LLM-Bewerter:innen, die hart bei 8–9 geballt sind, keine Signifikanztests und ein Bewerter, der selbst ein Modell ist. Zellen mit gültigen Zeilen reichen von 14 bis 47 Bewertungen pro Variante über alle Szenarien hinweg und von 4 bis 16 im schwerpunktmäßigen Rahmenteil; die gültigen Scores haben eine Standardabweichung von 1,36, sodass ein naiver Standardfehler eines vollen Variantenmittelwerts auf Zeilenebene (1,36 geteilt durch die Wurzel aus n, ohne zu beachten, dass die Richter:innen gepaart sind und die Durchläufe nach Szenarien gruppiert sind) etwa 0,2 bis 0,4 beträgt, und wir lesen Unterschiede unter etwa einem halben Punkt zwischen den Varianten als Unentschieden. Die Ausfallraten für overall sind das, was wir bei unserer Aufforderung über eine Route im Juli 2026 bei einer 1.200-Token-Grenze mit angefordertem JSON-Modus beobachteten; wir isolierten die Ursache nicht und wissen nicht, ob sie stabil ist. Die paarweise Richterabweichung von 0,12 ist spezifisch für dieses Bewertungsschema und diese Dokumente. Keine dieser Einschränkungen ändert die zentrale Tatsache, die ohne eine davon gilt: Die veröffentlichte overall-Spalte wurde mit 18 % ihrer Zeilen berechnet, die zu Nullen erzwungen wurden, und die beiden darauf aufgebauten Erkenntnisse überleben deren Entfernung nicht.

Die stille Null und eine Checkliste

Die Idee zum Mitnehmen: In einer LLM-bewerteten Evaluierung ist ein Richteraufruf, der keine Bewertung zurückgibt, kein Datenpunkt, und jeder Aggregator, der daraus einen machen kann, wird dies irgendwann in der Zelle tun, in der es am meisten zählt. Maßnahmen gegen Richterverzerrungen sind es wert, durchgeführt zu werden – aber sie sind wertlos, bis man seine Nullen gezählt hat. Wenn du eine Evaluierung durchführst, bei der ein Modell die Ausgabe eines anderen Modells bewertet, wende Folgendes darauf an:

• Erzwinge niemals eine fehlende Bewertung. Number(x) || 0, x ?? 0, fillna(0) auf einer Bewertungsspalte: All diese wandeln ein fehlendes Urteil in eine Bewertung unterhalb des Minimum der Skala um, schlechter als jedes Urteil, das die Skala zulässt. Behandle Fehlendes als fehlend (pandas überspringt NaN standardmäßig in einem Mittelwert; unser handgerollter Reduzierer tat dies nicht) und lasse die Scorecard lautstark fehlschlagen, wenn die Anzahl der gültigen Einträge in einer Zelle unter dem liegt, was du vorab registriert hast.
• Gib die Anzahl der gültigen Einträge neben jeden Mittelwert aus. Eine Zelle, die „4,31“ liest, und eine Zelle, die „4,31 (8/16)“ liest, sind unterschiedliche Aussagen. Unsere Scorecard gab n als Zeilenzahl aus, was verbarg, dass die Hälfte einer Variante keine Bewertung hatte.
• Validiere die Ausgabe des Richters gegen das Schema und wiederhole den Aufruf. Ein JSON-Objekt ist kein Urteil. Verlangte jedes bewertete Feld, lehne ab und rufe erneut auf, wenn etwas fehlt, und protokolliere die Ausfallrate pro Richter:in und pro Variante. Eine Ausfallrate, die sich nach Richter:in oder Variante unterscheidet, ist selbst ein Befund – und in unserem Fall war es der Befund.
• Bevor du über Richterverzerrungen theoretisierst, berechne die paarweise Abweichung. Wenn zwei Richter:innen dieselben Dokumente bewertet haben, ist die Differenz bei diesen Paaren die Bewertungsabweichung zwischen ihnen bei dieser Aufgabe. Unsere betrug 0,12 bei vollständigen Paaren. Eine 1,5-Punkte-Geschichte, die du nicht aus paarweisen Zeilen abgeleitet hast, ist eine Geschichte.
• Behandle eine unglaubwürdige Effektstärke zuerst als Datenfehler. Ein 3,25-Punkte-Ausschlag zwischen zwei Renderings derselben Anleitung im selben Modell, mit Scores, die bei 8–9 geballt sind und sechzehn bis achtzehn Zeilen pro Variante, war unglaubwürdig groß im Verhältnis zur beobachteten Verteilung und hätte uns zu den Zeilen schicken sollen, bevor wir nach einem Mechanismus suchten.
• Wenn du Richter:innen pro Variante wechselst, wechselst du auch deren Fehlerquellen. Anti-Selbstpräferenz-Zuweisung ist ein vertretbares Design, aber jeder richterspezifische Defekt (Parserfehler, Abbruch, Verweigerung) ist dann mit der Behandlung vermischt. Jede:n Richter:in auf jede Variante anzuwenden ist sicherer – und rettet dich trotzdem nicht vor Nullen.
• Leite die Schlagzeile aus der Rohdatei ab, bevor der Bericht eine Theorie schreibt. Die Scorecard ist eine Sicht. Die Zeilen sind der Beweis. Unser Bericht zitierte die Scorecard, erklärte den eigenen Artefakt mit einem Mechanismus und hielt diesen Mechanismus als Lehre fest. Der Mechanismus war ein fehlender Schlüssel.

Alle oben genannten Zahlen sind unsere eigenen Messungen an unseren eigenen synthetischen GRC-Fixtures (ein fiktives Unternehmen, keine Kundendaten), Autor:innen- und Richtermodelle z-ai/glm-5.2 und anthropic/claude-opus-4.8, aufgerufen über OpenRouter sowohl für das Rendern als auch für die Bewertung, Ablation abgeschlossen am 17. Juli 2026, neu aggregiert aus den aufgezeichneten Bewertungen am 19. August 2026.