Der Nicht-Unterlegenheits-Tausch: Wie wir Modelländerungen bei einem Qualitäts-Unentschieden ausliefern

Am 2026-09-01 haben wir unsere kostenpflichtige "Think"-Chat-Oberfläche von Grok 4.6 (Reasoning aktiviert) zu GLM 5.3 (Effort hoch) migriert, nachdem eine Evaluierung ergab, dass der Herausforderer 1,7 Punkte weniger in der Antwortqualität erzielte. Auf unserem Produktions-Prompt benötigte der aktuelle Stand für das erste Inhalts-Token im Median 88.906 ms; der Herausforderer benötigte 4.169 ms. Dieselbe Evaluierung bewegte auch die kostenpflichtige "Fast"-Oberfläche (ein klarer +10,0-Punkte-Sieg) sowie beide Modi der kostenlosen Oberfläche (+13,3 und +11,7 Punkte). Alle drei Oberflächen nutzen heute den Herausforderer in der Produktion, wobei die vorherigen Modelle nur eine Umgebungsvariable entfernt sind. Wir nennen die Praxis hinter diesen Entscheidungen den Nicht-Unterlegenheits-Tausch, und wir sind überzeugt, dass dies die richtige Form für Produktions-Modelländerungen ist: Die Aufgabe der Evaluierung besteht nicht darin, einen Gewinner zu finden, sondern unter Regeln, die vor dem Lauf feststehen, festzustellen, dass der Herausforderer nicht schlechter ist – und dann den Dimensionen, die Nutzer:innen tatsächlich spüren (First-Token-Latenz, Ausreißer, Zuverlässigkeit), die Entscheidung zu überlassen.

Warum das intuitive Gate scheitert

Die meisten Teams sichern einen Modellwechsel auf die offensichtliche Weise ab: Sie führen eine Evaluierung durch und liefern nur aus, wenn das neue Modell besser abschneidet. Zwei Dinge brechen dieses Gate.

Erstens: Bei realen Produktaufgaben sind Qualitätsunterschiede zwischen aktuellen Spitzenmodellen in der Regel kleiner als die Fähigkeit deiner Bewertung, diese zu messen. Unsere 20-Aufgaben-Compliance-Benchmark maß die Test-Retest-Abweichung des Bewerters auf 18,2 Punkte auf einer 100-Punkte-Skala und registrierte ein Unentschieden genau auf dieser Grundlage vorab (der Lauf fand am Tag nach diesem Wechsel statt; wir haben ihn hier dokumentiert). Ein Gate, das eine Verbesserung auf diesem Instrument verlangt, feuert fast nie ehrlich. Ein Gate ohne eines liefert auf Basis von Rauschen aus.

Zweitens schafft ein striktes Verbesserungs-Gate die falschen Anreize: Entweder es wird nie etwas ausgeliefert, oder jemand führt die Evaluierung so lange neu aus, bis das Rauschen zugunsten des Herausforderers ausfällt.

Die Alternative stammt aus klinischen Studien. Eine Nicht-Unterlegenheitsstudie fragt nicht, ob die neue Behandlung besser ist, sondern nur, ob sie akzeptabel nicht schlechter ist – innerhalb einer Marge, die vor jeglichen Daten definiert wird. Übernehme das Design komplett: Registriere eine Unentschieden-Bandbreite und die operativen Schutzmechanismen vorab, führe die Evaluierung einmal durch und lasse das Ergebnis mechanisch ausfallen.

Das Setup: drei Oberflächen, drei festgelegte Regeln

Wir evaluierten drei Produktions-Chat-Oberflächen desselben Produkts, eine Evaluierungsumgebung, ein Lauf. Jede Oberfläche erhielt ihre eigene Entscheidungsregel, die am 2026-09-01 vor jedem Aufruf feststand:

Oberfläche	Aktueller Stand	Herausforderer	Vorab registrierte Regel
Kostenpflichtig Fast	GLM 5.2	GLM 5.3-Flash, Effort niedrig	Qualität innerhalb von 5,0 Punkten UND First-Token p50 nicht spürbar schlechter UND p90 unter dem 8-Sekunden-Fallback-Rennen UND >10-Sekunden-Ausreißer-Rate nicht schlechter als um mehr als 5 Prozentpunkte
Kostenpflichtig Think	Grok 4.6, Reasoning aktiviert	GLM 5.3, Effort hoch	Qualität innerhalb der 5,0-Punkte-Unentschieden-Bandbreite verdient den Wechsel
Kostenlos (angemeldet und Überquota-Fallback)	GLM 4.7	GLM 5.3-Flash, Effort niedrig	Qualität innerhalb von 5,0 Punkten UND First-Token p50 unter dem 2-fachen des aktuellen Stands

Die Unentschieden-Bandbreite betrug 5,0 Punkte auf der Qualitätsmetrik, vorab in der Planung festgelegt und nicht nach Bekanntwerden der Ergebnisse angepasst. Eine Schutzmaßnahme war in Prosa statt als Zahl festgelegt: Die Regel für die kostenpflichtige Fast-Oberfläche besagt, dass der First-Token-p50 des Herausforderers "nicht spürbar schlechter" sein darf, ohne dass eine Schwelle angegeben wird. Die Planung ist die Planung, und diese Schutzmaßnahme erforderte eine Beurteilung im Ergebnisteil; die Lösung ist eine nummerierte Schutzmaßnahme beim nächsten Mal, und sie steht auf der Checkliste. Unsere Streaming-Schicht fällt nach 8 Sekunden ohne erstes Inhalts-Token auf schnellen Oberflächen und nach 120 Sekunden auf Think-Oberflächen in einen Wartezustand zurück, sodass die Latenz-Schutzmaßnahmen gegen diese realen Budgets formuliert wurden.

Methode, wie festgelegt:

• Der Prompt war die Produktionszusammenstellung. 22.445 Zeichen: der prägnante Stil-Prompt, die Framework-Wissenseinspeisung, die aus der Frage aufgebaut wurde, der Workspace-Block, das Datum. Byte-identisch über alle Arme hinweg. Ein kompakter Demo-Prompt hätte ein anderes Produkt gemessen.
• Vier Aufgaben, drei langlaufende GRC-Antwortaufgaben plus eine Chat-native, workspace-basierte Policy-Aufgabe, jede bewertet auf einer fünfstufigen 0-2-Bewertungsskala. Drei Stichproben pro Arm pro Aufgabe bei Temperatur 0.
• Ein Bewerter-Modell bewertete jede Ausgabe blind: Grok 4.3, über OpenRouter ausgeführt, ohne Arm-Kennzeichnungen, ohne Wissen darüber, welches Modell was produziert hat. Es teilt sich eine Anbieterfamilie mit genau einem Arm, dem Think-Aktuellen Stand. Selbstbevorzugung bei LLM-Bewertern ist dokumentiert, wenn der Bewerter seine eigenen Generierungen bewertet (Panickssery, Bowman und Feng, arXiv:2404.13076, 2024-04-15), und Positions- und Verbositätsverzerrungen sind in LLM-als-Bewerter-Setups katalogisiert (Zheng et al., arXiv:2306.05685, 2023-06-09). Keine der Studien misst Familienebenen-Verzerrung, und wir ebenfalls nicht, sodass wir die Richtung des Risikos erfassten, statt Neutralität anzunehmen: Wenn hier Familienbevorzugung existiert, begünstigt sie den aktuellen Stand, was die Think-Entscheidung konservativ, nicht permissiv verzerrt.
• Die Basisdaten des aktuellen Stands wurden frisch im selben Lauf regeneriert. Unsere Juni-Evaluierung desselben aktuellen Stands verwendete einen anderen Bewerter und eine frühere Prompt-Zusammenstellung, sodass die Wiederverwendung gespeicherter Zahlen zwei verschiedene Instrumente verglichen hätte. Derselbe Bewerter, derselbe Tag, dieselbe Zusammenstellung – oder der Vergleich ist nicht entscheidend.
• Eine vorab registrierte Ausgabenobergrenze mit automatischem Abbruch und harte Zeitlimits pro Aufruf.

Die Ergebnisse

Qualität ist die mittlere Bewertung des Bewerters als Prozentsatz des Skalenmaximums; 12 bewertete Generierungen pro Arm (4 Aufgaben, 3 Stichproben), 2026-09-01:

Oberfläche	Arm	Qualität
Kostenpflichtig Fast	GLM 5.2 (aktueller Stand)	81,7
Kostenpflichtig Fast	GLM 5.3-Flash, Effort niedrig	91,7
Kostenpflichtig Think	Grok 4.6, Reasoning aktiviert (aktueller Stand)	91,7
Kostenpflichtig Think	GLM 5.3, Effort hoch	90,0
Kostenlos Fast	GLM 4.7 (aktueller Stand)	80,0
Kostenlos Fast	GLM 5.3-Flash, Effort niedrig	93,3
Kostenlos Think	GLM 4.7, Reasoning aktiviert (aktueller Stand)	80,8
Kostenlos Think	GLM 5.3-Flash, Effort niedrig	92,5

Latenz ist die Zeit bis zum ersten Inhalts-Token auf einer Streaming-Verbindung; sechs Wiederholungen pro Arm auf einer workspace-basierten Produktionsaufgabe (derselbe 22.445-Zeichen-Prompt wie der Qualitäts-Benchmark), 2026-09-01:

Arm	TTFC p50	TTFC p90	Wiederholungen über 10 s
Kostenpflichtig Fast: GLM 5.2	773 ms	2.626 ms	0 von 6
Kostenpflichtig Fast: GLM 5.3-Flash	2.641 ms	4.011 ms	0 von 6
Kostenpflichtig Think: Grok 4.6	88.906 ms	101.591 ms	6 von 6
Kostenpflichtig Think: GLM 5.3	4.169 ms	57.707 ms	2 von 6
Kostenlos Fast: GLM 4.7	2.857 ms	3.163 ms	0 von 6
Kostenlos Fast: GLM 5.3-Flash	3.350 ms	3.640 ms	0 von 6
Kostenlos Think: GLM 4.7	18.014 ms	24.156 ms	6 von 6
Kostenlos Think: GLM 5.3-Flash	3.052 ms	7.612 ms	0 von 6

Angewendet auf die festgelegten Regeln ergaben sich drei Urteile:

• Kostenpflichtig Fast: FREIGEGEBEN, und die Oberfläche wurde langsamer. Qualität +10,0 Punkte. Erstes Token 3,4x langsamer (773 ms auf 2.641 ms Median), aber p90 bei 4,0 s gegenüber dem 8-Sekunden-Rennen und keine Wiederholungen über 10 s auf beiden Seiten. Hier hörte das Urteil auf, vollständig mechanisch zu sein: Die Prosa-Schutzmaßnahme ("nicht spürbar schlechter") hat keine Schwelle, und wir urteilten, dass 2,6 s Median mit einem p90 von 4,0 s und keine Ausreißer diese erfüllt. Dieser Aufruf wird hier dokumentiert, statt in eine Schwelle umgewandelt zu werden, die nie existiert hat. Ob Nutzer:innen 2,6 s als schlechter empfinden als 0,8 s, wurde in dieser Evaluierung nicht gemessen; festgestellt wurde, dass die Schutzmaßnahme wie festgelegt bestand und dass eine Anforderung nach schnellerem Incumbent als der Herausforderer einen Wechsel blockiert hätte, der von den festgelegten Regeln als klarer Qualitätsgewinn bewertet wurde.
• Kostenpflichtig Think: FREIGEGEBEN bei einem Unentschieden. 90,0 gegenüber 91,7 ist -1,7 Punkte, innerhalb der 5,0-Punkte-Bandbreite. Dem gegenüber steht die 88,9-Sekunden-Medianzeit bis zum ersten Token des aktuellen Stands in unserer Sonde (6 von 6 Wiederholungen über 10 s), die zu einer 4,2-Sekunden-Medianzeit wurde (2 von 6 über 10 s, und der p90 des aktuellen Stands lag bereits über 100 s). Eine 21-fache Verbesserung bei der Zahl, die Nutzer:innen spüren, für 1,7 Punkte, die innerhalb der vorab registrierten Unentschieden-Bandbreite liegen.
• Kostenlos: FREIGEGEBEN. +13,3 Punkte im Fast-Modus, +11,7 im Think-Modus, und der alte Think-Arm mit 18,0-Sekunden-Median und 6 von 6 Ausreißern wurde zu 3,1 s mit keinen.

Das Think-Urteil ist das, über das es sich zu diskutieren lohnt, also folgt hier die vollständige Argumentation. Die vorab registrierte Bandbreite sagt, dass eine Lücke von 1,7 Punkten kein Qualitätsunterschied ist. Die 18,2-Punkte-Test-Retest-Abweichung, die unser Compliance-Benchmark am nächsten Tag maß – auf einem anderen Aufgabenset und einer anderen Bewertungsskala – ist die einzige direkte Messung, die wir zur Auflösung unserer Instrumente haben, und sie liegt eine Größenordnung über dieser Lücke. Keine der beiden Zahlen ist ein Konfidenzintervall für diese spezifische Lücke, und die Bandbreite ist eine Entscheidungsregel, kein gemessener Rauschpegel. Aber beide deuten in dieselbe Richtung. Wenn wir die Think-Oberfläche auf 1,7 Punkte beschränken, die unsere Instrumente nicht auflösen können, während der Median des aktuellen Stands in unserer Sonde bei 89 Sekunden lag, kehren wir die Prioritäten um: Die Zahl, die Nutzer:innen zuerst spüren, ist die Latenz, und sie verbesserte sich um das 21-fache in unserer Messung.

Ein Urteil hat ein Verfallsdatum

Im Juni 2026 evaluierten wir GLM 5.2 (veröffentlicht 2026-06-16) als Ersatz für GLM 4.7 im selben Produkt, und das Urteil vom 2026-06-18 lautete: Nicht ersetzen. Zwei unabhängige blinde Bewerter bewerteten es als qualitativ gleichwertig zu GLM 4.7, mit exakten Unentschieden nach Ausschluss eines Infrastrukturfehlers, aber es scheiterte deutlich an den operativen Schutzmechanismen, vor allem bei der Think-Latenz: eine Medianzeit von 93 s bis zum ersten Inhalts-Token gegenüber 2,1 s von GLM 4.7 in unseren Aufgaben und Konfiguration – eine 44-fache Lücke.

Drei Monate später schlug sein Nachfolger im September-Benchmark in beiden kostenlosen Modi den gleichen aktuellen Stand deutlich. Zwei Schlussfolgerungen, die wir nun als stehende Regeln behandeln:

Modellurteile haben ein Verfallsdatum von wenigen Monaten. Ein Urteil wie "qualitativ gleichwertig, operativ nicht auslieferbar" bezieht sich auf ein Modell zu einem bestimmten Zeitpunkt, nicht auf den Slot; der Slot erhielt ein anderes Modell, und das Urteil änderte sich. Das ist der andere Grund, warum wir Basisdaten des aktuellen Stands in jeder Wechsel-Evaluierung neu generieren, statt gespeicherte zu zitieren: gespeicherte Basisdaten vergleichen stillschweigend über verschiedene Instrumente, und veraltete Urteile vergleichen stillschweigend über Modellgenerationen. Die Juni-Zahl war korrekt. Wir haben sie nicht geerbt, und sie band nicht.

Zwei Dinge, die der Rahmen einfing

Leere Generierungen bei enger Grenze. Der erste Latenz-Durchlauf am 2026-09-01 führte jeden Arm mit einem 256-Token-Vervollständigungslimit aus. Alle zwölf Zeilen der beiden GLM-Think-Arme (GLM 4.7 und GLM 5.2, jeweils sechs) kamen leer zurück: Der Reasoning-Kanal verbrauchte das Budget, bevor das erste Inhalts-Token existierte, sodass die Zeile das Limit maß, nicht das Modell. Der Grok 4.6-Think-Arm streamte problemlos mit demselben Limit. Wir invalidierten den Durchlauf und führten die GLM-Think-Arme mit einem 4.096-Token-Limit erneut aus, bevor wir ein Prozentil lasen; der Qualitäts-Benchmark hatte durchgehend ein 16k-Budget verwendet und war nicht betroffen. Dies ist dieselbe Fehlerklasse wie die stille Null, über die wir im August geschrieben haben (Daten mit nichts darin, bewertet als Messung). Die günstige Schutzmaßnahme ist unspektakulär: Zähle leere Generierungen pro Arm und verweigere die Aggregation jedes Arms, dessen leere Anzahl nicht null ist.

Die Anforderungsform des aktuellen Stands lässt sich nicht übertragen. Wir prüften, ob die vorherige Konfiguration auf den Herausforderer kopiert werden kann. In unserem API-seitigen Test am 2026-09-01 antworteten 24 von 24 Aufrufen über GLM 5.3 und GLM 5.3-Flash, die reasoning: {enabled: false} in der getesteten Route trugen, mit HTTP 400. In unseren Tests kann Reasoning in dieser Familie also nicht deaktiviert werden; Effort niedrig ist die Untergrenze, kein Drehknopf. Eine Modellmigration leitet die Anforderungskonfiguration aus dem tatsächlichen Verhalten des Herausforderers neu ab. Jeder Parameter, den du vom aktuellen Stand kopierst, ohne ihn neu zu testen, ist ein Confounder, den du in deine eigene Evaluierung einbringst.

Was dies behauptet und was nicht

Die Qualitätszahlen stammen aus 12 bewerteten Generierungen pro Arm (4 Aufgaben, 3 Stichproben, Temperatur 0), einem Bewerter-Modell, keiner menschlichen Kalibrierung der Chat-Bewertungsskalen, einem Lauf an einem Tag (2026-09-01), nur auf unserer Prompt-Zusammenstellung und Serving-Konfiguration. Die 5,0-Punkte-Unentschieden-Bandbreite war eine vorab registrierte Entscheidungsregel, kein gemessener Rauschpegel für dieses Instrument; unser 20-Aufgaben-Compliance-Benchmark, am nächsten Tag (2026-09-02) auf einem anderen Aufgabenset und einer anderen Bewertungsskala durchgeführt, maß 18,2 Punkte an Bewerter-Test-Retest-Abweichung, sodass wir Qualitätsunterschiede innerhalb der Bandbreite als ungemessen, nicht als null behandeln. Die Latenz-Perzentile stammen aus 6 Streaming-Wiederholungen pro Arm auf einer workspace-basierten Aufgabe, unserer Prompt-Zusammenstellung, unserer Konfiguration, an diesem Tag: Eigenschaften unserer Umgebung, nicht Anbieter-Benchmarks. Alle Ergebnisse sind Momentaufnahmen zum Stand 2026-09-01. Eine öffentliche Beschreibung unserer Benchmark-Methodik, einschließlich der Messung von Bewerter-Abweichungen, findet sich auf der Modellqualitäts-Seite.

Die Checkliste

Vor deinem nächsten Produktions-Modellwechsel:

1. Lege die Entscheidungsregel pro Oberfläche vor dem Lauf fest: Unentschieden-Bandbreite, Latenz-Schutzmechanismen, Ausreißer-Schutzmechanismen, Ausgabenobergrenze und was ein Unentschieden bedeutet.
2. Dimensioniere die Unentschieden-Bandbreite anhand der Test-Retest-Abweichung deines Bewerters auf deinen Bewertungsskalen. Wenn du identische Antworten nie erneut bewertet hast, kennst du nicht, wie klein deine messbaren Qualitätsunterschiede sind.
3. Evaluere mit der Produktions-Prompt-Zusammenstellung, byte-identisch über alle Arme hinweg. Ein Demo-Prompt misst ein Produkt, das du nicht betreibst.
4. Generiere Basisdaten des aktuellen Stands im selben Lauf, mit demselben Bewerter, am selben Tag neu. Gespeicherte Basisdaten sind Vergleiche über verschiedene Instrumente.
5. Schütze Ausreißer, nicht Mittelwerte: p90 First-Token-Latenz und die Rate über 10 Sekunden, gegenüber deinen realen Streaming-Fallbacks.
6. Zähle leere Generierungen pro Arm und verweigere die Bewertung jedes Arms, der welche hat. Korrigiere das Vervollständigungsbudget, dann miss.
7. Leite die Anforderungskonfiguration für den Herausforderer neu ab, einschließlich Reasoning-Parametern. Kopiere nie die Form des aktuellen Stands in die Evaluierung.
8. Kenne die Richtung, in die die Familienverzerrung deines Bewerters das Urteil lenkt, und gestalte so, dass sie konservativ wirkt.
9. Setze ein Verfallsdatum für jedes Urteil. Führe alles Älter als ein Quartal erneut aus.

Ein Unentschieden ist keine Unentschlossenheit. Es ist das Urteil, das deine Qualitäts-Evaluierung tatsächlich verteidigen kann, und die vorab registrierte Festlegung ist es, die die Entscheidung den Zahlen überlässt, die deine Nutzer:innen spüren.