De non-inferioriteitsswitch: hoe we modelwijzigingen uitbrengen met een gelijkspel op kwaliteit

Op 2026-09-01 hebben we ons betaalde think-chatoppervlak van Grok 4.6 (redeneren aan) naar GLM 5.3 (effort high) overgezet na een evaluatie waarin de uitdager 1,7 punten lager scoorde op antwoordkwaliteit. Op onze productieprompt duurde het bij de zittende model gemiddeld 88.906 ms voordat de eerste contenttoken verscheen; bij de uitdager was dat 4.169 ms. Dezelfde evaluatie bracht ook het betaalde fast-oppervlak (een duidelijke winst van +10,0 punten) en beide modi van het gratis oppervlak (+13,3 en +11,7 punten) over. Alle drie de oppervlakken draaien vandaag de uitdager in productie, terwijl de vorige modellen slechts één omgevingsvariabele verwijderd zijn. We noemen de praktijk achter deze beslissingen de non-inferioriteitsswitch, en we denken dat dit de juiste aanpak is voor modelwijzigingen in productie: de evaluatie moet niet een winnaar aanwijzen, maar onder regels die bevroren zijn voorafgaand aan de uitvoering vaststellen dat de uitdager niet slechter presteert, waarna de dimensies die gebruikers daadwerkelijk voelen (latentie van de eerste token, tails, betrouwbaarheid) de beslissing breken.

Waarom de intuïtieve poort faalt

De meeste teams hanteren een modelwissel op de voor de hand liggende manier: voer een evaluatie uit en breng het model alleen in productie als de nieuwe versie hoger scoort. Twee problemen ondermijnen deze poort.

Ten eerste zijn op echte productietaken de kwaliteitsverschillen tussen huidige topmodellen meestal kleiner dan de meetfout van je beoordelaar. Onze 20-taken compliance-benchmark mat een test-hertestvariatie van 18,2 punten op een schaal van 100 punten, en registreerde vooraf een gelijkspel op basis daarvan (de evaluatie vond de dag na deze switch plaats; we schreven erover hier). Een poort die verbetering eist op dit instrument zal bijna nooit eerlijk afgaan. Een poort zonder een dergelijke eis brengt modellen in productie op basis van ruis.

Ten tweede creëert een poort die strikte verbetering eist de verkeerde prikkels: óf er wordt nooit iets uitgebracht, óf iemand voert de evaluatie opnieuw uit tot de ruis in het voordeel van de uitdager uitvalt.

De oplossing is ontleend aan klinische trials. Een non-inferioriteitstrial vraagt niet of de nieuwe behandeling beter is, maar alleen of deze niet onacceptabel slechter is, binnen een marge die vooraf is gedefinieerd zonder dat er data beschikbaar is. Pas dit ontwerp integraal toe: registreer een gelijkspelband en de operationele beveiligingen vooraf, voer de evaluatie eenmalig uit en laat de uitkomst mechanisch zijn.

De opzet: drie oppervlakken, drie bevroren regels

We evalueerden drie productiechatoppervlakken van hetzelfde product, één evaluatieomgeving, één uitvoering. Elk oppervlak kreeg zijn eigen beslissingsregel, bevroren op 2026-09-01 voordat er een meting werd gedaan:

Oppervlak	Zittend model	Uitdager	Vooraf geregistreerde regel
Betaald fast	GLM 5.2	GLM 5.3-Flash, effort low	Kwaliteit binnen 5,0 punten EN mediaan latentie eerste token niet materieel slechter EN p90 onder de 8 s fallbackrace EN >10 s tailsnelheid niet slechter met meer dan 5 pp
Betaald think	Grok 4.6, redeneren aan	GLM 5.3, effort high	Kwaliteit binnen de 5,0-punten gelijkspelband verdient de switch
Gratis (uitgelogd en fallback bij overschrijding quota)	GLM 4.7	GLM 5.3-Flash, effort low	Kwaliteit binnen 5,0 punten EN mediaan latentie eerste token onder 2x zittend model

De gelijkspelband was 5,0 punten op de kwaliteitsmaatstaf, bevroren in het plan en niet aangepast na het zien van de scores. Één beveiliging was bevroren in tekst in plaats van als getal: de regel voor het betaalde fast-oppervlak stelt dat de mediaan latentie van de eerste token van de uitdager "niet materieel slechter" mag zijn, zonder een drempel te definiëren. Het plan is het plan, en deze beveiliging vereiste een oordeel in de resultatensectie; de oplossing is een genummerde beveiliging voor de volgende keer, en deze staat in de checklist. Onze streaminglaag valt terug naar een wachttoestand na 8 seconden zonder eerste content op fast-oppervlakken en 120 seconden op think-oppervlakken, dus de latentiebeveiligingen waren gebaseerd op deze echte budgetten.

Methode, zoals bevroren:

• De prompt was de productieassemblage. 22.445 tekens: de beknopte stijlprompt, de frameworkkennisinjectie opgebouwd uit de vraag, het werkruimteblok, de datum. Byte-identiek over alle armen. Een compacte demoprompt zou een ander product meten.
• Vier taken, drie langlopende GRC-antwoordtaken plus één chat-native werkruimte-gebaseerde beleidstaak, elk gescoord op een vijf-criteria 0-2 rubriek. Drie samples per arm per taak bij temperatuur 0.
• Één beoordelaarsmodel scoorde elke output blind: Grok 4.3, uitgevoerd via OpenRouter, zonder armlabels, zonder kennis van welk model welke output produceerde. Het deelt een leverancierfamilie met precies één arm, het zittende think-model. Zelfvoorkeur bij LLM-beoordelaars is gedocumenteerd wanneer de beoordelaar zijn eigen generaties scoort (Panickssery, Bowman en Feng, arXiv:2404.13076, 2024-04-15), en positie- en woordrijkheidsvooroordelen zijn gecatalogiseerd in LLM-as-a-judge-opstellingen (Zheng et al., arXiv:2306.05685, 2023-06-09). Geen van beide papers meet familie-niveauvooroordeel, en wij ook niet, dus we registreerden de richting van het risico in plaats van neutraliteit aan te nemen: als familievoordeel hier bestaat, bevoordeelt het het zittende model, wat de think-switch conservatief beïnvloedt, niet permissief.
• Zittende modelbaselines werden vers in dezelfde run gegenereerd. Onze evaluatie van juni 2026 van hetzelfde zittende model gebruikte een andere beoordelaar en een eerdere promptassemblage, dus het hergebruiken van opgeslagen cijfers zou twee verschillende instrumenten vergelijken. Dezelfde beoordelaar, dezelfde dag, dezelfde assemblage, of de vergelijking is niet doorslaggevend.
• Een vooraf geregistreerde uitgavenlimiet met automatische afbreking, en harde timeouts per oproep.

De resultaten

Kwaliteit is de gemiddelde score van de beoordelaar als percentage van de maximale rubriekscore; 12 gescoorde generaties per arm (4 taken, 3 samples), 2026-09-01:

Oppervlak	Arm	Kwaliteit
Betaald fast	GLM 5.2 (zittend)	81,7
Betaald fast	GLM 5.3-Flash, effort low	91,7
Betaald think	Grok 4.6, redeneren aan (zittend)	91,7
Betaald think	GLM 5.3, effort high	90,0
Gratis fast	GLM 4.7 (zittend)	80,0
Gratis fast	GLM 5.3-Flash, effort low	93,3
Gratis think	GLM 4.7, redeneren aan (zittend)	80,8
Gratis think	GLM 5.3-Flash, effort low	92,5

Latentie is de tijd tot de eerste contenttoken op een streamingverbinding; zes herhalingen per arm op één werkruimte-gebaseerde productietaak (dezelfde 22.445-tekens promptassemblage als de kwaliteitsbench), 2026-09-01:

Arm	TTFC p50	TTFC p90	Herhalingen boven 10 s
Betaald fast: GLM 5.2	773 ms	2.626 ms	0 van 6
Betaald fast: GLM 5.3-Flash	2.641 ms	4.011 ms	0 van 6
Betaald think: Grok 4.6	88.906 ms	101.591 ms	6 van 6
Betaald think: GLM 5.3	4.169 ms	57.707 ms	2 van 6
Gratis fast: GLM 4.7	2.857 ms	3.163 ms	0 van 6
Gratis fast: GLM 5.3-Flash	3.350 ms	3.640 ms	0 van 6
Gratis think: GLM 4.7	18.014 ms	24.156 ms	6 van 6
Gratis think: GLM 5.3-Flash	3.052 ms	7.612 ms	0 van 6

Toegepast op mechanische wijze gaven de bevroren regels drie uitspraken:

• Betaald fast: GAAN, en het oppervlak werd langzamer. Kwaliteit +10,0 punten. Eerste token 3,4x langzamer (773 ms naar 2.641 ms mediaan), maar p90 op 4,0 s tegenover de 8 s race en geen herhalingen boven 10 s aan beide kanten. Hier stopte de uitspraak met volledig mechanisch te zijn: de tekstuele beveiliging ("niet materieel slechter") had geen drempel, en we oordeelden dat 2,6 s mediaan met een p90 van 4,0 s en geen tails deze passeert. Deze oordeel wordt hier vastgelegd in plaats van te worden omgezet in een drempel die nooit heeft bestaan. Of gebruikers 2,6 s als slechter ervaren dan 0,8 s is niet iets wat deze evaluatie mat; wat deze vaststelde is dat de beveiliging zoals bevroren slaagde, en dat een snellere-dan-zittend-model-eis een switch zou hebben gevetood die de bevroren regels als een duidelijke kwaliteitswin scoorde.
• Betaald think: GAAN op een gelijkspel. 90,0 tegenover 91,7 is -1,7 punten, binnen de 5,0-puntenband. Daartegenover stond de mediaan van 88,9 seconden van het zittende model op onze probe (6 van 6 herhalingen boven 10 s) die werd 4,2 seconden mediaan (2 van 6 boven 10 s, en de p90 van het zittende model was al boven 100 s). Een 21x verbetering in het cijfer dat gebruikers voelen, voor 1,7 punten die binnen de vooraf geregistreerde gelijkspelband vallen.
• Gratis: GAAN. +13,3 punten in fast-modus, +11,7 in think-modus, en de oude think-arm's 18,0-seconden mediaan met 6-op-6 tails werd 3,1 s met geen enkele.

De think-uitspraak is degene waarover het de moeite waard is om te discussiëren, dus hier is het volledige argument. De vooraf geregistreerde band zegt dat een verschil van 1,7 punten geen kwaliteitsverschil is. De 18,2-punten test-hertestvariatie die onze compliance-benchmark de volgende dag mat, op een andere taakset en rubriek, is de enige directe meting die we hebben van de resolutie van onze instrumenten, en deze ligt een orde van grootte boven dit verschil. Geen van beide cijfers is een betrouwbaarheidsinterval voor dit specifieke verschil, en de band is een beslissingsregel, geen gemeten ruisgrens. Maar beide wijzen dezelfde kant op. Het vasthouden aan 1,7 punten voor het think-oppervlak, terwijl de mediaan van het zittende model op onze probe op 89 seconden lag, draait de prioriteiten om: het cijfer dat gebruikers als eerste voelen is latentie, en deze verbeterde met een factor 21 in onze meting.

Een uitspraak heeft een houdbaarheidsdatum

In juni 2026 evalueerden we GLM 5.2 (uitgebracht 2026-06-16) als vervanging voor GLM 4.7 over hetzelfde product, en de uitspraak op 2026-06-18 was niet vervangen: twee onafhankelijke blinde beoordelaars scoorden het als kwalitatief gelijk aan GLM 4.7, met exacte gelijkspelen toen een infrastructuurfout werd uitgesloten, maar het faalde de operationele poorten duidelijk, met name op think-latentie: een mediaan van 93 s tot de eerste contenttoken tegenover GLM 4.7's 2,1 s op onze taken en configuratie, een verschil van een factor 44.

Drie maanden later versloeg de opvolger van dat model hetzelfde zittende model duidelijk in beide free-modi van de evaluatie in september. Twee conclusies die we nu als vaste regels hanteren.

Modeluitspraken hebben een houdbaarheidsdatum van enkele maanden. Een "kwalitatief gelijk, operationeel niet uit te brengen" uitspraak is een uitspraak over één model op één moment, niet over de plek; de plek kreeg een ander model en de uitspraak veranderde. Dit is de andere reden waarom we zittende modelbaselines in elke switch-evaluatie opnieuw genereren in plaats van opgeslagen cijfers te citeren: opgeslagen baselines vergelijken stilletjes over instrumenten, en oude uitspraken vergelijken stilletjes over modelgeneraties. Het cijfer van juni was waar. We hebben het niet geërfd, en het bond niet.

Twee dingen die de omgeving ving

Lege generaties bij een strak plafond. De eerste latentiemeting op 2026-09-01 draaide elke arm met een afkap van 256 tokens voor de voltooiing. Alle twaalf rijen van de twee GLM think-armen (GLM 4.7 en GLM 5.2, zes per arm) kwamen leeg terug: het redeneringskanaal consumeerde het budget voordat de eerste contenttoken bestond, dus de rij mat het plafond, niet het model. De Grok 4.6 think-arm streamde probleemloos bij hetzelfde plafond. We declareerden de meting ongeldig en voerden de GLM think-armen opnieuw uit met een plafond van 4.096 tokens voordat we percentielen lazen; de kwaliteitsbench had een budget van 16k gedurende gebruikt en was niet beïnvloed. Dit is dezelfde faalklasse als de stille nul waar we in augustus over schreven (data met niets erin, gescoord als een meting). De goedkope beveiliging is onopvallend: tel lege generaties per arm en weiger elke arm met een niet-nul aantal te aggregeren.

De verzoeksvorm van het zittende model draagt niet over. We onderzochten of de vorige configuratie gekopieerd kon worden naar de uitdager. In onze API-zijde testen op 2026-09-01 gaven 24 van 24 oproepen over GLM 5.3 en GLM 5.3-Flash die reasoning: {enabled: false} op de route die we testten HTTP 400 terug, dus in onze probes kan redeneren niet uitgeschakeld worden op deze familie; effort low is de vloer, geen knop. Een modelmigratie herleidt de verzoekconfiguratie uit het daadwerkelijke gedrag van de uitdager. Elke parameter die je van het zittende model kopieert zonder opnieuw te testen is een confound die je in je eigen evaluatie stopt.

Wat dit wel en niet claimt

De kwaliteitscijfers komen van 12 gescoorde generaties per arm (4 taken, 3 samples, temperatuur 0), één beoordelaarsmodel, geen menselijke kalibratie van de chatrubrieken, één run op één dag (2026-09-01), op onze promptassemblage en serverconfiguratie alleen. De 5,0-punten gelijkspelband was een vooraf geregistreerde beslissingsregel, geen gemeten ruisgrens voor dit instrument; onze 20-taken compliance-benchmark, uitgevoerd de dag erna (2026-09-02) op een andere taakset en rubriekschaal, mat 18,2 punten test-hertestvariatie, dus we behandelen kwaliteitsverschillen binnen de band als ongemeten, niet als nul. Latentiepercentielen komen van 6 streamingherhalingen per arm op één werkruimtetaak, onze promptassemblage, onze configuratie, die dag: eigenschappen van onze opstelling, niet leveranciersbenchmarks. Alle resultaten zijn punt-in-tijd zoals van 2026-09-01. Een openbare beschrijving van onze benchmarkmethodologie, inclusief hoe we de test-hertestvariatie meten, staat op de pagina over modelkwaliteit.

De checklist

Voordat je de volgende modelwissel in productie brengt:

1. Bevries de beslissingsregel per oppervlak vooraf: gelijkspelband, latentiebeveiligingen, tailsbeveiligingen, uitgavenlimiet, en wat een gelijkspel betekent.
2. Bepaal de gelijkspelband op basis van de test-hertestvariatie van je beoordelaar op je rubrieken. Als je nooit identieke antwoorden opnieuw hebt laten beoordelen, weet je niet hoe klein je meetbare kwaliteitsverschillen zijn.
3. Evalueer op de productiepromptassemblage, byte-identiek over alle armen. Een demoprompt meet een product dat je niet draait.
4. Genereer zittende modelbaselines opnieuw in dezelfde run, dezelfde beoordelaar, dezelfde dag. Opslagen baselines zijn vergelijkingen over instrumenten.
5. Beveilig tails, niet gemiddelden: p90 latentie van de eerste token en de >10 s-snelheid, tegen je echte streaming fallback.
6. Tel lege generaties per arm en weiger elke arm met een niet-nul aantal te scoren. Los het voltooiingsbudget eerst op, meet dan.
7. Herleid de verzoekconfiguratie voor de uitdager, inclusief redeneringsparameters. Kopieer nooit de vorm van het zittende model in de evaluatie.
8. Weet in welke richting het familievoordeel van je beoordelaar de beslissing duwt, en ontwerp zo dat het conservatief werkt.
9. Zet een vervaldatum op elke uitspraak. Voer alles ouder dan een kwartaal opnieuw uit.

Een gelijkspel is geen besluiteloosheid. Het is de uitspraak die je kwaliteitsevaluatie daadwerkelijk kan verdedigen, en het vooraf registreren ervan is wat de beslissing in handen legt van de cijfers die je gebruikers voelen.