Il nostro verdetto dell'eval è stato deciso da un numero che abbiamo congelato prima dell'esecuzione
La banda di parità: abbiamo misurato quanto il nostro giudice oscilla quando rivaluta risposte identiche, l'abbiamo congelata nella preregistrazione e abbiamo lasciato che sovrascrivesse un divario di 16,1 punti. La stessa preregistrazione ha rilevato un pilota che avrebbe accecato l'esecuzione reale.

Un divario di 16,1 punti, un intervallo di confidenza che esclude lo zero, e il verdetto è comunque stato di parità. Non si tratta di viltà statistica. È l'unico verdetto onesto che il nostro strumento poteva difendere, perché avevamo misurato, prima dell'esecuzione, che il nostro giudice si sposta di 18,2 punti in una rivalutazione su dieci quando rivaluta risposte identiche. Abbiamo congelato quel numero nella preregistrazione e abbiamo lasciato che sovrascrivesse il risultato principale. Se eseguite eval con giudici basati su LLM e non avete mai rivalutato risposte identiche, al momento non sapete quanto siano piccole le differenze di qualità misurabili, e ogni verdetto che pubblicate è più grande del vostro strumento.
Il numero di oscillazione e la sua origine
Il 2 settembre 2026 abbiamo eseguito un benchmark di conformità preregistrato su 20 task con sei configurazioni di impalcatura dello stesso modello (GLM 5.3-Flash), con un modello giudice cross-family che valutava ogni risposta rispetto a rubriche congelate. I risultati completi e le perdite sono nel nostro articolo sul benchmark. Questo post riguarda un numero all'interno di quel design: la banda di parità.
La banda è il 90° percentile delle differenze di rivalutazione del giudice. La procedura: prendete un campione stratificato di celle di risposta tra le configurazioni e le famiglie di framework, eseguite nuovamente il giudice sullo stesso prompt e sulla stessa risposta due volte, e misurate di quanto si sposta il punteggio ponderato. Sul nostro strumento, 12 coppie di rivalutazione hanno prodotto un'oscillazione al 90° percentile di 18,18 punti su una scala di 100 punti. Il giudice ha temperatura 0, è vincolato a un singolo provider di servizi, validato dallo schema e non conosce le etichette delle configurazioni. Input identici. Diciotto punti di movimento, una rivalutazione su dieci.
Quel numero è diventato una regola decisionale congelata, scritta nel piano prima di qualsiasi spesa di generazione: VITTORIA se la differenza supera la banda, SCONFITTA se è peggiore della banda negativa, PARITÀ altrimenti. Il file della banda contiene un digest SHA-256 dell'intero strumento condiviso (task, configurazioni, fixture, prompt, configurazioni), e l'esecuzione si interrompe all'avvio se una riga contiene un digest estraneo. Non abbiamo scelto 18,18 perché producesse un verdetto conveniente. Lo abbiamo calcolato dalle rivalutazioni, congelato con il suo digest, e il verdetto è seguito dall'aritmetica.
Cosa ha deciso la banda
L'endpoint primario preregistrato era l'assemblaggio di produzione completo rispetto al migliore di due prompt DIY scritti in modo indipendente. Il prodotto ha ottenuto il 92,1%, il miglior prompt DIY il 76,0%. Differenza media: +16,1 punti, intervallo di confidenza bootstrap al 95% [3,4, 30,2] su dieci cluster e 2.000 ricalcoli. L'intervallo esclude lo zero, senza problemi. La differenza non supera 18,18.
Verdetto preregistrato: PARITÀ. Riportato come parità, titolo principale incluso, perché è l'aritmetica. Due cose sono vere allo stesso tempo: su questo set di task la direzione dell'effetto è positiva e improbabile che sia zero, e su questo strumento non possiamo definire la dimensione dell'effetto come una differenza. Un verdetto che riporta solo la prima verità è marketing. Un verdetto che riporta entrambe è una misurazione.
Questa è la parte che quasi tutti gli eval basati su giudici che abbiamo letto saltano: il verdetto è una proprietà dello strumento, non dei sistemi. Un'oscillazione di 18 punti significa che differenze di singolo campione di 15 punti sono indistinguibili dal rivalutare il giudice su risposte invariate. Qualsiasi classifica, post di confronto o gate di distribuzione che ignora la propria oscillazione di rivalutazione sta pubblicando rumore con una virgola.
Il gate pilota che la preregistrazione ha costruito
La preregistrazione ha anche svolto un lavoro silenzioso prima dell'esecuzione reale. La nostra metodologia richiede un gate pilota su un piccolo sottoinsieme di task prima di qualsiasi spesa su larga scala: verifica del tasso di parsing, delle troncature e che nessuna configurazione confrontata sia troppo satura per discriminare. Il primo tentativo di pilota (pilota-1, 2 settembre 2026) ha attivato quel gate. La configurazione ausiliaria con conoscenza ha raggiunto il 100% di media mentre le configurazioni confrontate si attestavano tra il 52,7% e l'83,3%. Le differenze di punteggio tra le configurazioni confrontate erano ancora separabili, ma il soffitto era abbastanza vicino da comprimere i margini, e avevamo congelato una regola di raffinamento per questo caso esatto: il criterio di saturazione di qualsiasi configurazione è stato rivisto per applicarsi solo alle configurazioni confrontate, lo strumento è stato modificato e il pilota è stato rieseguito da zero (pilota-2, stesso giorno, superato: tasso di parsing 100%, zero troncature, 12 coppie di rivalutazione, rilevamento attivato su ogni task con conoscenza). Solo allora è iniziata l'esecuzione completa.
Due lezioni in questa sequenza. Prima: preregistrate anche il percorso di raffinamento: abbiamo cambiato il gate, ma la modifica era essa stessa preregistrata e ripilotata prima del congelamento, quindi la preregistrazione dell'esecuzione completa non è mai stata modificata dopo l'esistenza dei dati. Seconda: la configurazione che ha ottenuto il 100% nel pilota (la configurazione DIY con conoscenza) ha ottenuto il 96,9% nell'esecuzione completa, la configurazione migliore a parte il confronto conoscenza-plus-documenti. Senza il gate, l'endpoint primario sarebbe stato eseguito con strumenti che tendevano alla saturazione, il che probabilmente avrebbe compresso il divario di 16,1 punti, e il verdetto di parità sarebbe arrivato per un motivo peggiore.
La perdita pubblicata
Il test di interesse onesto per una regola decisionale è se può produrre un risultato che preferireste non pubblicare. Il nostro l'ha fatto. Il design preregistrato delle configurazioni includeva l'assemblaggio di produzione, una configurazione DIY con conoscenza e una configurazione DIY conoscenza-plus-documenti come confronto secondario. La configurazione conoscenza-plus-documenti ha superato il prodotto, 98,7% contro 92,1%, con cinque celle di task differenti. L'abbiamo pubblicata nell'articolo del benchmark, in testo semplice, nella sezione delle perdite.
La banda è ciò che ha reso economico pubblicarla. Un sistema di verdetto che produce solo vittorie non è una regola decisionale; è un comunicato stampa con una rubrica. Una volta che la banda di parità e la regola di pubblicazione delle perdite sono congelate prima dell'esecuzione, una configurazione perdente è solo un esito, non un imbarazzo. Questa simmetria è il trucco: la stessa regola che ci ha costretto a definire un divario di 16,1 punti come parità ci ha anche impegnato a pubblicare un risultato in cui un prompt assemblato manualmente ha battuto il nostro prodotto.
Un difetto concreto emerso durante l'esecuzione, a titolo di cronaca: la configurazione del prodotto ha fallito una delle quattro domande trappola, descrivendo un controllo ISO 27001 inesistente (A.8.35) con un requisito inventato, mentre la sua stessa tabella di controllo iniettata nello stesso prompt terminava a A.8.34. Le configurazioni DIY con conoscenza hanno rifiutato la stessa premessa falsa. L'abbiamo pubblicata anch'essa.
Limiti
Questo è uno strumento, un giorno, un modello giudice (cross-family, temperatura 0, vincolato a un singolo provider), 12 coppie di rivalutazione, 20 task, una generazione per configurazione per task. La banda di 18,18 punti è una proprietà della nostra scala di rubriche e del nostro giudice; la vostra banda sarà diversa, ed è questo il punto di misurare la vostra. Una banda di parità è una regola decisionale, non un intervallo di confidenza su un divario specifico; un 90° percentile delle differenze di rivalutazione è un proxy conservativo per il rumore del giudice, non una distribuzione campionaria misurata. La calibrazione umana di un campione graduato e un set di task più ampio sono i prossimi passi che restringerebbero ciò che questo strumento può risolvere. Nessuno di questi limiti cambia la tesi trasferibile: un eval che non ha misurato la propria oscillazione di rivalutazione non può difendibilmente riportare differenze inferiori a quella oscillazione.
La checklist
Applicate questo a qualsiasi eval basato su giudici che possedete:
- Rivalutate 8-12 celle di risposta identiche tra le vostre configurazioni e gli strati di task, prima della vostra prossima esecuzione reale. Calcolate il 90° percentile delle differenze di punteggio. Quel numero è il vostro limite di risoluzione.
- Scrivete la regola di verdetto rispetto al limite nel piano: soglie VITTORIA / PARITÀ / SCONFITTA, inclusa la pubblicazione delle perdite, prima di qualsiasi spesa di generazione. (Se il vostro piano include anche un gate pilota di saturazione, come il nostro, tenetelo separato dalla banda: la banda decide il verdetto, il gate decide se l'esecuzione è misurabile.)
- Congelate lo strumento con un hash di contenuto e interrompete l'esecuzione se una riga contiene un digest estraneo.
- Aggiungete un gate pilota che rifiuta di scalare quando la media di una configurazione confrontata si avvicina al soffitto del punteggio e preregistrate come il gate possa essere raffinato (rieseguite da zero, non riavviate mai l'esperimento completo contro gate modificati). La stessa regola vale per ogni altra guardia pre-esecuzione: se può essere modificata, il percorso di revisione appartiene al piano, applicato prima del congelamento, non dopo l'esistenza dei dati.
- Quando il verdetto rientra nella banda, riportate la parità come titolo principale e la direzione come contesto, non il contrario.
- Trattate qualsiasi differenza riportata inferiore alla vostra oscillazione misurata, nei vostri post o in quelli di altri, come non misurata.
Il numero più utile nel vostro orchestratore di eval non è un punteggio di benchmark. È quanto si muove il vostro giudice quando nulla cambia.
Da dove continuare
Articoli correlati

Il verificatore cieco: cosa può vedere il nostro gate anti-fabbricazione
Un test di laboratorio ha mostrato che il verificatore della nostra pipeline di conformità ha ignorato la maggior parte delle falsificazioni che abbiamo inserito manualmente. La correzione che abbiamo misurato per questo ha segnalato 9 su 9 bozze pulite, quindi abbiamo mantenuto il verificatore cieco, e ha rilevato, in produzione, la classe di failure che il suo contratto copre effettivamente.

Lo scambio di non-inferiorità: come implementiamo cambiamenti di modelli con un pareggio di qualità
Tre regole decisionali pre-registrate hanno spostato tre interfacce di chat a GLM 5.3 il 2026-09-01: il cambio di modello (Grok 4.6 a GLM 5.3) ha ottenuto un punteggio inferiore di 1,7 punti sul nostro set di qualità a quattro task e ha ridotto la latenza mediana del primo token da 88,9 secondi a 4,2.

Abbiamo benchmarkato ISMS Copilot rispetto al modello nudo e al miglior prompt DIY. Il verdetto pre-registrato è un pareggio.
Una valutazione congelata di 20 task su sei configurazioni GLM 5.3-Flash: cosa ha cambiato il modulo di conoscenza, dove il prodotto e il miglior prompt autonomo si sono pareggiati secondo la regola del congelamento, e dove il braccio conoscenza-plus-documenti ha superato il prodotto.
ISMS Copilot