Nasza ocena została rozstrzygnięta przez liczbę, którą zamrożono przed uruchomieniem
Pasek remisowy: zmierzyliśmy, jak bardzo nasz sędzia chwieje się przy ponownym ocenianiu identycznych odpowiedzi, zamroziliśmy to w pre-rejestracji i pozwoliliśmy jej unieważnić różnicę 16,1 punktu. Ta sama pre-rejestracja wykryła pilotaż, który mógłby zablokować prawdziwy przebieg.

Różnica 16,1 punktu, przedział ufności wykluczający zero, a werdykt nadal był remisem. To nie jest statystyczna tchórzliwość. Jest to jedyny uczciwy werdykt, jaki nasz instrument mógł obronić, ponieważ wcześniej zmierzyliśmy, że nasz sędzia zmienia się o 18,2 punktu przy jednym ponownym teście na dziesięć, gdy ponownie ocenia identyczne odpowiedzi. Zamroziliśmy tę liczbę w pre-rejestracji i pozwoliliśmy jej unieważnić główny wynik. Jeśli przeprowadzasz oceny z użyciem LLM jako sędziego i nigdy nie ponownie oceniałeś identycznych odpowiedzi, obecnie nie wiesz, jak małe są Twoje mierzalne różnice jakości, a każdy opublikowany werdykt jest większy niż Twój instrument.
Liczba chwiania się i jej pochodzenie
2 września 2026 roku przeprowadziliśmy zarejestrowaną przed uruchomieniem ocenę zgodności obejmującą 20 zadań na sześciu konfiguracjach rusztowania tego samego modelu (GLM 5.3-Flash), z modelem sędziego z innej rodziny punktującego każdą odpowiedź względem zamrożonych kryteriów. Pełne wyniki i straty znajdują się w naszym opracowaniu benchmarku. Ten wpis dotyczy jednej liczby w tym projekcie: paska remisowego.
Pasek to 90. percentyl różnic test-retest sędziego. Procedura: pobierz warstwowaną próbę komórek odpowiedzi na różnych ramionach i rodzinach frameworków, uruchom ponownie sędziego na identycznym pytaniu i identycznej odpowiedzi dwukrotnie, a następnie zmierz, jak bardzo zmienia się ważony wynik. W naszym instrumencie 12 par retestu dało 90. percentyl chwiania się na poziomie 18,18 punktu w skali 100-punktowej. Sędzia ma temperaturę 0, jest przypięty do jednego dostawcy, walidowany schematycznie i nie wie, jakie etykiety mają ramiona. Identyczne dane wejściowe. Osiemnastopunktowe wahnięcie, jeden przebieg na dziesięć.
Ta liczba stała się zamrożoną regułą decyzyjną, zapisaną w planie przed jakimkolwiek wydatkiem na generację: WYGRANA, jeśli różnica przekracza pasek, PRZEGRANA, jeśli jest gorsza niż ujemny pasek, w przeciwnym razie REMIS. Plik paska zawiera skrót SHA-256 pełnego wspólnego instrumentu (zadań, ramion, fixture, promptów, konfiguracji), a przebieg przerywany jest przy starcie, jeśli jakikolwiek wiersz zawiera obcy skrót. Nie wybraliśmy 18,18, ponieważ dawałoby wygodny werdykt. Obliczyliśmy go z retestów, zamroziliśmy wraz ze swoim skrótem, a werdykt wynikał z arytmetyki.
Co zdecydował pasek
Zarejestrowany przed uruchomieniem główny punkt końcowy dotyczył pełnej produkcji w porównaniu z lepszym z dwóch niezależnie napisanych promptów DIY. Produkt uzyskał 92,1%, najlepszy prompt DIY 76,0%. Średnia różnica: +16,1 punktu, ufny przedział 95% [3,4, 30,2] wokół dziesięciu klastrów i 2000 powtórzeń. Przedział wyklucza zero, z dużym zapasem. Różnica nie przekracza 18,18.
Zarejestrowany przed uruchomieniem werdykt: REMIS. Zgłoszony jako remis, zarówno w nagłówku, jak i treści, ponieważ taka jest arytmetyka. Jednocześnie są prawdziwe dwa stwierdzenia: w tym zestawie zadań kierunek efektu jest pozytywny i mało prawdopodobne, by był zerowy, a na tym instrumencie nie możemy nazwać wielkości efektu różnicą. Werdykt, który raportuje tylko pierwszą prawdę, jest marketingiem. Werdykt, który raportuje obie, jest pomiarem.
To jest ta część, którą prawie każda ocena oparta na sędzim, jaką czytaliśmy, pomija: werdykt jest własnością instrumentu, a nie systemów. Chwianie się na poziomie 18 punktów oznacza, że pojedyncze różnice rzędu 15 punktów są nieodróżnialne od ponownego uruchomienia sędziego na niezmienionych odpowiedziach. Każda tabela wyników, post porównawczy lub bramka decyzyjna, która ignoruje własne chwianie się retestu, publikuje szum z kropką dziesiętną.
Bramka pilotażowa, którą zbudowała pre-rejestracja
Pre-rejestracja wykonywała też cichszą pracę przed prawdziwym przebiegiem. Nasza metodologia wymaga bramki pilotażowej na małym podzbiorze zadań przed jakimkolwiek skalowalnym wydatkiem: sprawdzenie wskaźnika parsowania, obcięć i tego, że żadne porównywane ramię nie jest zbyt nasycone, by je rozróżnić. Pierwsza próba pilotażowa (przebieg pilot-1, 2 września 2026) uruchomiła tę bramkę. Ramię pomocnicze wyposażone w wiedzę osiągnęło średnio 100%, podczas gdy porównywane ramiona mieściły się między 52,7% a 83,3%. Różnice wyników między porównywanymi ramionami były nadal rozróżnialne, ale sufit był na tyle blisko, że marginesy uległyby kompresji, a my zamroziliśmy regułę doskonalenia właśnie na taki przypadek: kryterium nasycenia dowolnego ramienia zostało zmienione tak, by dotyczyło tylko porównywanych ramion, instrument został edytowany, a pilotaż uruchomiono od nowa (pilot-2, tego samego dnia, przeszedł: 100% wskaźnik parsowania, zero obcięć, 12 par retestu, wykrycie uruchomione na każdym zadaniu związanym z wiedzą). Dopiero wtedy rozpoczęto pełny przebieg.
Dwie lekcje wynikają z tej sekwencji. Po pierwsze, pre-rejestruj także ścieżkę doskonalenia: zmieniliśmy bramkę, ale zmiana sama w sobie była zaplanowana z góry i ponownie pilotażowana przed zamrożeniem, więc pre-rejestracja pełnego przebiegu nigdy nie była edytowana po istnieniu danych. Po drugie, ramię, które uzyskało 100% w pilotażu (konfiguracja DIY wyposażona w wiedzę), uzyskało 96,9% w pełnym przebiegu, co było najwyższym wynikiem wśród ramion poza porównaniem wiedza-plus-dokumenty. Bez bramki główny punkt końcowy zostałby uruchomiony na instrumentach dryfujących w kierunku nasycenia, co prawdopodobnie skompresowałoby różnicę 16,1 punktu, a werdykt remisowy pojawiłby się z gorszego powodu.
Opublikowana strata
Szczerze interesujący test dla reguły decyzyjnej polega na tym, czy może ona doprowadzić do wyniku, którego nie chciałbyś opublikować. Nasza tak zrobiła. Zarejestrowany przed uruchomieniem projekt ramion obejmował produkcję, ramię DIY wyposażone w wiedzę i ramię DIY wiedza-plus-dokumenty jako drugorzędne porównanie. Ramię wiedza-plus-dokumenty uzyskało wyższy wynik niż produkt: 98,7% do 92,1%, z pięcioma różniącymi się komórkami zadań. Opublikowaliśmy to w opracowaniu benchmarku, w tekście jawnym, w sekcji strat.
Pasek to to, co sprawiło, że opublikowanie go było tanie. System werdyktu, który zawsze generuje tylko wygrane, nie jest regułą decyzyjną; jest to komunikat prasowy z rubryką. Gdy pasek remisowy i reguła publikowania strat są zamrożone przed przebiegiem, przegrane ramię jest po prostu wynikiem, a nie wstydem. Ta symetria to cała sztuczka: ta sama reguła, która zmusiła nas do uznania różnicy 16,1 punktu za remis, zobowiązała nas także do opublikowania wyniku, w którym ręcznie skonstruowany prompt pokonał nasz produkt.
Dla protokołu jeden konkretny defekt, który ujawnił przebieg: ramię produktu nie przeszło jednego z czterech pułapek pytań, opisując nieistniejące zabezpieczenie ISO 27001 (A.8.35) z całkowicie wymyślonym wymogiem, podczas gdy jego własna wstrzyknięta tabela zabezpieczeń w tym samym pytaniu kończyła się na A.8.34. Ramiona DIY wyposażone w wiedzę odrzuciły to samo fałszywe założenie. Opublikowaliśmy to także.
Ograniczenia
To jest jeden instrument, jeden dzień, jeden model sędziego (z innej rodziny, temperatura 0, przypięty do jednego dostawcy), 12 par retestu, 20 zadań, jedno generowanie na ramię na zadanie. Pasek 18,18 punktu jest własnością naszej skali rubryk i naszego sędziego; Twój pasek będzie inny, co jest istotą mierzenia własnego. Pasek remisowy to reguła decyzyjna, a nie przedział ufności dla konkretnej różnicy; 90. percentyl różnicy retestu to konserwatywny przybliżony szum sędziego, a nie mierzony rozkład próbkowania. Kalibracja przez człowieka próbki ocenionej punktowo oraz większy zestaw zadań to kolejne kroki, które zawęziłyby to, co ten instrument może rozstrzygnąć. Żadne z tych ograniczeń nie zmienia przenośnego twierdzenia: ocena, która nie zmierzyła własnego chwiania się retestu, nie może wiarygodnie raportować różnic mniejszych niż to chwianie.
Lista kontrolna
Wykonaj to na każdej ocenie ocenianej przez sędziego, którą posiadasz:
- Ponownie oceń 8 do 12 identycznych komórek odpowiedzi na Twoich ramionach i warstwach zadań, przed następnym prawdziwym przebiegiem. Oblicz 90. percentyl różnic wyników. Ta liczba to próg rozdzielczości Twojego instrumentu.
- Zapisz regułę werdyktu względem progu w planie: progi WYGRANA/REMIS/PRZEGRANA, włączając publikowanie strat, przed jakimkolwiek wydatkiem na generację. (Jeśli Twój plan zawiera także bramkę pilotażową nasycenia, tak jak nasz, trzymaj ją osobno od paska: pasek decyduje o werdykcie, bramka decyduje, czy przebieg jest mierzalny w ogóle.)
- Zamroź instrument ze skrótem zawartości i przerwij przebieg, jeśli jakikolwiek wiersz zawiera obcy skrót.
- Dodaj bramkę pilotażową, która uniemożliwia skalowanie, gdy średni wynik porównywanego ramienia znajduje się blisko sufitu wyników, i zarejestruj przed uruchomieniem, jak bramka może być doskonalona (uruchom ponownie od nowa, nigdy nie uruchamiaj pełnego eksperymentu względem edytowanych bramek). Ta sama reguła dotyczy każdej innej straży przed przebiegiem: jeśli może być zmieniona, ścieżka jej doskonalenia należy do planu, zastosowana przed zamrożeniem, a nie po istnieniu danych.
- Gdy werdykt ląduje wewnątrz paska, zgłoś remis jako nagłówek, a kierunek jako kontekst, a nie odwrotnie.
- Traktuj każdą raportowaną różnicę mniejszą niż zmierzone chwianie się Twojego sędziego, w Twoich własnych postach lub czyichś, jako niezmierzoną.
Najbardziej użyteczną liczbą w Twoim orkiestratorze ocen nie jest wynik benchmarku. Jest nią to, jak bardzo Twój sędzia porusza się, gdy nic się nie zmienia.
Co dalej
Powiązane artykuły

Weryfikator niewidomy: co może widzieć nasza bramka anty-fabrykacji
Test laboratoryjny wykazał, że weryfikator naszego potoku zgodności zignorował większość ręcznie wprowadzonych fałszerstw. Zmiana, którą zmierzyliśmy, oznaczała 9 na 9 czystych wersji roboczych, dlatego pozostawiliśmy weryfikatorowi ograniczone pole widzenia. Wykrył on wówczas, już w produkcji, klasę błędów, którą miał wykrywać zgodnie z kontraktem.

Wymiana na niegorszy: jak wprowadzamy zmiany modeli przy remisie jakościowym
Trzy wstępnie zarejestrowane reguły decyzyjne przeniosły trzy powierzchnie czatu do GLM 5.3 w dniu 2026-09-01: zmiana myślenia (Grok 4.6 na GLM 5.3) uzyskała o 1,7 punktu niższy wynik w naszym czterozadaniowym zbiorze jakości i skróciła medianę czasu do pierwszego tokenu z 88,9 sekundy do 4,2 sekundy w naszym teście opóźnienia.

Przetestowaliśmy ISMS Copilot w porównaniu z modelem bazowym i lepszym DIY promptem. Wstępnie zarejestrowany werdykt to remis.
Zamrożona ocena 20 zadań w sześciu konfiguracjach GLM 5.3-Flash: co zmienił moduł wiedzy, gdzie produkt i najlepszy samodzielny prompt zremisowały według reguły zamrożenia, oraz gdzie wersja z wiedzą i dokumentami uzyskała wyższe wyniki.
ISMS Copilot