Engineering

El veredicto de nuestra evaluación fue decidido por un número que congelamos antes del proceso

La banda de empate: medimos cuánto oscila nuestro juez al re-evaluar respuestas idénticas, lo congelamos en el pre-registro y dejamos que anulara una diferencia de 16.1 puntos. El mismo pre-registro detectó un piloto que habría cegado el proceso real.

por ISMS Copilot··8 min read
El veredicto de nuestra evaluación fue decidido por un número que congelamos antes del proceso

Una diferencia de 16.1 puntos, un intervalo de confianza que excluye el cero, y el veredicto seguía siendo un empate. No es cobardía estadística. Es el único veredicto honesto que nuestro instrumento podía defender, porque habíamos medido, antes del proceso, que nuestro juez se mueve 18.2 puntos en una de cada diez re-evaluaciones al re-puntuuar respuestas idénticas. Congelamos ese número en el pre-registro y dejamos que anulara el titular. Si ejecutas evaluaciones con LLM como juez y nunca has re-evaluado respuestas idénticas, actualmente no sabes cuán pequeñas son tus diferencias de calidad medibles, y cada veredicto que publicas es mayor que tu instrumento.

El número de oscilación y su origen

El 2 de septiembre de 2026 ejecutamos un benchmark de cumplimiento pre-registrado con 20 tareas en seis configuraciones de andamiaje del mismo modelo (GLM 5.3-Flash), con un modelo juez de la misma familia puntuando cada respuesta contra rúbricas congeladas. Los resultados completos y las pérdidas están en nuestra publicación sobre el benchmark. Esta entrada trata sobre un número dentro de ese diseño: la banda de empate.

La banda es el percentil 90 de las diferencias de re-test del juez. El procedimiento: tomar una muestra estratificada de celdas de respuestas en los brazos y familias de marcos, volver a ejecutar el juez en el mismo prompt y la misma respuesta dos veces, y medir cuánto se mueve la puntuación ponderada. En nuestro instrumento, 12 pares de re-test produjeron un percentil 90 de oscilación de 18.18 puntos en una escala de 100 puntos. El juez tiene temperatura 0, está vinculado a un único proveedor de servicio, es validado por esquema y está ciego a las etiquetas de los brazos. Entradas idénticas. Dieciocho puntos de movimiento, una de cada diez ejecuciones.

Ese número se convirtió en una regla de decisión congelada, escrita en el plan antes de cualquier gasto de generación: GANA si la diferencia supera la banda, PIERDE si es peor que la banda negativa, EMPATE en caso contrario. El archivo de la banda lleva un resumen SHA-256 del instrumento compartido completo (tareas, brazos, fixtures, prompts, configuraciones), y la ejecución aborta al inicio si alguna fila lleva un resumen ajeno. No elegimos 18.18 porque hiciera un veredicto conveniente. Lo calculamos a partir de re-test, lo congelamos con su resumen, y el veredicto siguió de la aritmética.

Lo que decidió la banda

El criterio principal pre-registrado era el ensamblaje de producción completo frente al mejor de dos prompts DIY escritos de forma independiente. El producto obtuvo 92.1%, el mejor prompt DIY 76.0%. Diferencia media: +16.1 puntos, intervalo de confianza bootstrap del 95% [3.4, 30.2] en diez clusters y 2,000 remuestreos. El intervalo excluye el cero, cómodamente. La diferencia no supera los 18.18.

Veredicto pre-registrado: EMPATE. Reportado como empate, titular incluido, porque eso es la aritmética. Dos cosas son ciertas al mismo tiempo: en este conjunto de tareas la dirección del efecto es positiva y poco probable que sea cero, y en este instrumento no podemos afirmar que el tamaño del efecto sea una diferencia. Un veredicto que solo reporta la primera verdad es marketing. Un veredicto que reporta ambas es una medición.

Esta es la parte que casi todas las evaluaciones basadas en jueces que hemos leído omiten: el veredicto es una propiedad del instrumento, no de los sistemas. Una oscilación de 18 puntos significa que diferencias de una sola muestra de 15 puntos son indistinguibles de volver a ejecutar el juez en respuestas sin cambios. Cualquier clasificación, publicación de comparación o puerta de envío que ignore su propia oscilación de re-test está publicando ruido con un punto decimal.

La puerta de piloto que construyó el pre-registro

El pre-registro también hizo un trabajo más silencioso antes del proceso real. Nuestra metodología requiere una puerta de piloto en un pequeño subconjunto de tareas antes de cualquier gasto a escala: verificar la tasa de análisis, truncamientos y que ningún brazo comparado esté demasiado saturado para discriminar. El primer intento de piloto (ejecutado como pilot-1, 2 de septiembre de 2026) activó esa puerta. El brazo auxiliar con conocimiento alcanzó un 100% de media mientras que los brazos comparados estaban entre 52.7% y 83.3%. Las diferencias de puntuación entre brazos comparados seguían siendo separables, pero el techo estaba lo suficientemente cerca como para que los márgenes se comprimieran, y teníamos congelada una regla de refinamiento para este caso exacto: el criterio de saturación de cualquier brazo se revisó para aplicarse solo a brazos comparados, el instrumento se editó, y el piloto se re-ejecutó desde cero (pilot-2, mismo día, superado: 100% de tasa de análisis, cero truncamientos, 12 pares de re-test, detección activada en cada tarea con conocimiento). Solo entonces comenzó el proceso completo.

Dos lecciones en esa secuencia. Primero: pre-registra también la ruta de refinamiento: cambiamos la puerta, pero el cambio en sí estaba pre-planeado y re-pilotado antes del congelamiento, por lo que el pre-registro del proceso completo nunca se editó después de que existieran datos. Segundo: el brazo que obtuvo 100% en el piloto (la configuración DIY con conocimiento) obtuvo 96.9% en el proceso completo, el brazo más alto aparte del brazo de comparación con conocimiento más documentos. Sin la puerta, el criterio principal se habría ejecutado contra instrumentos que se desplazaban hacia la saturación, lo que probablemente habría comprimido la diferencia de 16.1 puntos, y el veredicto de empate habría llegado por una razón peor.

La pérdida publicada

La prueba de interés honesto para una regla de decisión es si puede producir un resultado que preferirías no publicar. La nuestra lo hizo. El diseño de brazos pre-registrado incluía el ensamblaje de producción, un brazo DIY con conocimiento y un brazo DIY con conocimiento más documentos como comparación secundaria. El brazo con conocimiento más documentos superó al producto, 98.7% frente a 92.1%, con cinco celdas de tareas diferentes. Lo publicamos en la entrada del benchmark, en texto plano, en la sección de pérdidas.

La banda es lo que hizo que publicarlo fuera sencillo. Un sistema de veredicto que solo produce victorias no es una regla de decisión; es un comunicado de prensa con una rúbrica. Una vez que la banda de empate y la regla de publicación de pérdidas están congeladas antes del proceso, un brazo perdedor es solo un resultado, no una vergüenza. Esa simetría es el truco completo: la misma regla que nos obligó a llamar a una diferencia de 16.1 puntos un empate también nos comprometió a publicar un resultado donde un prompt ensamblado a mano superó a nuestro producto.

Un defecto concreto que surfió el proceso, para constancia: el brazo del producto falló una de las cuatro preguntas trampa, describiendo un control inexistente de ISO 27001 (A.8.35) con un requisito inventado completo, mientras que su propia tabla de controles inyectada en el mismo prompt terminaba en A.8.34. Los brazos DIY con conocimiento rechazaron la misma premisa falsa. También lo publicamos.

Límites

Este es un instrumento, un día, un modelo juez (de la misma familia, temperatura 0, vinculado a un único proveedor), 12 pares de re-test, 20 tareas, una generación por brazo por tarea. La banda de 18.18 puntos es una propiedad de nuestra escala de rúbricas y nuestro juez; la banda de ustedes será diferente, y ese es el punto de medir la suya. Una banda de empate es una regla de decisión, no un intervalo de confianza sobre ninguna brecha en particular; un percentil 90 de delta de re-test es un proxy conservador para el ruido del juez, no una distribución de muestreo medida. La calibración humana de una muestra calificada y un conjunto de tareas más grande son los siguientes pasos que estrecharían lo que este instrumento puede resolver. Ninguno de estos límites cambia la afirmación transferible: una evaluación que no ha medido su propia oscilación de re-test no puede defender de manera justificable diferencias menores que esa oscilación.

La lista de verificación

Aplica esto a cualquier evaluación puntuada por juez que tengas:

  1. Re-evalúa de 8 a 12 celdas de respuestas idénticas en tus brazos y estratos de tareas, antes de tu próxima ejecución real. Calcula el percentil 90 de las diferencias de puntuación. Ese número es tu suelo de resolución.
  2. Escribe la regla de veredicto frente al suelo en el plan: umbrales de GANA / EMPATE / PIERDE, incluida la publicación de pérdidas, antes de cualquier gasto de generación. (Si tu plan también lleva una puerta de piloto de saturación, como el nuestro, mantenla separada de la banda: la banda decide el veredicto, la puerta decide si la ejecución es medible en absoluto.)
  3. Congela el instrumento con un hash de contenido y aborta la ejecución si alguna fila lleva un resumen ajeno.
  4. Añade una puerta de piloto que se niegue a escalar cuando la media de un brazo comparado esté cerca del techo de puntuación, y pre-registra cómo puede refinarse la puerta (re-ejecuta desde cero, nunca re-ejecuta el experimento completo contra puertas editadas). La misma regla para cualquier otra guardia pre-ejecución: si puede revisarse, la ruta de revisión pertenece al plan, aplicada antes del congelamiento, no después de que existan datos.
  5. Cuando el veredicto caiga dentro de la banda, reporta el empate como titular y la dirección como contexto, no al revés.
  6. Trata cualquier diferencia reportada menor que tu oscilación medida, en tus propias publicaciones o en las de otros, como no medida.

El número más útil en tu orquestador de evaluación no es una puntuación de benchmark. Es cuánto se mueve tu juez cuando nada cambia.

Por dónde seguir

Artículos relacionados

¿Listo para optimizar su trabajo de cumplimiento?

Diseñado para velocidad, precisión y resultados listos para auditoría.