Ingeniería e investigación

Cómo evaluamos modelos de IA para el cumplimiento: benchmarks, métodos y resultados.

La estrategia de precios 'frontier' no es una estrategia de cumplimiento
Engineering

La estrategia de precios 'frontier' no es una estrategia de cumplimiento

Los agentes de cumplimiento son hornos de tokens: entrada de evidencia, referencias de marcos, análisis de salida. Ejecutamos la API de ISMS Copilot en GLM 5.3 con conocimiento de marcos curado inyectado en la inferencia, a $2.80/$8.80 por millón de tokens y una vía masiva a $0.50/$2.00. Aquí está la matemática de precios frente a la lista de precios de Claude, y la evidencia de por qué un modelo no 'frontier' cumple en el trabajo de cumplimiento.

·9 min read
El cero silencioso: cuando una puntuación faltante de juez se convierte en una medición
Engineering

El cero silencioso: cuando una puntuación faltante de juez se convierte en una medición

En nuestra ablación del 17 de julio de 2026 sobre estrategias de generación de documentos GRC (GLM-5.2 y Claude Opus 4.8 como escritores y jueces con rúbrica de 1-10), el pase 2 tuvo 79 de 446 filas de juicio registradas sin una puntuación general. El agregador contó cada una como 0. El mismo relleno con ceros había fabricado un efecto de 3.25 puntos en el pase 1, y cuando desapareció, escribimos una teoría sobre el sesgo del juez para explicar por qué. El desplazamiento emparejado entre los dos jueces en los mismos documentos fue de 0.12.

·16 min read
Por qué no deduplicamos hechos de cumplimiento mediante la similitud de incrustaciones
Engineering

Por qué no deduplicamos hechos de cumplimiento mediante la similitud de incrustaciones

En nuestra evaluación de deduplicación de memoria, las contradicciones promediaron 0.938 de coseno medio con su hecho almacenado más cercano, y los duplicados reales promediaron 0.940, sin que ningún umbral único separara claramente los pares que no deben fusionarse de los que deberían hacerlo. Por lo tanto, el coseno nunca toma la decisión de fusión en nuestro flujo de trabajo.

·10 min read