Ingegneria e ricerca

Come valutiamo i modelli di IA per la conformità: benchmark, metodi e risultati.

Il verificatore cieco: cosa può vedere il nostro gate anti-fabbricazione
Engineering

Il verificatore cieco: cosa può vedere il nostro gate anti-fabbricazione

Un test di laboratorio ha mostrato che il verificatore della nostra pipeline di conformità ha ignorato la maggior parte delle falsificazioni che abbiamo inserito manualmente. La correzione che abbiamo misurato per questo ha segnalato 9 su 9 bozze pulite, quindi abbiamo mantenuto il verificatore cieco, e ha rilevato, in produzione, la classe di failure che il suo contratto copre effettivamente.

·14 min read
Il pricing 'frontier' non è una strategia di compliance
Engineering

Il pricing 'frontier' non è una strategia di compliance

Gli agenti di compliance sono forni di token: evidenze in entrata, riferimenti al framework in entrata, analisi in uscita. Eseguiamo l'API ISMS Copilot su GLM 5.3 con conoscenza curata dei framework iniettata durante l'inferenza, a $2,80/$8,80 per milione di token e una corsia bulk a $0,50/$2,00. Ecco la matematica dei prezzi rispetto alla lista prezzi di Claude, e le prove per cui un modello non 'frontier' regge il lavoro di compliance.

·9 min read
Lo zero silenzioso: quando un punteggio mancante di giudizio diventa una misurazione
Engineering

Lo zero silenzioso: quando un punteggio mancante di giudizio diventa una misurazione

Nell'ablazione del 2026-07-17 sulle strategie di generazione di documenti GRC (GLM-5.2 e Claude Opus 4.8 come scrittori e giudici su una scala 1-10), nel passaggio 2, 79 delle 446 righe di giudizio registrate non avevano un punteggio complessivo. L'aggregatore le ha contate come 0. Lo stesso riempimento con zeri aveva prodotto un effetto di 3,25 punti nel passaggio 1, e quando è scomparso abbiamo elaborato una teoria sul bias del giudice per spiegarlo. Lo scarto appaiato tra i due giudici sullo stesso documento era di 0,12.

·16 min read
Perché non deduplichiamo i fatti di conformità tramite similarità di embedding
Engineering

Perché non deduplichiamo i fatti di conformità tramite similarità di embedding

Nella nostra valutazione di deduplicazione della memoria, le contraddizioni avevano una media di 0.938 cosine rispetto al fatto memorizzato più vicino, mentre i duplicati veri avevano una media di 0.940. Nessun singolo threshold separava chiaramente le coppie che non dovevano essere fuse da quelle che dovevano esserlo. Quindi, il cosine non viene mai utilizzato per decidere la fusione nel nostro pipeline.

·10 min read