Engineering & Forschung

Wie wir KI-Modelle für Compliance evaluieren: Benchmarks, Methoden und Ergebnisse.

Frontier-Preise sind keine Compliance-Strategie
Engineering

Frontier-Preise sind keine Compliance-Strategie

Compliance-Agenten sind Token-Öfen: Eingabe von Belegen, Referenzrahmen, Analyse als Ausgabe. Wir betreiben die ISMS Copilot API auf GLM 5.3 mit kuratiertem Rahmenwissen, das während der Inferenz injiziert wird, zu $2,80/$8,80 pro Million Tokens und einer Bulk-Lane für $0,50/$2,00. Hier ist die Preismathematik im Vergleich zum Claude-Preisblatt und der Nachweis, warum ein Nicht-Frontier-Modell für Compliance-Arbeit ausreicht.

·8 min read
Die stille Null: Wenn eine fehlende Richterbewertung zur Messung wird
Engineering

Die stille Null: Wenn eine fehlende Richterbewertung zur Messung wird

In unserer Ablation vom 17. Juli 2026 zu GRC-Dokumentgenerierungsstrategien (GLM-5.2 und Claude Opus 4.8 als Autoren und 1-10-Bewerter) hatten im Durchgang 2 79 von 446 erfassten Bewertungszeilen keine Gesamtbewertung. Der Aggregator zählte jede davon als 0. Dieselbe Null-Ersetzung hatte im Durchgang 1 einen Effekt von 3,25 Punkten erzeugt, und als dieser verschwand, formulierten wir eine Theorie zur Richterverzerrung, um dies zu erklären. Die paarweise Abweichung zwischen den beiden Richtern bei denselben Dokumenten betrug 0,12.

·14 min read
Warum wir Compliance-Fakten nicht durch Ähnlichkeitsdeduplizierung zusammenführen
Engineering

Warum wir Compliance-Fakten nicht durch Ähnlichkeitsdeduplizierung zusammenführen

In unserer Memory-Deduplizierungsbewertung lagen Widersprüche im Durchschnitt bei einem Kosinuswert von 0,938 zu ihrem nächstgelegenen gespeicherten Fakt, während echte Duplikate bei 0,940 lagen. Kein einzelner Schwellenwert trennte die Paare, die nicht zusammengeführt werden dürfen, von denen, die es sollten. Daher trifft die Kosinus-Ähnlichkeit in unserer Pipeline niemals die Merge-Entscheidung.

·9 min read