Wir haben ISMS Copilot gegen das nackte Modell und das bessere DIY-Prompt benchmarkt. Das vorab registrierte Ergebnis ist ein Unentschieden.

Auf diesem eingefrorenen 20-Aufgaben-Compliance-Set erzielte dasselbe Basismodell je nach Scaffold unterschiedliche Ergebnisse; der größte Anstieg trat auf, als kuratiertes Rahmenwerkwissen zur Laufzeit injiziert wurde, insbesondere bei weniger bekannten Rahmenwerken. Wir haben die Aufgaben und die Entscheidungsregel vor dem Lauf eingefroren, das vorab registrierte Unentschieden-Verdikt beibehalten und die Verluste veröffentlicht.

Das Setup

Sechs Arme. Dasselbe Modell für jeden Arm (GLM 5.3-Flash, identische Reasoning-Konfiguration, Ausgabe-Budget und Serving-Pin), dieselben zwanzig Fragen. Die einzige Variable ist, was die Anfrage umgibt:

Arm	Was das Modell erhält
Nackt	Die Frage. Nichts weiter.
DIY-Prompt A / B	Zwei unabhängig verfasste „Senior-GRC-Berater“-Prompts, erstellt ohne Kenntnis der Aufgaben
DIY + Wissen	Prompt A plus das kuratierte Rahmenwerk-Referenzmodul, das unser System injiziert
DIY + Wissen + Dokumente	Wie oben, plus die Kontextdokumente der Aufgabe und das aktuelle Datum
Vollständiges ISMS Copilot	Die Produktionszusammenstellung: Persona, Rahmenwerkerkennung, injiziertes Modul, Datum, Arbeitsbereich-Dokumente

Die zwanzig eingefrorenen Aufgaben: sechzehn Standardfragen über neun Rahmenwerke, vier Fallen (ein nicht existierender ISO-27001-Kontrollmechanismus, überholte Nummerierung aus 2013, ein nicht existierender GDPR-Artikel, eine falsche DORA-Datums- und Gültigkeitsbereichsprämisse). Neun Aufgaben zu bekannten Rahmenwerken (ISO 27001, GDPR, SOC 2), elf zu weniger verbreiteten (ISO 42001, das australische ISM, DORA, NIS 2, TISAX, Singapores MTCS). Zwei Aufgaben enthalten ein fiktives Vertrags- oder Design-Dokument, dessen Inhalte in der Antwort tatsächlich zitiert werden müssen. Ein Richtermodell eines anderen Anbieters, das nicht weiß, welcher Arm welche Antwort produziert hat, bewertete jede Antwort anhand eingefrorener Kriterien; ein deterministischer Prüfer überprüfte separat jede zitierte Kontrollmechanismus- oder Artikelkennung in den offiziellen Registern.

Die Methode wurde vor dem Einfrieren adversarisch von einem zweiten KI-System überprüft und hat sich bewährt: Es entdeckte Fehler in den Antwortschlüsseln, einen Prüfer, der Modelle für die korrekte Zurückweisung gefälschter Kontrollmechanismen bestraft hätte, sowie mehrere Möglichkeiten, wie die Arme hätten abweichen können. Alle Probleme wurden vor der Durchführung behoben.

Das vorab registrierte Hauptresultat

Der primäre Endpunkt wurde vorab festgelegt: Vollständiges Produkt versus das bessere der beiden DIY-Prompts.

Arm	Gesamt	Bekannte Rahmenwerke	Weniger bekannte Rahmenwerke
Nackt	68,0 %	66,7 %	69,0 %
Bestes DIY-Prompt	76,0 %	88,0 %	66,3 %
DIY + Wissensmodul	96,9 %	100,0 %	94,3 %
Vollständiges ISMS Copilot	92,1 %	88,9 %	94,7 %

Das Produkt erzielte 92,1 % gegenüber 76,0 %: eine Differenz von 16,1 Punkten, 95 %-Konfidenzintervall [3,4, 30,2]. Unsere vorab registrierte Unentschieden-Bandbreite betrug 18,2 Punkte, basierend auf der Schwankungsbreite des Richtermodells bei der Neubewertung identischer Antworten. Die Differenz überschritt die Bandbreite nicht. Das vorab registrierte Verdikt ist ein Unentschieden, und das ist das Verdikt, das wir berichten. Wir haben die Bandbreite nach Bekanntwerden der Zahlen nicht erweitert.

Was die einzelnen Ebenen tatsächlich zeigen

Das Wissensmodul ist der Motor. Ein einfacher Berater-Prompt plus das injizierte Modul erzielte 96,9 %, das beste Ergebnis der sechs Arme in diesem Aufgabenset. Das Modul ist dasselbe kuratierte Referenzmodul, das ISMS Copilot injiziert, wenn die Frage ein Rahmenwerk benennt, und dasselbe, das über die API verfügbar ist.

Der Produktvorteil liegt bei weniger verbreiteten Rahmenwerken. Bei ISO 27001, GDPR und SOC 2 liegt ein guter DIY-Prompt auf Augenhöhe mit dem Produkt (88,0 vs. 88,9). Das Basismodell kennt die Klassiker. Bei ISO 42001, dem australischen ISM, DORA, NIS 2, TISAX und MTCS erzielte das Produkt 94,7 % gegenüber 66,3 % des besten DIY-Prompts, während das nackte Modell 69,0 % erreichte. Außerhalb der Fallenaufgaben erfand das nackte Modell acht Kontrollmechanismus- und Artikelkennungen, darunter eine gesamte erfundene ISO-42001-Annex-A-Struktur. Das Produkt erfand keine.

Ein DIY-Prompt unterperformte den nackten Arm bei einer Aufgabe. Bei der ISO-42001-Struktur-Aufgabe erzielte er 32 % gegenüber 82 % des nackten Modells, nachdem er fälschlicherweise die Annex-Struktur von ISO 27001 importiert hatte. Da sich der gesamte Prompt änderte, isoliert dieser Lauf nicht, welche Anweisung den Rückgang verursacht hat; die Hinzufügung des Wissensmoduls steigerte dieselbe Aufgabe auf 100 %.

Die Verluste, in klarem Text

Der Wissens-plus-Dokumente-Arm erzielte bessere Ergebnisse als das Produkt. Er erreichte 98,7 % gegenüber 92,1 %, mit fünf abweichenden Aufgabenzellen. Dieses Ergebnis zeigt, dass Prompt A, versehen mit demselben Wissensmodul, aktuellem Datum und relevanten Dokumenten, in diesem Single-Question-Aufgabenset bessere Ergebnisse erzielte als die Produktionszusammenstellung. Der Benchmark testete nicht den Wert von Mehrfach-Durchläufen, automatischer Erkennung, Arbeitsbereichsverwaltung oder anderen Workflow-Features.

Das Produkt scheiterte bei einer der vier Fallen. Auf die Frage, ISO-27001-Kontrollmechanismus A.8.35 zu erklären, der nicht existiert, beschrieb das Produkt ihn fälschlicherweise als sichere Codierung – was tatsächlich A.8.28 ist. Die injizierte Kontrollmechanismus-Tabelle in derselben Antwort endete bei A.8.34, und beide DIY-Konfigurationen mit Wissensmodul lehnten die falsche Prämisse ab. Ein möglicher Mechanismus ist, dass die Handlungsaufforderungen im Produktionsprompt das Ablehnungsverhalten beeinflussten, doch der Produktarm unterscheidet sich in mehreren Komponenten von diesen DIY-Armen, sodass dieser Benchmark den Fehler keinem bestimmten Mechanismus zuordnen kann. Es handelt sich um einen reproduzierbaren Produktfehler in Aufgabe t17.

Die Erkennung ist namenbasiert. Eine Aufgabe beschrieb eine Verletzung des Schutzes personenbezogener Daten, ohne GDPR jemals zu nennen. Das Produkt injizierte nichts und antwortete dennoch gut auf Basis des Basiswissens. Dies ist das dokumentierte Verhalten und keine Überraschung: Nenne das Rahmenwerk oder verpflichte dich dazu.

Was diese Ergebnisse aussagen – und was nicht

Dieser Same-Model-Vergleich wurde am 2026-09-02 mit zwanzig Aufgaben, einer Stichprobe pro Arm und Aufgabe, einem skriptbasierten Richtermodell und ohne menschliche Kalibrierung durchgeführt. In diesem Set änderten sich die Ergebnisse in den oben berichteten Richtungen, wenn sich das Scaffold änderte; die Ergebnisse lassen keine Rückschlüsse auf die Leistung über dieses Aufgabenset und diesen Lauf hinaus zu. Es handelt sich nicht um einen Cross-Model-Vergleich oder eine Prüfungsmeinung und unterstützt keine Behauptung zur Halluzinationsbeseitigung. Eine öffentliche Zusammenfassung der Methode, Ergebnisse, Verluste und Einschränkungen ist auf der Dokumentationsseite verfügbar: Antwortqualität: Der Scaffold-Benchmark.