Der blinde Prüfer: Was unsere Anti-Fälschungs-Schleuse sehen darf

Im Juli 2026 testeten wir den Prüfer, der unsere mehrstufige Compliance-Pipeline vor Fälschungen schützt, indem wir gefälschte Fakten in seine Eingaben einplanten. Die meisten dieser gefälschten Fakten passierten unbemerkt. Das Ergebnis sah aus wie ein Sicherheitsloch in der einzigen Komponente, deren Aufgabe es ist, Fälschungen zu erkennen. Dem war nicht so – und der Grund dafür ist eine Designregel, die wir nun als festes Prinzip behandeln.

Der Pflanzentest hatte seine gefälschten Fakten in den Reasoning Brief eingespeist, das eine Dokument, das der Prüfer laut Vertrag als feststehende Wahrheit behandeln soll, und dann gezählt, wie viele der Prüfer markierte. Auf diese Weise gemessen, hätte der Prüfer nicht einmal einen Kompetenznachweis zur Fälschungserkennung bestehen können. Die naheliegende Reparatur – dem Prüfer zu erlauben, jeden Fakt im Entwurf zu markieren, der nicht im Brief steht – bewirkte etwas Schlimmeres als das Übersehen von Fälschungen: Bei sauberen Entwürfen markierte sie 9 von 9 bei einer Modellfamilie und 3 von 9 bei einer anderen. Der enge Vertrag, den wir beibehielten, fing im echten Produktionsbetrieb die Fehlerklasse ein, die sein Umfang tatsächlich abdeckt: eine Zitation, die der Entwurf behauptete, aber nicht im genehmigten Satz des Briefs enthalten war.

Wir nennen das zugrundeliegende Prinzip den blinden Prüfer: Eine Anti-Fälschungs-Schleuse muss auf das beschränkt sein, was sie tatsächlich sehen kann. Die von uns gemessene Erweiterung beurteilte die Wahrheit ohne Zugriff auf die Quellen und markierte die meisten sauberen Entwürfe, während sie keine der Fälschungen fing, die sie eigentlich verhindern sollte. Ehrlichkeitsprüfungen müssen mechanisch sein – und mechanisch bedeutet, dass die Antwort in den Eingaben liegt.

Der Test, der uns täuschte

Die Pipeline ist Beyond, unser Modus zur mehrstufigen Dokumentenerstellung. Ein Planungsmodell liest die Aufgabe und schreibt einen Reasoning Brief. Ein Ausführungsmodell rendert jeden geplanten Schritt gegen diesen Brief. Ein Prüfmodell beurteilt jeden Entwurfsschritt, bevor er an den Nutzer freigegeben wird. (Eine vierte Stufe fasst den abgeschlossenen Durchlauf zusammen; sie spielt in dieser Geschichte keine Rolle.) Die drei Prüfrollen erhalten unterschiedliche Eingaben – und dieser Unterschied ist der Kern dieses Beitrags.

Unser Prüfer ist bewusst blind. Sowohl das Planungs- als auch das Ausführungsmodell sehen den vollen Kontext: Gesprächsverlauf, Arbeitsbereichs-Speicher, Arbeitsbereichsdateien, hochgeladene Dokumenteninhalte und eingebettetes Rahmenwissen. Der Prüfer sieht nur zwei Dokumente: den Brief und den zu prüfenden Entwurf. Sein Vertrag behandelt die Fakten und Urteile im Brief als feststehend, und seine Aufgabe besteht darin zu prüfen, ob der Entwurf diesen treu bleibt.

Der Labortest verletzte diese Prämisse, ohne es zu bemerken. Wir fügten dem Brief manuell gefälschte Fakten hinzu, führten den Prüfer aus und zählten, wie viele der eingesetzten Fälschungen er markierte. Er markierte wenige; die meisten der eingesetzten Fälschungen passierten unbemerkt. Wir nannten den Prüfer defekt. Was das Experiment tatsächlich maß, war, ob der Prüfer ein Dokument in Frage stellen würde, dem er laut Vertrag vertrauen soll. Er tat es nicht – wie vorgesehen.

In derselben Woche tauchte im Produktionsbetrieb ein scheinbarer Beweis auf: ein organisatorischer Fakt in einer freigegebenen Ausgabe, der in keiner der von uns geprüften Eingaben enthalten war. Bevor wir eine Lösung implementierten, zogen wir sie selbst zurück: Der vermeintlich „gefälschte“ Fakt stammte aus einer hochgeladenen Datei, die das Ausführungsmodell legitim gelesen hatte. Der Fakt war fundiert. Unsere Stichprobe – wie der Prüfer – hatte diese Datei einfach nicht geprüft. Ein Ermittler, der die Quellen nicht einsehen kann, kann auch nicht beurteilen, ob etwas fundiert ist. Wir hatten dasselbe fehlerhafte Experiment an uns selbst durchgeführt, das wir am Modell getestet hatten.

Die gemessene Falle

Also wandten wir uns der Entwurfsseite zu, wo sich die Eingaben des Prüfers tatsächlich unterscheiden. Die intuitive Reparatur: Markiere jeden Fakt im Entwurf, der nicht im Brief steht. Wir implementierten genau diese Regel und maßen sie an sauberen Entwürfen – Entwürfen ohne Fälschungen, die von den Modellfamilien generiert wurden, die die Pipeline damals nutzte. Die Messung und die Entscheidung, die Regel abzulehnen, sind im Designkommentar und Commit-Verlauf des ausgelieferten Vertrags dokumentiert; die Arbeit wurde während der Überprüfungssitzung am 2026-07-22 durchgeführt und festgehalten:

Getestete Regel	Saubere Entwürfe markiert	Entwürfe generiert von
Markiere Entwurfsfakten, die nicht im Brief stehen	9 von 9	GLM 5.2
Markiere Entwurfsfakten, die nicht im Brief stehen	3 von 9	Grok 4.20

Eine Schleuse, die die meisten oder alle sauberen Entwürfe ablehnt, ist keine Schleuse – sie ist ein Ausfall. Bei GLM 5.2 hätte jeder getestete saubere Entwurf mindestens eine Neurenderung ausgelöst; was eine zweite fehlgeschlagene Prüfung dann produziert hätte (eine Hinweisflagge oder einen Stopp), haben wir nicht gemessen. Der Mechanismus ist strukturell bedingt. Ein Fakt im Entwurf, der nicht im Brief steht, ist kein Beweis für eine Fälschung, denn das Ausführungsmodell darf Fakten laut Design in Quellen fundieren, die der Prüfer nicht einsehen kann. Um zu beurteilen, ob „dieser Anspruch wahr ist“, hat ein quellenblinder Prüfer nur seine Vorannahmen – und Compliance-Arbeit ist ein Bereich, in dem Vorannahmen in beide Richtungen versagen: Die wahren Fakten sind spezifisch für den Arbeitsbereich des Kunden, und die falschen sind plausibel.

Beachten Sie, was die erweiterte Regel ebenfalls nicht konnte: Sie fing keine der Fälschungen aus dem Pflanzentest ein, denn diese Fälschungen befanden sich im Brief, den sowohl der enge Vertrag als auch die erweiterte Regel als Wahrheit behandeln. Per Konstruktion fügte die Erweiterung keine neue Trefferquote für diese Klasse hinzu; unsere Messungen an sauberen Entwürfen zeigten stattdessen, was sie stattdessen hinzufügte. Dieses Ergebnispaar überzeugte uns, dass nicht das Modell, sondern der Auftrag das Problem war.

Der Vertrag, der überlebte

Was der Prüfer beurteilen darf, ist in seinem ausgelieferten Prompt festgehalten – und die Grenze ist scharf. Pro Schritt durchsetzt er zwei Verträge und nichts anderes:

1. Der Vertrag des Schritts selbst: Der Entwurf liefert, was Titel und Inhaltsvorgabe dieses Schritts erfordern. Fehlender Inhalt ist nur dann eine Verletzung, wenn die Vorgabe des Schritts ihn verlangt.
2. Die Urteile und Zitationen des Briefs als globale Einschränkungen, wobei genau drei Dinge Verletzungen darstellen:
   • Widerspruch: Eine Aussage im Entwurf, die einem Urteilsbullet oder der Vorgabe des Schritts direkt widerspricht,
   • Veränderte Zitation: Eine Zitation aus dem Brief, die falsch wiedergegeben wird (falsche Klausel, Artikel oder Anforderungsformulierung),
   • Erfundene Zitation oder Anforderung: Eine Rahmenzitation oder Anforderung, die im Entwurf behauptet wird, aber nicht im Brief enthalten ist.

Abwesenheit ist niemals eine Verletzung der globalen Einschränkungen. Der Brief leitet Inhalte zwischen den Schritten weiter; Ein Schritt für Stakeholder-E-Mails lässt die klauselbezogenen Zitationen, die zum Richtlinienschritt gehören, korrekt weg. Der Prüfer beurteilt weder Stil, Tonfall, Länge noch allgemeine Qualität. Ein schlichter Entwurf, der seinem Schritt treu bleibt, besteht.

Diese Form wurde zweimal durch Messungen erzwungen. Erstens eine Live-Dogfood-Kalibrierung am 2026-06-11 in der Starttopologie, deren Prüfer Claude Haiku 4.5 war (der Satz der Aufgaben wurde nicht im dauerhaften Log aufgezeichnet; die dauerhafte Aussage ist die unten stehende Problemzählung): Von 12 vom Prüfer gemeldeten Problemen während der echten Nutzung waren 2 echt und 10 überstrenge Markierungen von Entwürfen, die tatsächlich treu waren. (Diese Metrik zählt gemeldete Probleme, nicht die Ablehnung sauberer Entwürfe.) Zweitens die Messungen von 9 von 9 und 3 von 9 an sauberen Entwürfen oben. Beide Messungen verurteilten den erweiterten Auftrag – jede auf ihrer eigenen falsch-positiv-Achse; der enge Umfang blieb auf die Fehlerklasse gerichtet, die zählt.

Die Enge ist keine Schwäche. Sie ist das, was die Prüfung beantwortbar macht. „Widerspricht dieser Entwurf dem Brief?“ ist eine Frage, deren Antwort vollständig in den beiden Dokumenten vor dem Prüfer liegt; keine externen Fakten sind nötig, um sie zu beantworten. „Ist diese Behauptung wahr?“ ist keine solche Frage – und kein Prompt-Engineering, das wir gemessen haben, verwandelt sie in eine.

Was stattdessen Fälschungen fängt

Wenn der blinde Prüfer nur Treue prüft – was steht dann zwischen einem Nutzer und einer gefälschten Ausgabe? Drei Schichten, jede auf eine Prüfung beschränkt, die keine Fakten jenseits ihrer eigenen Eingaben benötigt:

Zitationen gegen eine geschlossene Liste. Der Brief enthält einen expliziten Zitationssatz. Die Anweisungen des Ausführungsmodells lauten: Reproduziere die Zitationen des Briefs wortwörtlich; lasse keine fallen, ändere sie nicht und erfinde keine Rahmenzitationen. Ob eine Klauselnummer zu einer endlichen, bekannten Liste gehört, ist ohne Einsicht in eine Quelle prüfbar. In einem Compliance-Bereich ist diese geschlossene Welt das richtige Ziel: Die gefährliche Ausgabe ist nicht eine Umschreibung, sondern eine Zitation auf Text, den der genehmigte Satz nicht autorisiert.

Eine Integritätsschleuse, wo eine Quelle existiert. Bei Durchläufen mit Webrecherche prüft die Pipeline zusätzlich Ausgab-URLs und Preise gegen den genehmigten Beweissatz, denn dort ist die Wahrheit verfügbar und endlich.

Fehlschluss-Abfluss mit einer bewussten Ausnahme. Das Urteil des Prüfers ist die einzige maschinenlesbare Ausgabe in der Pipeline: ein striktes JSON-Objekt mit einem booleschen pass-Wert und einer Problemliste, die damit übereinstimmen muss. Ein nicht parsbares Urteil führt zum Abbruch – es wird nie als „bestanden“ gewertet. Ein fehlgeschlagenes Urteil löst genau eine Neurenderung mit der Problemliste aus, gefolgt von einer erneuten Prüfung; ein zweiter Fehlschlag gibt den Schritt mit einer Hinweisflagge frei, nachdem er zweimal inspiziert wurde. Ein Prüferausfall oder ein nicht parsbares Urteil erhält einen Versuch, dann stoppt der Durchlauf – und der laufende Schritt wird nie freigegeben. Die Ausnahme ist wichtig und verdient eine genaue Formulierung: Fehlschluss gilt für die Inspektion, nicht für die Korrektheit. Ein „Bestanden“ bedeutet, dass der Prüfer keine Vertragsverletzung erkannt hat – keine Garantie für Wahrheit von einem unvollkommenen Modell. Und ein zweimal fehlgeschlagener, markierter Entwurf hat nichts „bestanden“.

Der Fang, live

Am 2026-09-02 führten wir eine einstufige Sonde in unserer Produktionspipeline auf unserem eigenen bezahlten Konto durch: eine Aufgabe, die wir selbst geschrieben hatten, ohne hochgeladene Kundendaten. Ziel war der End-to-End-Nachweis der an diesem Tag getesteten Vier-Rollen-Topologie, die jede Rolle mit GLM 5.3 ausführte (hoher Aufwand beim Planer, niedriger bei Ausführung, Prüfer und Zusammenfassung). Die Aufgabe: Entwirf eine kurze Richtlinienübersicht für ein Vermögensregister nach ISO/IEC 27001:2022 Anhang A, eine Seite.

Der Entwurf des Ausführungsmodells zitierte die ISO/IEC 27001:2022-Klauseln 9.2 und 9.3, die Klauseln für internes Audit und Managementreview. Beide Klauseln existieren in der Norm; die Zitation ist genau das, wonach ein kompetent aussehendes Compliance-Dokument greift. Das Problem ist vertraglicher, nicht faktischer Natur: Der genehmigte Zitationssatz des Briefs enthielt sie nicht – was sie im Sinne des Vertrags zu erfundenen Zitationen macht, also Zitationen, die der Entwurf behauptet, aber der Brief nicht autorisiert. Der Prüfer gab ein „Fail“-Urteil mit der Problemangabe zurück, das Ausführungsmodell rendert mit den Zitationen neu, die innerhalb des genehmigten Satzes lagen, und der zweite Versuch bestand. Der Durchlauf dauerte 155 Sekunden ohne Hinweisflagge und ohne Abbruch – alle Aufrufe erfolgten mit GLM 5.3.

Zwei Eigenschaften dieses Fangs sind wichtiger als die Anekdote. Erstens die Klasse: Der Fehler, der tatsächlich im Produktionsbetrieb auftrat, war eine Zitation, die über den genehmigten Satz hinausgriff – genau die Verletzung, die die blinde Prüfung abdeckt, nicht eine manuell eingesetzte Fälschung. Zweitens die Größe der Prüfung: Der Prüfer lief mit niedrigem Reasoning-Aufwand und sah nur zwei Dokumente. In derselben Woche wurde die Topologie evaluiert (2026-09-01: fünf anspruchsvolle Aufgaben zu Bereichsdisziplin, Zielgruppenauslassung, Zitationskorrektheit, Konsistenz zwischen Dokumenten und Umgang mit nicht verifizierten Beweisen; drei Versuche pro Aufgabe und Arm; 30 Durchläufe insgesamt über zwei Arme, GLM 5.3 und einen Grok 4.20-Proxy-Arm). Der GLM-5.3-Arm des Prüfers gab in allen 15 seiner Durchläufe ein parsbares, striktes JSON-Urteil zurück – ohne Abbrüche. Die Beurteilung war unabhängig: Claude Haiku 4.5, ausgeführt über OpenRouter. Die Schleuse, die den Produktionsfehler fing, ist der am stärksten eingeschränkte Modellaufruf in der Pipeline.

Was dieser Beitrag nicht behauptet

Der Produktionsfang ist ein Datenpunkt aus einer bewussten Sonde, kein Ratenachweis. Der Pflanzentest-Harness war eine interne Kratzdatei, die wir nicht behielten; wir stehen hinter seinem qualitativen Ergebnis (die meisten eingesetzten Fälschungen passierten, die ungefähre Fangrate lag damals bei etwa eins zu vier), veröffentlichen es aber nicht als präzise Messung, denn die Artefakte, Modellversionen und Aufgabensätze dahinter waren nicht eingefroren. Die dauerhafte Aufzeichnung für den Test der erweiterten Regel sind die Messungen 9 von 9 und 3 von 9 an sauberen Entwürfen im Designkommentar des ausgelieferten Vertrags, gemessen und festgehalten am 2026-07-22; die Aufzeichnung nennt die Entwurfs-generierenden Familien (GLM 5.2, Grok 4.20), benennt aber weder das Prüfmodell noch den Aufgabensatz, sodass wir nur die Entwürfe zuordnen – und wir haben den Test nicht mit anderen Familien wiederholt. Die zurückgenommene Untersuchung vom Juli liegt vor unserer aktuellen Beweisdiziplin, sodass wir sie ohne Laufkennungen oder Modellzuordnung beschreiben. Das verbleibende Risiko ist real und im Repository dokumentiert: Bei Durchläufen ohne Webrecherche hat eine vom Ausführungsmodell erfundene organisatorische Tatsache – im Gegensatz zu einer erfundenen Zitation – weiterhin keine automatisierte Schleuse, und wir haben nicht gemessen, wie oft das auftritt; eine Lösung dafür würde bedeuten, dem Prüfer die Quellen zu geben – ein Redesign, kein Prompt-Klausel. Alles hier ist eine Momentaufnahme zum Zeitpunkt der gestempelten Daten: Vertrag und Code zum 2026-09-16, Sonde 2026-09-02, Evaluation 2026-09-01, Dogfood-Kalibrierung 2026-06-11, Messung der erweiterten Regel 2026-07-22.

Die Checkliste

Bevor du einer Prüfschleuse in deiner eigenen Agenten-Pipeline vertraust, sie erweiterst oder „reparierst“:

1. Entscheide, was der Prüfer sehen darf – und lasse das bestimmen, was er beurteilen darf. Quellenblind bedeutet Treue nur: Widersprüche, veränderte Zitationen, erfundene Zitationen.
2. Abwesenheit aus einer Referenz, die der Produzent legitim überschreiten darf, ist niemals eine Verletzung. Wenn du nicht beweisen kannst, dass der Fakt gefälscht und nicht in einer Quelle fundiert ist, die du nicht weitergegeben hast, markiere ihn nicht.
3. Mache Ehrlichkeit mechanisch, wo dein Bereich es zulässt. Zitationen gegen eine geschlossene Liste, URLs und Preise gegen einen genehmigten Beweissatz: Diese sind aus den Eingaben beantwortbar. Offene Wahrheit nicht.
4. Kalibriere an echten Entwürfen, bevor du der Schleuse vertraust. Miss deinen überstrengen Anteil, bevor du den Vertrag erweiterst; unser Anteil lag bei 10 von 12 Problemen im Live-Betrieb (2026-06-11). Gestalte den Vertrag so, dass Abwesenheit keine Verletzung ist.
5. Ein nicht parsbares Urteil muss den Schritt abbrechen – es darf nie als „bestanden“ gelten. Halte ein maschinenlesbares Urteil und mache den pass-Wert boolean mit der Problemliste konsistent.
6. Ein Neurenderung bei einem fehlgeschlagenen Urteil, dann eine erneute Prüfung. Gib einen zweimal fehlgeschlagenen Schritt nur mit einer Hinweisflagge frei, nach zwei Inspektionen. Gib nie uninspizierten Inhalt auf irgendeinem Pfad frei – einschließlich Prüferausfällen. Ein „Bestanden“ bedeutet, dass keine Vertragsverletzung erkannt wurde, nicht dass der Inhalt wahr ist.
7. Teste mit der Fehlerklasse, die dein Bereich tatsächlich produziert (bei uns: Zitationen, die über den genehmigten Satz hinausgehen), nicht mit der Klasse, die am einfachsten zu simulieren ist (manuell eingesetzte Fälschungen). Und achte darauf, wo du sie einsetzt: Eine Fälschung, die in das vertrauenswürdige Dokument des Prüfers geschrieben wird, testet nichts zur Fälschungserkennung.
8. Wenn deine eigene Untersuchung einer vermeintlichen Fälschung von Eingaben abhängt, die du nicht geprüft hast, bist du selbst der blinde Prüfer. Ziehe dich zuerst zurück, miss dann.

Ein Prüfer, der weniger sieht, ist kein schwächeres Tor. Seine Urteile bleiben prüfbar, denn er beurteilt nur den einen Vertrag, der dem Produzenten tatsächlich gegeben wurde.