We hebben ISMS Copilot vergeleken met het naakte model en de betere DIY-prompt. De vooraf geregistreerde uitkomst is een gelijkspel.

Op deze bevroren set van 20 compliance-taken scoorde hetzelfde basismodel verschillend afhankelijk van de omkadering eromheen; de grootste stijging trad op wanneer gecureerde frameworkkennis op inferentietijd werd geïnjecteerd, vooral bij minder bekende frameworks. We bevroren de taken en de beslissingsregel vooraf, handhaafden de vooraf geregistreerde gelijkspel-uitkomst en publiceerden de verliezen.

De opzet

Zes varianten. Hetzelfde model voor elke variant (GLM 5.3-Flash, identieke redeneringsconfiguratie, outputbudget en server-pin), dezelfde twintig vragen. De enige variabele is wat er om de vraag heen wordt gezet:

Variant	Wat het model ontvangt
Naakt	De vraag. Niets anders.
DIY-prompt A / B	Twee onafhankelijk geschreven "senior GRC-consultant"-prompts, geschreven zonder de taken te zien
DIY + kennis	Prompt A plus het gecureerde frameworkreferentiemodule dat ons systeem injecteert
DIY + kennis + documenten	Hierboven, plus de contextdocumenten van de taak en de huidige datum
Volledige ISMS Copilot	De productieassemblage: persona, frameworkdetectie, geïnjecteerde module, datum, werkruimtedocumenten

De twintig bevroren taken: zestien standaardvragen over negen frameworks, vier valkuilen (een niet-bestaande ISO 27001-controle, vervallen nummering uit 2013, een niet-bestaand GDPR-artikel, een verkeerde DORA-datum en -scopepremisse). Negen taken over bekende frameworks (ISO 27001, GDPR, SOC 2), elf over minder gebruikelijke frameworks (ISO 42001, de Australische ISM, DORA, NIS 2, TISAX, Singapore's MTCS). Twee taken bevatten een fictief contract of ontwerpdocument dat in het antwoord moet worden geciteerd. Een beoordelingsmodel van een andere leverancier, blind voor welke variant het antwoord produceerde, scoorde elke taak aan de hand van bevroren rubrieken; een deterministische checker verifieerde apart elke geciteerde controle- of artikelidentificatie in de echte registers.

De methode werd adversarisch beoordeeld door een tweede AI-systeem voorafgaand aan de bevriezing, en het leverde zijn bijdrage: het ving antwoordfouten op, een checker die modellen zou hebben bestraft voor het correct weerleggen van valse controles, en meerdere manieren waarop de varianten hadden kunnen afwijken. Allemaal opgelost voordat er kosten werden gemaakt.

De vooraf geregistreerde hoofduitkomst

Het primaire eindpunt was vooraf bevroren: het volledige product versus de betere van de twee DIY-prompts.

Variant	Totaal	Bekende frameworks	Minder bekende frameworks
Naakt	68,0%	66,7%	69,0%
Beste DIY-prompt	76,0%	88,0%	66,3%
DIY + kennismodule	96,9%	100,0%	94,3%
Volledige ISMS Copilot	92,1%	88,9%	94,7%

Het product scoorde 92,1% tegen 76,0%: een verschil van 16,1 punten, 95%-betrouwbaarheidsinterval [3,4, 30,2]. Onze vooraf geregistreerde gelijkspelzone was 18,2 punten, gebaseerd op hoe veel de beoordelaar wankelt bij het opnieuw beoordelen van identieke antwoorden. Het verschil overschreed de zone niet. De vooraf geregistreerde uitkomst is een gelijkspel, en dat is de uitkomst die we rapporteren. We hebben de zone niet verruimd na het zien van de cijfers.

Wat de lagen daadwerkelijk laten zien

De kennismodule is de motor. Een simpele consultant-prompt plus de geïnjecteerde module scoorde 96,9%, de hoogste score van de zes varianten op deze taakset. De module is dezelfde gecureerde referentie die ISMS Copilot injecteert wanneer je vraag een framework noemt, en dezelfde die de API exposeert.

De voorsprong van het product ligt in minder gebruikelijke frameworks. Op ISO 27001, GDPR en SOC 2 is een goede DIY-prompt gelijk aan het product (88,0 vs 88,9). Het basismodel kent de klassiekers. Op ISO 42001, de Australische ISM, DORA, NIS 2, TISAX en MTCS scoorde het product 94,7% tegen 66,3% voor de beste DIY-prompt, en het naakte model scoorde 69,0%. Buiten de valkuiltaken fabriceerde het naakte model 8 controles en artikelidentificaties, waaronder een hele verzonnen ISO 42001 Annex A-structuur. Het product fabriceerde er nul.

Een DIY-prompt presteerde slechter dan het naakte model op één taak. Op de ISO 42001-structuurtaak scoorde het 32% tegen 82% voor het naakte model, nadat het zelfverzekerd de Annex-structuur van ISO 27001 had geïmporteerd. Omdat de prompt als geheel veranderde, isoleert deze run niet welke instructie de terugval veroorzaakte; het toevoegen van de kennismodule bracht dezelfde taak naar 100%.

De verliezen, in plain text

De kennis-plus-documenten-variant versloeg het product. Het scoorde 98,7% tegen 92,1%, met vijf verschillende taakcellen. Dit resultaat toont aan dat prompt A, voorzien van dezelfde kennismodule, huidige datum en relevante documenten, de productieassemblage versloeg op deze set met enkelvoudige vragen. De benchmark testte niet de waarde van multi-turn state, automatische detectie, werkruimteafhandeling of andere workflowfuncties.

Het product faalde op één van de vier valkuilen. Toen gevraagd werd om ISO 27001-controle A.8.35 uit te leggen, wat niet bestaat, beschreef het product dit zelfverzekerd als veilige codering, wat in werkelijkheid A.8.28 is. De geïnjecteerde controletabel in dezelfde prompt eindigde bij A.8.34, en beide kennisbewapende DIY-configuraties weigerden de valse premisse. Een mogelijke verklaring is dat de actie-biasdirectieven in de productprompt het weigeringsgedrag beïnvloedden, maar de productvariant verschilt op meerdere componenten van die DIY-varianten, dus deze benchmark kan de fout niet toeschrijven aan dat mechanisme. Het is een reproduceerbaar productdefect in taak t17.

Detectie is op naamniveau. Een taak beschreef een inbreuk op persoonsgegevens zonder GDPR ooit te noemen. Het product injecteerde niets en antwoordde toch goed op basis van basiskennis. Dat is het gedocumenteerde gedrag, geen verrassing: noem het framework of pin het.

Wat dit wel en niet claimt

Deze zelfde-basismodelvergelijking werd uitgevoerd op 2026-09-02 met twintig taken, één sample per variant per taak, een gescriptte beoordelaar en zonder menselijke kalibratie. Op deze set veranderden de scores in de gerapporteerde richtingen wanneer de omkadering veranderde; de resultaten stellen geen prestaties buiten deze taakset en deze uitvoering vast. Het is geen cross-modelvergelijking of een auditmening, en het ondersteunt geen claim over hallucinatie-eliminatie. Een openbare samenvatting van de methode, resultaten, verliezen en voorbehouden is beschikbaar op de documentatiepagina: Antwoordkwaliteit: de scaffold-benchmark.