Leg afwijkingen en bronchecks vast

U moet per controle vastleggen welke bron die ondersteunde, welke modellen onafhankelijk keken en waar ze verschilden — consensus zonder onafhankelijke broncontrole heeft geen bewijswaarde.

De aanleiding is een analyse van 22 oktober 2026 van multi-agent consensus en onafhankelijke verificatie, die aantoont dat latere AI-systemen een vroege foutieve conclusie kunnen overnemen, ook wanneer hun eigen informatie het juiste antwoord ondersteunt. Onderzoekers van de University of Chicago Harris School of Public Policy rapporteren dat AI-agents in een reeks elkaars uitkomsten kunnen volgen in plaats van zelfstandig te oordelen. In onze inschatting raakt dit een aanname die veel organisaties hanteren: dat meerdere modellen die hetzelfde zeggen, een feit onafhankelijk bevestigen. Die aanname houdt alleen stand wanneer de modellen de bron daadwerkelijk apart hebben bekeken.

Hoe ontstaat consensus zonder onafhankelijkheid?

De volgorde waarin AI-agents reageren kan het eindresultaat sturen. Een vroege, onjuiste conclusie plant zich voort door de keten — een mechanisme dat onderzoekers vergelijken met een informatiecascade. Drie modellen die dezelfde eerdere samenvatting lezen en daar instemmend op reageren, leveren geen drie onafhankelijke controles. Ze leveren één waarneming, drie keer herhaald.

Dit effect doet zich onder stress-condities voor. De onderzoekers presenteren dit als stress-testresultaat, niet als routinefout in elk ingezet systeem. Toch is het onderscheid tussen onafhankelijke waarnemingen en het herhaald citeren van dezelfde gedeelde conclusie cruciaal voor wie consensus als controle wil gebruiken.

Welke risico's schuilen in een unanim panel?

• Informatiecascade — een vroege fout plant zich voort door de keten wanneer latere modellen eerdere conclusies overnemen.
• Gedeelde bronfout — meerdere modellen die dezelfde eerdere samenvatting lezen, delen de fout van die ene bron.
• Modelafhankelijkheid in evaluatie — wanneer u vertrouwt op een AI-model dat de antwoorden van een ander model beoordeelt, voegt u geen onafhankelijke controle toe.
• Afgebakende evaluatiescope — providers stellen hun eigen factuality-evaluaties uitdrukkelijk af tot geselecteerde prompts, niet tot productieprevalentie.
• Verlies van traceerbaarheid — wie alleen een consensusscore bewaart, kan achteraf niet reconstrueren welke bron welke controle droeg.

Hoe structureert u controle in plaats van op spontane overeenstemming te vertrouwen?

Consensus telt alleen als aan vooraf vastgelegde criteria is voldaan. Een raamwerk als VeriMAP splitst taken in subtaken, modelleert afhankelijkheden en gebruikt expliciete verificatiefuncties. Dit levert verbeterde robuustheid en interpreteerbaarheid op.

Praktisch betekent dit dat u per controle moet kunnen aantonen:

1. Documenteer modelidentiteit en -versie — leg vast welk model welke controle uitvoerde en in welke versie.
2. Bewaar bronmomentopnamen en prompts — sla de exacte brontekst en de prompt op waarmee het model werkte.
3. Registreer onafhankelijke waarnemingen apart — noteer welke modellen dezelfde bron hebben geraadpleegd en waar ze verschilden.
4. Leg verificatiebesluiten vast — documenteer wanneer een menselijke beoordelaar een onverklaarde consensus openbreekt.
5. Behoud de volledige keten — bewaar modelidentiteiten, prompts, bronmomentopnamen, meningsverschillen en menselijke eindgoedkeuring samen.

Wat moet in het beleid staan?

Omdat providers hun factuality-evaluaties afbakenen tot geselecteerde prompts, kan een jurist een modelbeoordeling niet als vastgesteld feit overnemen. De inkoopafdeling moet in contracten eisen dat evaluatiescope en grading-methode worden meegeleverd en bewaard.

Omdat onderzoekers de cascade als stress-testresultaat presenteren en niet als routinefout, mag een CISO dit risico niet negeren maar ook niet als zekerheid presenteren. Het beleid hoort een escalatieregel die bepaalt wanneer een menselijke beoordelaar een onverklaarde consensus openbreekt.

Dit sluit aan bij een bredere verschuiving in AI-verificatie: van vertrouwen op een modelbelofte naar een reconstrueerbare keten van onafhankelijk bewijs. Tooling kan u helpen deze keten vast te leggen en te bewaren. Wat blijft uw eigen professionele oordeel: wanneer een afwijking tussen modellen aanleiding geeft om een controle opnieuw uit te voeren, en welke menselijke goedkeuring u voor welke beslissing nodig acht.