Verouderde AI-antwoorden herkennen: waarom een model achterhaalde wetgeving overtuigend blijft toepassen

U moet elk AI-antwoord over feiten na de knowledge cutoff van het model als onbetrouwbaar behandelen totdat het is geverifieerd tegen een actuele bron. Dit betekent: vraag naar de cutoffdatum, verplicht grounding op live web- of databankbronnen, en laat antwoorden over recente wetgeving, deals of personen standaard een menselijk controlepad doorlopen.

Aan deze analyse van 4 september 2026 ligt een juridische casusbeschrijving ten grondslag die beschrijft hoe een geavanceerd AI-model in een juridische toets de Chevron-doctrine nog toepast, terwijl het Amerikaanse Supreme Court die doctrine op 28 juni 2024 heeft afgeschaft. Het model kreeg een hoge score maar gaf inhoudelijk verouderd recht, omdat zijn knowledge cutoff vóór het arrest lag. In onze inschatting is dit het gevaarlijkste kenmerk: de fout ontstaat niet uit willekeur, maar uit een structurele blinde vlek die het model zelf niet signaleert.

Wat is een knowledge cutoff en waarom creëert dit risico?

Een knowledge cutoff is de kalenderdatum waarop de trainingsdata van een taalmodel zijn bevroren. Alles wat daarna gebeurt, zit niet in het interne kennisgebied van het model. Het juridische voorbeeld maakt het mechanisme tastbaar: het model past de Chevron-doctrine toe omdat die in zijn trainingsdata nog geldend recht was. Het weet niet dat latere rechtspraak die situatie heeft veranderd, en het geeft geen waarschuwing af.

Dit verschilt van een klassieke hallucinatie. Bij een hallucinatie verzint het model een bron die niet bestaat. Bij een verouderde antwoord bestaat de bron wel en klopt hij intern; alleen is hij niet meer actueel. Dit vraagt om een aparte controlelaag die specifiek op datum en actualiteit toetst.

Welke foutsoorten moet u uit elkaar houden?

• Verzonnen bronnen — het model citeert iets dat niet bestaat of nooit gezegd is.
• Temporeel verouderde antwoorden — de bron was ooit juist maar is ingehaald door nieuwe feiten, gewijzigde regelgeving of personeelswisselingen.
• Blinde vlekken na cutoff — het model weet niet wat het niet weet en waarschuwt niet.
• Bias naar dominante oudere bronnen — het model weegt oudere, veel geciteerde bronnen zwaarder dan recente correcties.
• Stille model drift — antwoorden verschuiven in tijd zonder dat de modelnaam verandert.

Hoe bouw je een werkbare controle in?

Verouderde antwoorden zijn een deels oplosbaar probleem. Web-grounding koppelt een model aan live search, zodat het API-wijzigingen, fusies en nieuwe regelgeving niet meer uit een statische snapshot hoeft te raden. Dit is echter geen technisch detail alleen; het is een governance-vraag.

Voor hoog-trust workflows in juridisch en financieel onderzoek moet u dit vastleggen in een verdedigbare workflow met broncontrole als vaste stap. De kern is dat u per antwoord wilt kunnen tonen op welke bronnen het steunt, met welke datums, en welke antwoorden buiten het tijdsgebied van het model vallen en dus een menselijk besluit vragen.

Welke concrete controles moet u kunnen aantonen?

1. Documenteer de cutoffdatum van elk model — leg vast welke model u gebruikt en tot welke datum zijn trainingsdata lopen.
2. Verplicht grounding op actuele bronnen voor gevoelige domeinen — zet web-search of live databankverbindingen in voor vragen over recht, regelgeving, personeelswisselingen en financiële deals.
3. Maak verificatiestappen zichtbaar voor inspectie — toon per antwoord welke bronnen het steunt, met URLs en datums.
4. Routeer antwoorden buiten het cutoff-bereik naar menselijke controle — automatiseer de vlag, niet het oordeel.
5. Test regelmatig op drift in antwoordpatronen — controleer of dezelfde vraag in tijd andere antwoorden oplevert.

Wat kan tooling doen en wat niet?

Een verificatielaag kan een taak door geselecteerde onafhankelijke modellen leiden en de verificatiestappen, correcties, meningsverschillen en bronnen zichtbaar maken voor inspectie. Dit maakt controle mogelijk en geeft meer zicht op waar antwoorden op actuele dan wel achterhaalde bronnen steunen. Dit is nadrukkelijk geen garantie op juistheid en het neemt hallucinaties niet weg; het professionele eindoordeel blijft bij u. Tooling kan de controlelaag transparant maken en de menselijke inspectie ondersteunen. Zij kan niet bepalen wat waar is; dat blijft uw verantwoordelijkheid.