NIST: vier maatregelen voor validatie generatieve AI

U moet generatieve AI-output valideren via vier samenhangende maatregelen die door de hele levenscyclus lopen: pre-deployment verificatie, digitale provenance, incidentmelding en governance. Output mag nooit als inherent betrouwbaar worden behandeld.

De aanleiding is een analyse van 21 september 2026 van het NIST Generative AI Profile, die stelt dat het AI Risk Management Framework validatie aan vier richtlijngebieden koppelt en hallucinatierisico's als onderdeel van risicobeheersing behandelt in plaats van als iets dat vanzelf verdwijnt wanneer een model vloeiende taal produceert. Het profiel beschrijft hoe NIST een publieke werkgroep voor generatieve AI oprichtte om deze vier gebieden te ontwikkelen en aan elkaar te koppelen. In onze beoordeling ligt hier de verschuiving: de vraag is niet langer of een model iets kan produceren, maar of uw organisatie een controleerbaar geheel van maatregelen rond die output heeft ingebouwd.

Waarom vier losse maatregelen niet volstaan

De vier gebieden — verificatie, provenance, incidentmelding en governance — werken alleen als samenhangend systeem. Verificatie zonder governance blijft eenmalig. Provenance zonder incidentmelding levert geen leercyclus op. Governance zonder verificatie heeft geen controleerbare basis. NIST presenteert ze bewust als één geheel, zodat output op geen moment als inherent betrouwbaar wordt weggezet.

Dat uitgangspunt verschilt fundamenteel van de aanname dat betere prompts of verfijnde modellen hallucinaties voorkomen. NIST plaatst hallucinatierisico in de sfeer van risicobeheersing: output is een artefact dat je moet bewaken, niet een eindresultaat dat je mag vertrouwen.

Welke risico's moet u adresseren?

• Hallucinaties en ongegronde beweringen — gegenereerde content die geen basis in werkelijkheid heeft en toch vloeiend wordt gepresenteerd.
• Verlies van herkomst en bronverband — output waarvan niet meer traceerbaar is waar de informatie vandaan komt of of die informatie klopt.
• Ongecontroleerde verspreiding — gegenereerde content die zonder verificatie in werkstromen of naar derden gaat.
• Blinde plekken in toezicht — geen zichtbaarheid over waar, wanneer en hoe AI-output in kritieke processen wordt gebruikt.
• Geen leercyclus uit fouten — incidenten die niet worden vastgelegd en dus niet leiden tot aanpassingen in controles.

Welke concrete controles moet u kunnen aantonen?

1. Documenteer welk model welke taak uitvoert — leg vast welke generatieve AI-systemen in welke workflows actief zijn en op welke rechtsbasis zij gegevens verwerken.
2. Eis bronverificatie buiten het model — koppel gegenereerde beweringen aan controleerbare bronnen, niet aan zelfverificatie door hetzelfde model.
3. Registreer menselijke controle per output — leg vast wie, wanneer en op welke gronden gegenereerde content heeft goedgekeurd of afgewezen.
4. Stel incidentmelding verplicht — zorg dat hallucinaties, fouten en misbruik worden geregistreerd en dat die registratie leidt tot aanpassingen in uw controles.
5. Bouw verificatie in de hele levenscyclus in — controleer output niet alleen na deployment, maar ook tijdens ontwerp, ontwikkeling en evaluatie.

Hoe past digitale provenance in deze keten?

Provenance gaat over herkomst: waar komt gegenereerde content vandaan, en is het aantoonbaar wat het beweert te zijn? NIST noemt provenance in dezelfde adem als validatie omdat het de brug vormt tussen een gegenereerde bewering en een controleerbare bron.

Voor feitelijke uitspraken betekent dat concreet: eis brongrounding. Een claim moet herleidbaar zijn naar een document, niet naar de vloeiende formulering van een model. Dat is geen garantie dat hallucinaties verdwijnen. Het is wel een manier om ze zichtbaar en toetsbaar te maken. Wie ongegronde beweringen apart wil kunnen aanwijzen, heeft een verificatielaag nodig die output aan bronnen koppelt.

Omdat één model zijn eigen antwoorden niet onafhankelijk toetst, blijven de grenzen van zelfverificatie relevant: bronverificatie hoort buiten het genererende model plaats te vinden.

Wat kunnen tools doen, wat blijft uw verantwoordelijkheid?

Logging- en registratietools kunnen vastleggen welke output is gegenereerd, wie deze heeft beoordeeld en wat de uitkomst was. Zij kunnen provenance-informatie structureren en incidenten traceerbaar maken. Wat tools niet kunnen doen, is bepalen of gegenereerde content in uw specifieke context aanvaardbaar is. Die beoordeling — wat risico acceptabel is, welke bronnen betrouwbaar zijn, hoe streng verificatie moet zijn — blijft uw professionele oordeel. Tools ondersteunen dat oordeel, maar vervangen het niet.