Zelfde prompt, ander antwoord: waarom reproduceerbaarheid ontworpen moet worden

U moet voortaan aantonen dat dezelfde prompt onder dezelfde omstandigheden dezelfde uitkomst oplevert, en dat verschil meten en rapporteren wanneer dat niet het geval is. Dit is geen eigenschap die modellen vanzelf hebben; het is een ontwerpverplichting die u actief moet inbouwen.

De aanleiding is een analyse van 10 augustus 2026 van reproduceerbaarheid van AI-antwoorden op identieke prompts, die aantoont dat dezelfde prompt, hetzelfde model en dezelfde instellingen toch tot verschillende antwoorden leiden. Onderzoek uit februari 2026 voerde 480 uitvoeringen uit over verschillende modellen en temperatuursinstellingen en constateerde dat zelfs identieke configuraties tot uiteenlopende analyses en conclusies leidden. In onze beoordeling betekent dit dat u niet mag aannemen dat AI-antwoorden deterministisch zijn, maar dat u reproduceerbaarheid als meetbare verplichting moet inbouwen in elk werkproces waar AI-output gebruikt wordt voor beslissingen of rapportage.

Waarom blijft variatie optreden, ook bij strakke instellingen?

Variatie in AI-antwoorden is geen bug maar een structureel kenmerk. Onderzoek in klinische tekstextractie uit april 2026 voerde 13.200 inferences uit over meerdere temperaturen en vond overeenstemming als statistische maat. De bevinding: zelfs bij temperatuur 0, waar willekeur theoretisch uitgeschakeld is, treedt variatie op. Bronnen van deze willekeur liggen in sampling, stille modelupdates en routering. Dit betekent dat u niet kunt vertrouwen op een enkele run, ongeacht hoe u de parameters instelt.

Welke faalmodi moet u voorkomen?

• Ongedocumenteerde promptversies — u kunt niet reproduceren wat u niet kunt terugvinden.
• Geen registratie van modelconfiguratie — temperatuur, top-p, max-tokens en andere instellingen bepalen variatie.
• Enkele runs als bewijs — één antwoord zegt niets over consistentie.
• Geen meting van variabiliteit — u weet niet hoe groot de spreiding is.
• Geen versiebeheer van testdata — dezelfde prompt tegen verschillende datasets geeft verschillende resultaten.
• Geen audit trail van acceptatiebeslissingen — u kunt niet aantonen welke antwoorden u als betrouwbaar genoeg hebt bevonden.

Welke concrete controles moet u kunnen aantonen?

1. Vastleggen van promptversie en modelconfiguratie — documenteer welke prompt, welk model, welke temperatuur en welke andere instellingen voor elke workflow gelden.
2. Herhaalde runs uitvoeren en variatie meten — voer dezelfde prompt minstens meerdere keren uit en registreer de spreiding van antwoorden.
3. Versiebeheer van prompts en testsets — behandel prompts als code met versienummers, zodat u kunt terugvallen op eerdere versies.
4. Statistische consistentie rapporteren — meet concordance en consistency over runs en rapporteer deze als onderdeel van uw bevindingen.
5. Acceptatiecriteria vastleggen — definieer vooraf hoe consistent een antwoord moet zijn voordat u het als betrouwbaar beschouwt.

Hoe bouw je reproduceerbaarheid in je testharness in?

Reproduceerbaarheid zit niet alleen in het model maar in het hele testharness eromheen. Onderzoek uit juli 2026 toont aan dat variaties in promptformaat, instructieaantal en contextlengte systematisch effect hebben op instructienaleving en hallucinaties. Een stabiel testharness omvat vaste prompttemplates, een corpusgenerator, versiebeheer van alle onderdelen en expliciete meting van run-tot-run variatie. Volledige openbaarheid van harness, data en resultaten vergroot reproduceerbaarheid aanzienlijk. Dit koppelt rechtstreeks aan NIST-controles voor configuratiebeheer en procesconsistentie.

Wat kunnen tools doen en wat blijft uw verantwoordelijkheid?

Verificatielagen kunnen de keten rond prompts en AI-antwoorden zichtbaar maken: welke promptversies, modelinstellingen en testcases tot welke antwoorden hebben geleid en hoe consistent die antwoorden zijn. Ze kunnen helpen aan te tonen dat AI-antwoorden reproduceerbaar genoeg zijn voor audit en besluitvorming. Maar tooling kan niet voor u bepalen welke mate van variatie acceptabel is voor uw use case, welke antwoorden u vertrouwt en welke niet, of welke gevolgen u aan een bepaald antwoord verbindt. Die oordelen blijven uw professionele verantwoordelijkheid.