Hoeveel herhalingen een promptbetrouwbaarheidstest

U moet voordat u een promptbetrouwbaarheidstest uitvoert het statistische ontwerp vastleggen: effectgrootte, aantal testitems, betrouwbaarheidsniveau en metriek. Zonder dat ontwerp kunt u niet aantonen dat uw testresultaten geldig zijn voor andere configuraties of toekomstige wijzigingen.

Een analyse van 14 oktober 2026 van steekproefomvang en herhalingen in promptreproduceerbaarheid stelt dat reproduceerbaarheid een statistisch ontwerpvraagstuk is, niet een willekeurige keuze. De analyse onderzoekt een binaire financiële-classificatiecasus waarin onderzoekers met 90 procent betrouwbaarheid en een foutmarge van 10 procent tot 1.317 testitems en vijf herhalingen per model kwamen. In onze beoordeling betekent dit dat u niet kunt werken met vaste vuistregels: het benodigde aantal herhalingen hangt rechtstreeks af van de kleinste variatie die u betrouwbaar wilt kunnen aantonen, en dat moet u vooraf bepalen.

Waarom vijf herhalingen niet altijd volstaan

De veelgehoorde norm van vijf herhalingen is geen universele standaard, maar het resultaat van een specifieke testcasus met bepaalde eisen. Poweranalyses tonen aan dat vijf iteraties alleen voldoende onderscheidend vermogen bieden voor grote instabiliteit. Middelgrote effecten vragen minstens vijftien iteraties, en kleine effecten blijven onder veertig iteraties moeilijk aantoonbaar. Hoe kleiner de variatie die u betrouwbaar wilt kunnen aantonen, hoe meer herhalingen u nodig heeft.

Welke drie planningsniveaus u apart moet ontwerpen

U moet drie niveaus los van elkaar bepalen:

1. Bepaal het aantal testitems vooraf — dit is uw steekproef uit de populatie van documenten, vragen of scenario's waarop het model wordt ingezet.
2. Bepaal het aantal herhalingen per item — dit schat de stochastische variatie van de modeloutput.
3. Behandel elke testcondities als afzonderlijk testobject — prompt, model, temperatuur en provider vormen elk een aparte configuratie die apart moet worden gepland.

Onderzoekers waarschuwen dat herhaalde outputs binnen hetzelfde item meestal niet onafhankelijk zijn. Dit is in de praktijk de meest onderschatte fout: wie herhalingen als losse observaties optelt, blaast de effectieve steekproef kunstmatig op en overschat de precisie. U moet herhalingen als geneste metingen binnen een model-itemcombinatie analyseren.

Waarom consistentie niet hetzelfde is als juistheid

Betrouwbaarheid en validiteit meten twee verschillende dingen. Een model kan bij herhaling exact hetzelfde label geven en toch stelselmatig de verkeerde uitkomst voorspellen. Hoge consistentie zegt dus niets over inhoudelijke juistheid. In de financiële-classificatiestudie gaven modellen consistent dezelfde labels zonder de externe uitkomst goed te voorspellen. In een grant-reviewstudie konden promptcondities de scores sterk verschuiven, terwijl de overeenstemming tussen de AI-aanbevelingen en menselijke financieringsbesluiten op of onder kansniveau bleef.

U moet reproduceerbaarheid en validiteit apart rapporteren en de output toetsen tegen een onafhankelijke referentie. Een stabiel antwoord dat consequent fout is, blijft fout.

Wanneer u een nieuwe reproduceerbaarheidstest moet uitvoeren

Een eenmalige reproduceerbaarheidstest binnen één vaste prompt-modelcombinatie toont alleen de eigenschappen van die configuratie. Zodra prompt, model, provider, temperatuur of een gekoppelde tool wijzigt, geldt de eerdere test niet zonder meer als bewijs voor de nieuwe configuratie. U moet beoordelen of een nieuwe meetronde nodig is. Onderzoek toont aan dat dezelfde prompt over de tijd andere varianties en verbanden kan opleveren.

U moet daarom in uw inzetbeleid vastleggen dat een modelversiewissel een nieuwe meetronde triggert voordat output opnieuw voor de gewijzigde configuratie wordt gebruikt. Periodieke her-evaluatie hoort als terugkerende controle in het beheerproces thuis.

Welke controles u moet kunnen aantonen

1. Leg het statistische plan vooraf vast — inclusief maat, foutmarge en powerdoel, niet achteraf gereconstrueerd.
2. Documenteer elke testconfiguratie — prompt, model, temperatuur, provider en alle gekoppelde tools.
3. Voer een onafhankelijke validiteitstoets uit — toets de output tegen een feitelijke referentie, niet alleen tegen consistentie.
4. Behandel modelwijzigingen als nieuwe testobjecten — elke versiewissel triggert een nieuwe meetronde.
5. Rapporteer reproduceerbaarheid en validiteit apart — maak duidelijk wat u hebt gemeten en wat u niet hebt gemeten.

Wie dit nalaat, rapporteert een cijfer waarvan de geldigheid mogelijk beperkt blijft tot de geteste configuratie en dat niet zonder meer naar een gewijzigde configuratie kan worden geëxtrapoleerd. Dit is een belangrijk risico voor de controleerbaarheid van conclusies door toezichthouders en interne auditors.

Tooling kan u helpen het ontwerp vast te leggen en de metingen uit te voeren, maar het kan niet voor u bepalen welke effectgrootte relevant is voor uw use case, welk betrouwbaarheidsniveau u nodig hebt, of welke onafhankelijke referentie geldig is. Die keuzes blijven uw professionele oordeel.