Waarom één betrouwbaarheidsscore tekortschiet

U moet van uw leverancier eisen dat hallucinatiedetectie feitelijkheid, brontrouw en onzekerheid apart meet en rapporteert, en vastleggen welk criterium voor elk signaal is gebruikt voordat u op die scores beslist.

Een analyse van 30 oktober 2026 van hallucinatiedetectie en claimcontrole stelt dat automatische beoordelingssystemen brontrouw gemakkelijk verwarren met feitelijke juistheid, waardoor benchmarklabels substantieel van menselijke oordelen afwijken. De studie van de University of Helsinki testte negenhonderd vraag-antwoordparen tegen zeven taalmodellen en eenvoudige woordovereenkomst-maten, en vond dat prompts gericht op trouw aan een referentieantwoord correcte aanvullingen vaak ten onrechte als hallucinatie bestempelen. In onze inschatting betekent dit dat een systeem dat een antwoord "onbetrouwbaar" noemt werkelijk kan meten dat het afwijkt van een korte modeltekst — niet dat het feitelijk onjuist is. Voor wie op basis van zulke labels beslist, is dat verschil bepalend.

Waarom één score niet volstaat

Een antwoord kan feitelijk juist zijn zonder door de aangeleverde bron te worden ondersteund, en omgekeerd. Een detector die deze dimensies op één hoop gooit, geeft een getal dat niet te interpreteren is. Omdat één lang antwoord zowel juiste als onjuiste beweringen kan bevatten, verbergt een samenvattende score precies de fout die ertoe doet. De studie van de University of Helsinki toont aan dat het gekozen beoordelingscriterium belangrijker is dan de precieze opbouw van de prompt: benchmarks die brontrouw verwarren met feitelijke waarheid produceren systematische meetfouten.

Welke drie dimensies moet u apart meten

Een volwassen detector rapporteert minstens drie aparte signalen:

• Feitelijke juistheid — klopt de bewering met verifieerbare werkelijkheid, onafhankelijk van de bron.
• Brontrouw — wordt de bewering ondersteund door de aangeleverde referentie of context.
• Onzekerheid — hoe zeker is het model over zijn eigen antwoord, los van of het waar is.

Deze scheiding is het breekpunt met de vorige generatie detectoren: één groene vink suggereert zekerheid die het onderliggende meetproces niet waarmaakt.

Hoe controleert u per claim in plaats van per antwoord

De oplossing is het antwoord opdelen in afzonderlijke, verifieerbare claims en elke claim apart te toetsen. Onderzoek naar fijnmazige factualiteit in lange teksten splitst antwoorden in losse beweringen en controleert die tegen externe bronnen. Een kennisgrafiek-aanpak voor lange teksten zet een antwoord om in een feitgericht netwerk van relaties, zodat ook meerstaps- en langeafstandsverbanden tussen verspreide feiten worden gecontroleerd — niet alleen of de tekst lokaal consistent klinkt.

Wat u in uw werkproces moet vastleggen:

1. Definieer vooraf welk criterium geldt — bepaal voor uw use case of u feitelijkheid, brontrouw of beide meet, en leg dit vast voordat u labels interpreteert.
2. Splits lange antwoorden in claims — zorg dat elk antwoord in afzonderlijke, verifieerbare beweringen wordt opgedeeld voordat het wordt gecontroleerd.
3. Toets elke claim tegen een bron — leg vast dat feitelijke beweringen apart tegen externe bronnen worden gecontroleerd voordat zij in een besluit landen.
4. Valideer labels tegen menselijke oordelen — neem in contracten een auditset op die detectorlabels periodiek tegen menselijke beoordelingen toetst.
5. Bewaar model, prompt, bron en detectorversie — documenteer per uitkomst welke versies zijn gebruikt, zodat u achteraf kunt reconstrueren waarop een beslissing steunde.

Wat tooling kan doen en wat uw oordeel blijft

Automatische benchmarks kunnen foutloos presteren op één testset en toch systematisch afwijken van menselijke oordelen zodra het criterium verandert. Een detector zonder menselijk gevalideerde beoordeling is geen bewijs maar een aanname. Wie detectie bouwt of inkoopt, moet modulair werken, met aparte checks voor feitelijkheid, brontrouw en onzekerheid die elk tegen menselijke oordelen zijn geijkt. Een detector die dit niet scheidt, geeft een getal dat niemand kan uitleggen — en dat is in een gereguleerde omgeving een risico, geen geruststelling. Wat tooling niet kan doen, is bepalen wat in uw context "feitelijk juist" betekent of welke bron als gezaghebbend telt: dat blijft uw professionele oordeel.