Confidence scores van AI-modellen: waarom een hoog percentage geen bewijs van juistheid is

U moet kunnen aantonen welke onzekerheidssignalen uit uw AI-werkstroom betrouwbaar genoeg zijn om op te handelen, en onder welke voorwaarden u die signalen mag gebruiken zonder aanvullende controle.

Aanleiding voor dit stuk is een analyse van 4 september 2026 van zelfgerapporteerde confidence-scores van taalmodellen, die betoogt dat verbaliseerde percentages vaak overmoedig blijven en meer door promptvorm dan door inhoud worden bepaald. Het onderzoek gebruikt taalmodellen die zelf een zekerheidspercentage bij hun antwoord zetten als casusmateriaal. In onze beoordeling is dit relevant omdat een zichtbaar percentage in een interface vertrouwen wekt dat het cijfer zelf niet altijd waarmaakt — het is een interface-element, geen bewijsstuk voor juistheid.

Waarom een hoog percentage geen garantie geeft

De confidence score die een model zelf noemt, is zwak gekoppeld aan de werkelijke juistheid van het antwoord. Onderzoek toont aan dat zulke scores sterk gekwantiseerd zijn, vaak hoog blijven ook wanneer het antwoord fout is, en meer worden bepaald door de formulering van de vraag dan door de inhoud ervan. Een enkel getal uit één model is dus geen bewijs dat het antwoord klopt. Als één model consistent fout is, blijft het ook consistent zelfverzekerd — de score zegt meer over het model zelf dan over de werkelijkheid.

Welke signalen zijn wel bruikbaar

Betrouwbaarder onzekerheidssignalen ontstaan op twee manieren. Ten eerste: onenigheid tussen meerdere onafhankelijke modellen vangt epistemische onzekerheid beter dan herhaald bevragen van één model. Wijken modellen van elkaar af, dan is dat een aanwijzing dat de vraag lastig of ambigu is. Ten tweede: taakspecifieke ijking per domein en vraagtype. Wat in het ene specialisme goed geijkt is, hoeft dat in een ander niet te zijn. Voor juridisch onderzoek, medische vragen of cijfermatige analyse kan hetzelfde signaal een verschillende waarde hebben.

De kern van het probleem is dat er geen universele confidence-methode bestaat. De betrouwbaarheid van onzekerheidsschattingen hangt af van het domein en het vraagtype. Dit betekent dat u confidence niet één keer valideert en daarna blind vertrouwt.

Welke controlelagen moet u opbouwen

Voor werk met vertrouwelijke of hoog-risico-informatie ordenen wij confidence in drie lagen, van zwak naar sterker onderbouwd:

• Verbaliseerde zelfrapportage — het model noemt zelf een percentage, maar dit is zwak gekoppeld aan juistheid en gevoelig voor promptvorm.
• Onenigheid tussen modellen — meerdere onafhankelijke modellen geven verschillende antwoorden, wat epistemische onzekerheid aangeeft.
• Geijkte onzekerheid per taaktype — u hebt per domein en vraagtype vastgesteld welke signalen betrouwbaar genoeg zijn om op te handelen.
• Verificatie met bronverwijzing — het systeem maakt zichtbaar welke bronnen het antwoord ondersteunen en waar modellen van elkaar afwijken.

Welke controles moet u kunnen aantonen

Uit deze lagen volgt een praktische checklist. U moet kunnen aantonen dat u:

1. Per taaktype hebt bepaald welk onzekerheidssignaal u accepteert — vastgesteld voor juridisch onderzoek, medische vragen en andere domeinen wat een bruikbaar signaal is.
2. Onenigheid tussen modellen systematisch vastlegt — wanneer u meerdere modellen inzet, documenteert u waar zij van elkaar afwijken en hoe u dat interpreteert.
3. Confidence niet als eindoordeel behandelt — u hebt een controlelaag ingebouwd waarin uitkomsten met lage of onzekere signalen naar menselijke inspectie gaan.
4. Uw ijking regelmatig hervalideert — u controleert periodiek of uw aannames over welke signalen betrouwbaar zijn, nog steeds kloppen.
5. Bronnen en verificatiestappen zichtbaar maakt — u kunt voor elke beslissing terugzien welke modellen betrokken waren en waar zij het eens of oneens waren.

Wat tooling kan doen en wat niet

Een verificatielaag kan helpen zien welk confidence-signaal bij een antwoord hoort en wanneer een uitkomst beter naar menselijke controle gaat. Het kan onenigheid tussen modellen zichtbaar maken, bronnen traceren en correcties documenteren. Wat tooling niet kan: garantie op juistheid geven of hallucinaties elimineren. Het professionele eindoordeel blijft bij u. De rode draad uit dit onderzoek is dat een confidence-getal een startpunt is, geen eindpunt. De vraag is niet of een model zelfverzekerd klinkt, maar welk signaal u genoeg vertrouwt om op te handelen en onder welke voorwaarden u aanvullende controle inbouwt.