FairStress: gelijke AI-uitkomsten bewijzen geen eerlijke

U moet bij ingebruikname van een taalmodel voor beslissingen over mensen niet alleen controleren of de einduitkomsten eerlijk zijn verdeeld, maar ook of het model onder tegendruk even standvastig blijft en dezelfde criteria hanteert voor alle demografische groepen.

Een analyse van 21 oktober 2026 van demografische fairness in besluitvorming door taalmodellen stelt dat gelijke eindkeuzes geen gelijke behandeling garanderen. De analyse gebruikt een benchmark die 300 casusscenario's over 29 domeinen met hoge inzet tegen 78 adversariële tegenwerpingen test. In onze beoordeling betekent dit dat organisaties onder de EU AI Act die zulke modellen inzetten voor risicobeslissingen hun acceptatieproces moeten uitbreiden: een controle op alleen uitkomstpariteit laat verborgen blijven dat een model onder druk ongelijk standhoudt of verschillende criteria per groep hanteert.

Waarom gelijke uitkomsten geen gelijke behandeling betekenen

Een taalmodel kan dezelfde beslissing nemen voor twee varianten van hetzelfde dossier, terwijl het onder tegendruk die keuze voor de ene demografische groep sneller loslaat dan voor de andere. Dezelfde asymmetrie kan zich ook in de verklaringen tonen: het model onderbouwt dezelfde uitkomst met verschillende criteria naargelang de groep. Een organisatie die alleen de eindkeuze per demografische variant vergelijkt, mist deze ongelijkheid volledig. Omdat een fairnesstest zelf bepaalt welke ongelijkheid zichtbaar wordt, kan geen enkele benchmark alle mogelijke vertekeningen dekken. Daarom volstaat een universeel biaspercentage niet.

Welke faalwijzen moet u controleren

• Ongelijke robuustheid onder tegendruk — het model geeft dezelfde uitkomst maar zwicht sneller voor bepaalde groepen wanneer het wordt tegengesproken.
• Inconsistente onderbouwing — dezelfde beslissing wordt voor verschillende groepen met verschillende criteria gerechtvaardigd.
• Verborgen demografische signalering — het model reageert anders op impliciete aanwijzingen van groepslidmaatschap dan op expliciete labels.
• Nauwkeurigheidsverschillen per groep — mitigatie van vertekening gaat gepaard met onacceptabel nauwkeurigheidsverlies voor bepaalde groepen.
• Onvoldoende documentatie van fairnessdefinitie — de gekozen opvatting van eerlijkheid is niet vooraf schriftelijk vastgelegd en verantwoord.

Welke controles moet u kunnen aantonen

1. Voer voor elke modelversie een robuustheidstest uit met adversariële tegenwerpingen — test of het model zijn standpunt even standvastig verdedigt voor alle demografische groepen.
2. Vergelijk de gehanteerde criteria per demografische variant — documenteer welke redenen het model aanvoert en controleer of deze consistent zijn.
3. Test zowel op expliciete als op verhulde demografische aanwijzingen — voer de test uit met zowel directe labels als impliciete signalen van groepslidmaatschap.
4. Leg de fairnessdefinitie vooraf schriftelijk vast — documenteer welke opvatting van eerlijkheid u hanteert en waarom, en deel dit met betrokken groepen.
5. Herhaal de evaluatie na elke wijziging — controleer opnieuw wanneer u de modelversie, prompttemplate of beleid wijzigt.
6. Verifieer dat mitigatie niet leidt tot onacceptabel nauwkeurigheidsverlies — zorg dat verbeteringen in eerlijkheid niet gepaard gaan met onverantwoorde afname van betrouwbaarheid.

Hoe past dit in uw verantwoordingsproces

De EU AI Act stelt voor systemen met hoog risico documentatie- en toezichtverplichtingen. Een gelaagde test die uitkomsten, onderbouwing en robuustheid afzonderlijk meet, levert reproduceerbare informatie op die u in uw acceptatiedossier kunt opnemen. Dit maakt uw controleproces transparant en verdedigbaar tegenover toezichthouders. Een leverancier mag zijn mitigatie niet als afgerond presenteren voordat dezelfde herhaalde test aantoont dat de ongelijkheid werkelijk is verminderd.

Tooling kan u helpen deze tests uit te voeren en de resultaten vast te leggen. Wat tooling niet kan doen, is bepalen welke fairnessdefinitie voor uw context passend is of beoordelen of een nauwkeurigheidsverlies aanvaardbaar is. Die keuzes blijven uw eigen professionele verantwoordelijkheid.