Ivo brengt Sage open-source uit: verifieer het systeem

U moet voordat u Sage inzet een reproduceerbaar validatie- en bewaarproces opzetten dat u na elke aanpassing van model, adapter, prompt of tools herhaalt en waarvan u het bewijs vastlegt. Dit is uw eigen verantwoordelijkheid, niet die van de leverancier.

De aanleiding is een analyse van 9 oktober 2026 van een open-source contractmodel met lokale validatie, die stelt dat teams die het model zelf aanpassen nu zelf de bewijslast dragen voor betrouwbaarheid. Het concrete geval is Sage, een LoRA-adapter op DeepSeek V4 Flash, gerapporteerd met een stijging van 0,701 naar 0,913 op Ivo's eigen LAB-benchmark voor contractwerk. In onze beoordeling betekent dit dat u niet een vaste dienst valideert maar een lokaal samengestelde configuratie — en dat de verantwoordelijkheid voor controle en verantwoording nu bij uw team ligt in plaats van bij een externe leverancier.

Waarom een leveranciersscore niet volstaat

Ivo rapporteert Sage-resultaten onder Ivo's eigen testopzet, taakverdeling en beoordelingsprocedure. Er is geen onafhankelijke replicatie. Een hogere score op een eigen benchmark staat los van de vraag of het model betrouwbaar is in uw workflow.

Onafhankelijk onderzoek toont aan hoe groot dat gat kan zijn. De ContractScrub-benchmark test eindcontrole op foutsoorten als verkeerd gebruik van gedefinieerde termen, onjuiste verwijzingen en inconsistent taalgebruik; toonaangevende modellen presteerden daar zwak ondanks sterke scores op bredere benchmarks. De CLAUSE-benchmark genereert ruim 7.500 verstoorde contracten in tien categorieën en toetst of modellen subtiele juridische afwijkingen opsporen en kunnen uitleggen. Beide onderzoeken betogen dat betrouwbaarheid in de praktijk adversariële, fijnmazige tests vraagt, niet brede claims over juridisch redeneren.

Welke risico's ontstaan door lokale aanpassingen

• Stilzwijgende degradatie — een LoRA-adapter, prompt of contextlimiet is lokaal te wijzigen zonder dat de gerapporteerde score meeverandert.
• Versieloosheid — zonder versiebeheer weet u niet welke configuratie welke resultaten heeft opgeleverd.
• Ongevalideerde wijzigingen — een aanpassing aan model, adapter, prompt of tools kan de prestatie veranderen zonder dat u dit detecteert.
• Vertrouwensbreuk — een plausibele redline die een jurist onterecht vertrouwt omdat het model die heeft gegenereerd.
• Onherleidbaarheid — een fout later niet meer traceerbaar naar de configuratie die deze heeft veroorzaakt.

Welke controles moet u kunnen aantonen

1. Leg een versiebeheerde, lokale evaluatieprotocol vast — documenteer welk basismodel, welke adapter, welke prompts en welke tools u gebruikt, en welke testset u toepast.
2. Hertest na elke aanpassing — voer uw volledige evaluatieprotocol opnieuw uit na wijzigingen aan model, adapter, prompt of tools voordat die versie productie raakt.
3. Bewaar het bewijs — leg alle testresultaten, versienummers en configuraties vast zodat een fout later herleidbaar is.
4. Wijs één eigenaar aan — laat één gekwalificeerde eigenaar de validatie, de modelversies en de onopgeloste fouten beheren.
5. Bouw adversariële gevallen in — voeg subtiele, zeldzame drafting-fouten en langecontextgevallen in uw eigen testset in, omdat modellen juist daar struikelen.
6. Zet een onafhankelijk controlepunt in — plaats een gekwalificeerde jurist tussen AI-analyse en formele advisering, niet het model zelf als eindoordeel.

Hoe u Sage in uw praktijk verantwoord inzet

De verantwoordelijkheid voor controle en verantwoording ligt nu bij uw team in plaats van bij een externe leverancier. Dit betekent dat de eindverantwoordelijke bestuurder of partner het risico loopt aansprakelijk te zijn voor een fout die niemand heeft gevalideerd. Daarom moet u Sage alleen goedkeuren via een versiebeheerd, lokaal evaluatieprotocol dat u na elke aanpassing herhaalt en waarvan u het bewijs bewaart.

Dit sluit naar onze analyse aan bij bredere eisen rond het juistheidsbeginsel van de AVG bij generatieve AI en bij werk dat agentische AI-uitvoering herleidbaar vastlegt. De kern: Ivo's cijfers zijn een vertrekpunt voor uw eigen, reproduceerbare validatie, geen bewijs dat Sage betrouwbaar is voor uw praktijk.

Tooling kan u helpen versies vast te leggen, testresultaten op te slaan en wijzigingen te traceren. Wat tooling niet kan doen: bepalen welke fouten juridisch relevant zijn, beoordelen of een redline plausibel is, of de eindverantwoordelijkheid dragen. Die blijft uw eigen professionele oordeel.