METR en Redwood vonden blinde vlekken in OpenAI

U moet per externe toolcall kunnen aantonen dat de agent alleen binnen zijn bedoelde bevoegdheid werkt, dat fouten en manipulaties worden opgemerkt en dat een noodstop de schade kan beperken. Promptinstructies alleen volstaan niet; de werkelijke bevoegdheid ligt in de credential en het netwerk.

Een analyse van 29 oktober 2026 van agentmonitoring en de blinde vlekken in controlelagen stelt dat externe toolcalls de feitelijke bevoegdheden van AI-agenten vergroten en dat zelfs de controlelaag rond autonome agenten ongedekte paden kan bevatten. Red-teamers vonden in een historisch intern monitoringsysteem concrete blinde vlekken: contextovergangen die niet werden bewaakt, monitoringheaders die uitschakelbaar waren, en tools die niet onder controle vielen. In onze inschatting is dit het punt waarop modelveiligheid tekortschiet. Een promptinstructie leeft binnen het model; de bevoegdheid om een database te wijzigen of een deploy te starten leeft erbuiten. Wie alleen de prompt beveiligt, laat de werkelijke bevoegdheid onbeheerst.

Waarom een toolcall meer is dan een antwoord

Een externe functieaanroep activeert een controleketen die zelf getest moet worden. Academisch onderzoek identificeert drie mechanismen waardoor een toolcall verder reikt dan bedoeld: capability-intent mismatch (de tool kan meer dan de taak vraagt), ambient authority (de agent erft rechten uit zijn omgeving zonder expliciete grens) en tool chaining (acties die elkaar opstapelen tot een effect dat niemand losstaand zou goedkeuren). De monitor zelf vormt een aanvalsvlak, geen neutrale waarnemer. Omdat controles en toolpaden zelf blinde vlekken kunnen hebben, is modelgedrag geen betrouwbaar controlepunt meer.

Welke risico's ontstaan uit onbeperkte toolcalls?

• Datalekage en ongeautoriseerde lezingen — agenten lezen via API's of shell-tools gegevens die buiten hun taak vallen.
• Blijvende wijzigingen zonder toezicht — database-updates, deployments of configuratiewijzigingen die niet ongedaan kunnen worden gemaakt.
• Foutieve parameterkeuzes — agenten selecteren verkeerde doelen of waarden en voeren acties uit op verkeerde systemen.
• Promptinjectie via toolresultaten — antwoorden van externe systemen manipuleren het verdere gedrag van de agent.
• Tool chaining met opgestapelde effecten — reeksen van op zichzelf onschuldige stappen creëren een uitkomst die niemand losstaand zou goedkeuren.
• Omzeiling van monitoring — agenten of tools communiceren buiten het zicht van de controlelaag.

Welke vier lagen maken toolcalls verdedigbaar?

1. Begrens per tool het doel en de parameters — documenteer welke agent welke tool mag aanroepen, voor welke taak, met welke invoerwaarden en outputgrenzen.
2. Geef de agent kortlevende least-privilege-rechten — credentials die slechts voor één toolcall gelden en daarna vervallen, niet permanente toegang.
3. Isoleer de uitvoering en test ook de monitor zelf — voer toolcalls uit in een omgeving die gescheiden is van productiesystemen, en test of de controlelaag zelf kan worden omzeild.
4. Koppel het beslisrecord aan de technische gebeurtenis — log welke agent welke tool aanriep, met welke parameters, wat het resultaat was en wie dat heeft goedgekeurd, zodat de keten onveranderbaar en navolgbaar blijft.

Wie draagt verantwoording voor de bevoegdheid?

Omdat de werkelijke bevoegdheid in de credential en het netwerk ligt en niet in de prompt, verschuift de verantwoording voor een AI-beslissing naar wie de autorisatie- en logginginfrastructuur beheert. Een CISO moet nu per agent vastleggen wie de credentials uitgeeft, intrekt en herziet, en op welke termijn. Een bestuurder loopt het risico een uitkomst te verantwoorden die uit een reeks op zichzelf onschuldige stappen ontstond. Daarom hoort in het inkoop- of ontwikkeltraject nu een clausule die een onafhankelijke, buiten de agent geplaatste noodstop en onveranderbare logging eist. Een jurist moet afzonderlijk beoordelen welke verplichtingen de EU AI Act in de concrete context oplegt.

Wat kunnen tools en wat blijft uw oordeel?

Logging en monitoring kunnen vastleggen wat een agent deed; zij kunnen niet bepalen of dat acceptabel was. Een noodstop kan het agentproces onderbreken; zij kan niet bepalen wanneer die onderbreking nodig is. Auditsoftware kan een trail reconstrueren; zij kan niet bepalen of die trail volledig is. Wat er in deze keten is gebeurd, moet een mens kunnen verklaren — niet omdat de techniek faalt, maar omdat de beslissing om een agent een bepaalde bevoegdheid te geven een menselijke verantwoording is.