Human-in-the-loop is geen controle als de mens blind op de AI vertrouwt

Bij financiële AI-agents wordt menselijke tussenkomst vaak als laatste veiligheidslaag ingericht. De agent mag een betaling voorbereiden, maar een medewerker moet deze nog goedkeuren. Of de agent voert zelfstandig transacties uit tot een limiet en schakelt een mens in bij een afwijking.

Dat kan een sterke controle zijn. Automatisch is dat niet.

Een mens in de lus heeft alleen waarde wanneer die persoon begrijpt wat er voorligt, weet wanneer ingrijpen nodig is, bevoegd is om de agent te stoppen en voldoende aandacht heeft om een afwijking werkelijk te beoordelen.

Human-in-the-loop is een inrichting, geen garantie

De term human-in-the-loop zegt alleen dat ergens in het proces een mens betrokken is. Hij zegt nog niets over de kwaliteit van die betrokkenheid.

Een medewerker kan formeel goedkeurder zijn, maar in de praktijk tientallen voorstellen achter elkaar bevestigen zonder de onderbouwing te lezen. Een waarschuwing kan bij de juiste functie terechtkomen, terwijl niemand zich verantwoordelijk voelt voor opvolging. En een escalatie kan bestaan, terwijl de ontvanger de agent technisch niet kan stoppen.

Daarom moet menselijke controle niet alleen als stap in een workflow worden vastgelegd. Ook de operationele werking ervan moet worden beoordeeld.

Te veel vertrouwen in automatisering

Mensen zijn geneigd een voorstel van een systeem sneller te accepteren wanneer dat systeem meestal goede uitkomsten geeft. Bij financiële AI-agents kan dit betekenen dat een plausibel betaalvoorstel minder kritisch wordt bekeken dan een handmatig opgesteld voorstel.

Dit wordt vaak automation bias genoemd: de neiging om het geautomatiseerde oordeel als uitgangspunt te nemen, ook wanneer signalen aanleiding geven voor twijfel. Het gaat hier niet om een diagnose van een medewerker, maar om een voorspelbaar procesrisico.

Een controleproces hoort daarom niet te veronderstellen dat een zichtbare knop “Goedkeuren” vanzelf tot een onafhankelijke beoordeling leidt. De beoordelaar moet ook kunnen zien welke gegevens de agent gebruikte, welke regel een escalatie veroorzaakte en wat afwijkt van het normale patroon.

Alert fatigue maakt waarschuwingen zwakker

Een agent die bij iedere kleine afwijking een melding stuurt, lijkt voorzichtig. In de praktijk kan een grote hoeveelheid waarschuwingen juist averechts werken. Wanneer bijna iedere melding onschuldig blijkt, neemt de aandacht af en worden echte uitzonderingen gemakkelijker gemist.

Dit risico wordt alert fatigue genoemd. De oplossing is niet simpelweg minder melden, maar waarschuwingen beter prioriteren. Een onbekende begunstigde, een afwijkend bedrag en een ontbrekend brondocument hoeven niet allemaal dezelfde urgentie of opvolging te krijgen.

Verantwoordelijkheid moet bij iemand liggen

Een escalatie werkt niet wanneer meerdere teams aannemen dat een ander zal ingrijpen. Per financieel proces moet duidelijk zijn wie een melding beoordeelt, binnen welke termijn en wie overneemt als die persoon niet beschikbaar is.

Die verantwoordelijkheid moet aansluiten op het mandaat. Wie een transactie mag afwijzen, moet de uitvoering ook daadwerkelijk kunnen blokkeren. Wie een agent moet stilleggen, heeft toegang nodig tot de relevante noodstop of tot degene die deze direct kan activeren. De bredere verdeling van mandaat en verantwoordelijkheid staat op de pagina over governance van agenttransacties.

Praktische voorbeelden bij financiële AI-agents

De menselijke controlelaag wordt concreet in situaties zoals:

• Een agent stelt een betaling aan een bestaande leverancier voor, maar gebruikt een nieuw bankrekeningnummer. De beoordelaar moet de wijziging zien en onafhankelijk verifiëren.
• Een reeks betalingen blijft afzonderlijk onder de transactielimiet, maar overschrijdt samen het normale dagvolume. De melding moet duidelijk maken waarom het totaal relevant is.
• Een agent kan een factuur niet eenduidig koppelen aan een opdracht. De medewerker moet aanvullende informatie kunnen opvragen in plaats van alleen goedkeuren of afwijzen.
• Een afwijkend patroon activeert een stopvoorwaarde. De verantwoordelijke moet niet alleen een melding ontvangen, maar lopende acties kunnen pauzeren en bevoegdheden kunnen intrekken.

Technische begrenzing en menselijk handelen horen bij elkaar

Bevoegdheden, limieten en stopvoorwaarden bepalen wat een agent technisch mag doen. De menselijke controlelaag bepaalt of een afwijking ook wordt herkend, begrepen en opgevolgd.

Een effectieve inrichting verbindt daarom vijf vragen: welke bevoegdheid heeft de agent, welke limiet geldt, wanneer moet hij stoppen, naar wie wordt geëscaleerd en werkt die escalatie in de praktijk? Voor de technische en organisatorische noodstop is de kill switch voor AI-agents een afzonderlijk controlepunt.

Menselijke controle moet periodiek worden getest

Processen veranderen. Agents krijgen nieuwe taken, meldingen nemen toe en medewerkers wisselen van rol. Een controle die bij de start werkte, kan daardoor later alleen nog op papier bestaan.

Beoordeel daarom periodiek of escalaties op tijd worden opgevolgd, of beoordelaars nog voldoende informatie krijgen en of zij de agent werkelijk kunnen stoppen of overrulen. De Agenttransacties Quickscan neemt deze praktische werking mee naast de technische inrichting.

De beslissende vraag

Een agent kan technisch goed begrensd zijn. Maar als waarschuwingen worden genegeerd, verantwoordelijkheid diffuus blijft of de automatisering blind wordt vertrouwd, werkt de controle alsnog niet.

Kan de mens die moet ingrijpen dat ook werkelijk?