Menselijk toezicht onder de AI Act: effectieve controle of schijnzekerheid?

Artikel 14 van de AI-verordening (AI Act) verplicht menselijk toezicht bij AI-systemen met een hoog risico. Op papier klinkt dat als een logische waarborg. Maar in de praktijk is die verplichting niet zonder risico’s, zoals in deze blog wordt toegelicht. Onder de huidige wet geldt deze verplichting vanaf 2 augustus 2026, maar in het lopende Digital Omnibus-traject ligt inmiddels een voorstel op tafel om dat moment te verschuiven naar 2027.

Menselijk toezicht: wat houdt het in?

Artikel 14 AI Act vereist dat AI-systemen met een hoog risico (zie artikel 6) zo worden ontworpen en ontwikkeld dat natuurlijke personen ze tijdens het gebruik effectief kunnen overzien. Dergelijk toezicht moet risico’s voorkomen of beperken, met name op het gebied van gezondheid, veiligheid en fundamentele rechten. Daarbij moet het toezicht passen bij het risiconiveau, de mate van autonomie en de gebruikscontext van het systeem. De wet noemt bovendien uitdrukkelijk dat toezichthouders output moeten kunnen interpreteren, opvallendheden moeten kunnen herkennen en zo nodig moeten kunnen ingrijpen. Ook wordt gewezen op het risico van automation bias; hierover meer in de volgende paragraaf.

De AI Act zet verder niet uiteen hoe dit toezicht in de praktijk moet worden ingericht. In aanbevelingen en beleidskaders (al vóór de AI Act: zie dit voorbeeld) wordt daarom vaak gewerkt met categorieën als human in the loop (actieve menselijke inmenging), human on the loop (menselijk toezicht) en human in command (voorbeeld). Deze indeling is niet letterlijk in de wet opgenomen, maar wordt wel breed gebruikt om menselijke controle over AI-systemen te operationaliseren.

De schaduwzijde van menselijk toezicht

De AI Act erkent zelf al dat menselijke toezichthouders gevoelig zijn voor zogeheten automation bias: de neiging de uitkomsten van algoritmes te overschatten en deze snel als juist aan te nemen, zelfs wanneer die onjuist zijn. Hiermee impliceert de wet dat menselijk toezicht niet zonder risico’s is.

Ook op nationaal niveau spelen er zorgen. De Autoriteit Persoonsgegevens (AP) maakt in haar Handvatten betekenisvolle menselijke tussenkomst (juli 2025) duidelijk dat menselijke tussenkomst alleen betekenisvol is wanneer deze daadwerkelijk invloed heeft op de besluitvorming en niet slechts een symbolische handeling vormt (p. 2). Daarbij wijst de AP eveneens op het risico van automation bias (p. 11). Deze bias kan ertoe leiden dat eigen waarnemingen worden genegeerd en de corrigerende functie van menselijk toezicht wordt uitgehold. Tegelijkertijd noemt de AP het risico van algorithmic aversion: het verschijnsel dat mensen algoritmische beslissingen juist te snel wantrouwen en terzijde schuiven. Dit kan zich met name voordoen bij (gevoelige) besluitvorming die betrekking heeft op personen.

De zorgen worden ook in beleidscontext erkend. In een Kamerbrief van 3 oktober 2025 wordt, onder verwijzing naar de genoemde handvatten van de AP, gewezen op het risico dat beslismedewerkers de output van algoritmen “te gemakkelijk als waarheid aannemen”. Hierbij wordt het belang benadrukt van een zorgvuldige inrichting van menselijke tussenkomst om dit te voorkomen (p. 10).

Kortom, toezicht kan in de praktijk verworden tot afvinkwerk. Naarmate systemen beter lijken te presteren, verschuift de rol van de mens van actieve beoordelaar naar passieve bevestiger. Ook jurist en informaticus Arnoud Engelfriet waarschuwde hiervoor tijdens het Nationaal AI & Data Congres. Volgens hem kan menselijke tussenkomst op een bepaald punt zelfs contraproductief worden, doordat de accuraatheid van het systeem juist afneemt wegens menselijke inmenging. Als voorbeeld gaf Arnoud de menselijke beoordeling van door slimme verkeerscamera’s gemaakte foto’s. Dit is in de praktijk regelmatig mis gegaan, zelfs met toepassing van het vierogenprincipe.

Internationale verschillen

Vanuit internationaal perspectief gaat de Europese benadering relatief ver. De EU maakt menselijk toezicht tot een expliciete wettelijke verplichting, in tegenstelling tot veel andere rechtsstelsels.

In de Verenigde Staten ontbreekt een vergelijkbare verplichting. Daar ligt de nadruk op risicomanagement en governance, bijvoorbeeld via het NIST AI Risk Management Framework. Het gaat met name om niet-bindende aanbevelingen. Dat gezegd hebbende, individuele staten hanteren in toenemende mate eigen wetten om menselijk toezicht te verplichten. Voorbeelden zijn de Colorado AI Act en een reeks wetten in Californië. 

Ook andere landen kiezen voor een minder dwingende aanpak. De OECD, een economische samenwerking tussen 38 landen, benadrukt “human agency and oversight” als principe, maar laat de concrete invulling grotendeels open. Singapore werkt met een vergelijkbaar governancekader waarin menselijke betrokkenheid wordt aanbevolen, maar niet strikt juridisch wordt voorgeschreven.

China laat net een ander beeld zien. Daar is enige mate van menselijk toezicht vereist via een reeks wettelijke maatregelen (zie art. 16 e.v.). Wel ligt de focus hierbij meer op veiligheid en sociale stabiliteit en minder op de bescherming van individuele grondrechten.

Het internationale beleid is daarmee gefragmenteerd. Menselijk toezicht wordt breed erkend als belangrijk, maar is zelden zo uitdrukkelijk verankerd als in de AI Act.

Hoe geven we het vorm?

De genoemde risico’s maken duidelijk dat de effectiviteit van menselijk toezicht niet zozeer ligt in de aanwezigheid ervan, maar in de manier waarop het wordt ingericht. Zowel in de Kamerbrief als in de handvatten van de AP wordt benadrukt hoe bepalend dit is. Daarbij gaat het niet alleen om de vraag of een mens kan ingrijpen, maar ook om hoe informatie wordt gepresenteerd, welke rol de mens krijgt in het besluitvormingsproces en in hoeverre die rol daadwerkelijk ruimte laat voor een zelfstandige beoordeling.

Ook Arnoud Engelfriet pleit voor een fundamenteel andere benadering. Volgens hem moet de mens niet worden ingezet om continu de output van AI-systemen te controleren (human in the loop), omdat dit in de praktijk juist averechts kan werken. De kracht van de mens ligt daarentegen in het beoordelen van uitzonderlijke of twijfelachtige gevallen. Dat veronderstelt een systeem waarin afwijkingen worden gesignaleerd en gericht worden voorgelegd voor menselijke beoordeling, bijvoorbeeld via een afzonderlijk detectiemechanisme. Op die manier wordt de kwaliteit van zowel mens als machine optimaal benut. 

Tegelijkertijd is deze benadering niet zonder kanttekeningen. In bepaalde gevallen kan het om ethische of juridische redenen onwenselijk zijn om beslissingen in belangrijke mate aan een systeem over te laten, wat Arnoud ook benadrukt. Daarnaast rijst de vraag hoe een dergelijke inrichting zich verhoudt tot het verbod op geautomatiseerde besluitvorming van artikel 22 AVG. Die vraag verdient een geheel eigen bespreking.