AI bij de Rijksoverheid: is het wenselijk en wat zijn de gevaren?

De mogelijkheden van AI zijn eindeloos, waaronder voor de Rijksoverheid. Maar als de toeslagenaffaire ons iets heeft geleerd, dan is het dat hierbij oppassen is geblazen. De realiteit is nog altijd dat kunstmatige algoritmes imperfecte verlengstukken zijn van de mens. Zo blijkt uit onderzoek dat AI-systemen tekenen van bias vertonen, als gevolg van het feit dat ze zijn getraind op de data van mensen. De beslissingen van AI-systemen kunnen dan ook discriminerend uitpakken, althans bij gebrek aan menselijk toezicht. Bias is niet de enige zorg die AI-gebruik op publiekrechtelijk niveau meebrengt. Ook onze privacy kan in het geding komen als de Rijksoverheid beschikt over geavanceerde technologie, bijvoorbeeld doordat AI-systemen meer gegevens verzamelen dan noodzakelijk. Tot slot roepen AI-systemen vraagtekens op bij de uitlegbaarheid van beslissingen: het zogenoemde black box karakter van AI zorgt ervoor dat niet altijd duidelijk is waarom beslissingen worden genomen zoals ze worden genomen.

Voordelen

AI kan de bedrijfsvoering van overheidsorganisaties efficiënter maken, dienstverlening verbeteren en beleidsvorming ondersteunen; zo blijkt uit onderzoek van de Algemene Rekenkamer (zie het onderzoek hier). Organisaties die door de Algemene Rekenkamer zijn geïnterviewd geven aan AI goed te kunnen benutten bij het categoriseren van informatie voor interne doeleinden. Een aantal organisaties benadrukt verder dat AI kansen biedt voor controles of monitoring. Bovendien is AI volgens hen nuttig bij het programmeren van ICT-systemen, het opdoen van kennis en ervaringen met AI, het leveren van een bijdrage aan het wetenschappelijke werkveld en het helpen evalueren van andere AI-systemen. Tot slot zou AI kunnen helpen bij de personeelstekorten die in de toekomst mogelijk nog groter worden.

Het onderzoek van de Algemene Rekenkamer laat tegelijkertijd zien dat organisaties doorgaans niet goed weten of de AI-systemen die zij gebruiken naar behoren presteren. Verder zijn er veel AI-systemen waarvan het gebruik na een tijdelijke proefperiode wordt stopgezet, bijvoorbeeld omdat ze onvoldoende voorspellende kracht hebben. Daarnaast zijn er bepaalde obstakels waardoor AI niet optimaal door organisaties kan worden benut in de praktijk, zoals een ontoereikende IT-infrastructuur of onvoldoende kennis en expertise onder het personeel. Kortom, de toepassing van AI is, nog afgezien van de te bespreken nadelen, niet zonder problemen.

Nadelen

Bias

Misschien wel het voornaamste gevaar van AI-systemen is de in die systemen verankerde bias. Resultaten die door AI worden gegenereerd kunnen soms bevooroordeeld zijn, omdat de trainingsdata van de AI zelf bias of onvolledigheden kan bevatten. Denk aan het AI-systeem dat in een land wordt getraind waarin witte mensen oververtegenwoordigd zijn, zoals Nederland. De informatie die de oververtegenwoordigde groep produceert kan bepaalde beeldvormingen scheppen die niet per se juist zijn, maar die door het AI-systeem desalniettemin worden overgenomen. Zonder de juiste correcties zal het systeem vervolgens beslissingen maken die mogelijk ten nadele komen van andere demografische groepen. Neem als voorbeeld het AI-systeem van een politiebureau dat zwarte mensen relatief vaker van criminaliteit verdenkt dan witte mensen.

Privacy

De efficiëntie waarmee AI informatie doorspit en opslaat, roept de vraag op of de privacy van de betrokkenen wel voldoende wordt gewaarborgd. Er zijn verschillende zorgen die in deze context kunnen worden geuit. Zo kunnen AI-systemen persoonlijke gegevens verzamelen die verder gaan dan wat noodzakelijk is voor het doel van de overheid, wat strijd oplevert met de AVG (zie art. 5 lid 1 sub b). Bovendien kunnen deze gegevens onvoldoende worden geanonimiseerd. Ook kan gebrekkige beveiliging in AI-systemen ervoor zorgen dat gevoelige informatie wordt gelekt naar of gehackt door kwaadwillende partijen.

Uitlegbaarheid

Een bekend verschijnsel onder AI-systemen is dat eenmaal genomen beslissingen niet of onvoldoende door de systemen kunnen worden toegelicht. De beslissing is in een dergelijk geval duidelijk, maar de beargumentering niet. Binnen het publiekrecht is dit verschijnsel des te zorgwekkender, nu het om beslissingen gaat die de persoonlijke levens van burgers raken. Bij de toeslagenaffaire kwam aan het licht dat veel mensen onterecht waren gemarkeerd door een kunstmatig algoritme. Hoewel deze mensen in beroep probeerden te gaan, werden zij aanvankelijk niet gehoord. Dit terwijl de markeringen later onjuist bleken. De situatie illustreert goed waarom het zo belangrijk is dat beslissingen, waaronder die van AI-systemen, nauw kunnen worden beargumenteerd, met name binnen het publiekrecht.

Hoe dan verder?

Om de genoemde nadelen zo veel mogelijk te mitigeren is het cruciaal dat overheidsorganisaties goede risicoafwegingen maken ten aanzien van de door hen gebruikte AI-systemen. Daarnaast moeten zij op basis van deze afwegingen de juiste maatregelen treffen. In het onderzoek van de Algemene Rekenkamer gaven de meeste organisaties aan dat ze nog bezig zijn hun risicobeheersing verder vorm te geven en aan te laten sluiten bij de AI-verordening. Statistieken laten zien dat organisaties voor minder dan de helft van de AI-systemen een risicoafweging hebben gemaakt. Van de AI-systemen waarvan een risicoafweging is gemaakt, wordt meestal geconstateerd dat het AI-systemen zijn met een minimaal risico. Nader onderzoek zal moeten uitwijzen of dit daadwerkelijk het geval is. Ook voor AI-systemen met een minimaal risico gelden wettelijke voorschriften waaraan de betrokken organisaties moeten voldoen, op basis van bijvoorbeeld de AVG en de BIO. Voor systemen met een hoog risico gelden de aanvullende voorwaarden van de AI-verordening.

Momenteel is er geen rijksbreed instrument voor het maken van risicoafwegingen van AI-systemen; wellicht doet de overheid er goed aan om daar verandering in te brengen. Een dergelijk instrument zou in samenwerking met het door de AI-verordening opgerichte AI Office kunnen worden ontwikkeld. Op die manier kan er zo goed mogelijk worden voldaan aan de AI-verordening en wordt de Nederlandse rechtszekerheid rondom AI versterkt. Die rechtszekerheid zou er tot slot aan kunnen bijdragen dat de voordelen van AI beter worden benut.