AI-verordening in een notendop

De rijksoverheid heeft een gids gepubliceerd die ondernemers en organisaties inzicht geeft in de inhoud en mogelijke implicaties van de Europese AI-verordening voor het gebruik en de ontwikkeling van AI. In de gids wordt een viertal stappen uiteengezet die partijen kunnen doorlopen. Hieronder volgt een beknopte samenvatting van de belangrijkste punten die in elke stap worden behandeld.

Stap 1. (Risico) Valt uw (AI-)systeem binnen één van de risicocategorieën?

De AI-verordening maakt onderscheid tussen verschillende categorieën van AI-systemen.

• Verboden AI-systemen: deze systemen mogen niet verkocht, gebruikt of in gebruik gesteld worden. Het gaat om praktijken die een onaanvaardbaar risico met zich meebrengen voor mensen en de samenleving, bijvoorbeeld omdat ze manipulatief zijn of aan emotieherkenning doen.

• Hoog-risico AI-systemen: deze systemen brengen risico’s mee voor de gezondheid, veiligheid of fundamentele rechten van personen, zoals het recht op privacy en om niet gediscrimineerd te worden. Maar zolang de risico’s worden beperkt, kunnen deze systemen ook toepassingen met positieve effecten hebben op mensen en organisaties. Om de risico’s te beperken moeten ontwikkelaars en gebruiksverantwoordelijken van het systeem aan bepaalde eisen voldoen. Hoog-risico AI wordt onderverdeeld in hoog-risico producten en hoog-risico toepassingen. Er zijn acht toepassingsgebieden waarin hoog-risico toepassingen kunnen vallen (denk aan rechtshandhaving en onderwijs). Als een AI-systeem onder een van de toepassingsgebieden valt maar geen wezenlijke invloed heeft op een besluit, dan wordt dat systeem tóch niet als hoog-risico AI gezien.

• AI-modellen en AI-systemen voor algemene doeleinden: deze systemen kunnen een breed scala aan verschillende taken op een goede manier uitvoeren en daardoor geïntegreerd worden in allerlei verschillende AI-systemen. Als een AI-systeem gebaseerd is op een AI-model voor algemene doeleinden en het systeem ook zelf verschillende doelen kan dienen, dan is het een AI-systeem voor algemene doeleinden.

• Generatieve AI en chatbots: deze systemen worden gebruikt om audio, beeld, video of tekst te genereren en kunnen worden gebruikt voor interactie.

• Overige AI: AI-systemen die buiten de hierboven genoemde categorieën vallen, hoeven niet aan de eisen onder de AI-verordening te voldoen. Echter, als u als gebruiksverantwoordelijke het ‘overige categorie’ AI-systeem inzet voor een hoog-risico toepassing, dan wordt het automatisch een hoog-risico AI-systeem en moet u, als aanbieder van het systeem, voldoen aan de eisen uit de AI-verordening.

Stap 2. Is uw systeem ‘AI’ volgens de AI-verordening?

Een systeem wordt pas als AI aangemerkt als er sprake is van (zie de definitie in de AI-verordening):

• Verschillende niveaus van autonomie

• Aanpassingsvermogen

• Expliciete of impliciete doelstellingen

• Output (zoals voorspellingen, inhoud, aanbevelingen of beslissingen)

In ieder geval vallen hier de systemen onder die gebruikmaken van machine learning en knowledge and logic-based approaches. Systemen die gebaseerd zijn op regels die uitsluitend door mensen zijn vastgesteld om automatisch handelingen uit te voeren zijn hiervan uitgesloten. Als uw systeem niet gezien wordt als AI onder de AI-verordening maar wel onder één van de risicocategorieën valt, is het belangrijk om uit te zoeken in hoeverre het systeem niet toch risico’s vormt. Daarnaast moeten de systemen die buiten de Ai-verordening vallen mogelijk wel aan eisen uit andere regelgeving voldoen.

Stap 3. Bent u de aanbieder of gebruiksverantwoordelijke van het AI-systeem?

Als duidelijk is dat u over een AI-systeem beschikt, is het belangrijk om te bepalen of u daarvan de aanbieder of gebruiksverantwoordelijke bent.

• Aanbieder (provider): een persoon of organisatie die een AI-systeem of model ontwikkelt of laat ontwikkelen en dat systeem in de handel brengt of zelf in gebruik neemt.

• Gebruiksverantwoordelijke (deployer): een persoon of organisatie die een AI-systeem onder eigen verantwoordelijkheid gebruikt. Niet-professioneel gebruik valt hier niet onder. Let op: als u uw eigen naam of merk op het hoog-risico systeem zet, of aanzienlijke wijzigingen aanbrengt aan het hoog-risico AI-systeem, dan wordt u toch als aanbieder van het hoog-risico AI-systeem aangemerkt en moet u voldoen aan de hoog-risico verplichtingen voor aanbieders.

Stap 4. Aan welke verplichtingen moet u zich houden?

De zwaarste verplichtingen uit de AI-verordening gaan gelden voor hoog-risico AI-systemen. Aanbieders moeten aan acht verschillende verplichtingen voldoen:

• Systeem voor risicomanagement: er moet worden vastgesteld wat de voorzienbare risico’s zijn voor andere gezondheid, veiligheid of grondrechten en er moeten passende risicobeheersmaatregelen worden genomen die ervoor zorgen dat de resterende risico’s aanvaardbaar zijn.

• Data en datagovernance: databeheer moet passen bij het doel van het AI-systeem en datasets moeten voor het doel waarvoor ze gebruikt worden voldoende representatief en zoveel mogelijk foutenvrij zijn. 

• Technische documentatie: er moet voldoende worden aangetoond dat het hoog-risico AI-systeem voldoet aan de eisen uit de AI-verordening.

• Logging: er moeten automatisch logs worden bijgehouden tijdens de levensduur van het AI-systeem om hiermee risico’s tijdig op te kunnen sporen en de werking van het systeem te kunnen monitoren.

• Transparantie en informatie: de aanbieder van het AI-systeem weet hoe het systeem werkt en hoe hiermee omgegaan moet worden. Zij moet ervoor zorgen dat het AI-systeem zodanig transparant is dat gebruiksverantwoordelijken begrijpen hoe zij de output ervan op een goede manier kunnen gebruiken.

• Menselijk toezicht: hoog-risico AI-systemen moeten door de aanbieder zo worden ontworpen dat er tijdens het gebruik menselijk toezicht op kan worden uitgeoefend, om hiermee risico’s voor personen te beperken. Het menselijk toezicht is contextafhankelijk - des te groter de risico’s des te sterker het toezicht moet zijn.

• Nauwkeurigheid, robuustheid en cyberbeveiliging: hoog-risico AI-systemen moeten een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden. Hiervoor worden nog benchmarks en meetmethoden ontwikkeld door de Europese Commissie.

• Systeem voor kwaliteitsbeheer: het systeem van kwaliteitsbeheer moet ervoor zorgen dat de eisen uit de AI-verordening worden nageleefd. 

• Monitoring: zodra een AI-systeem in de handel is gebracht of in gebruik is, moeten aanbieders het systeem monitoren op basis van gebruiksdata om zo te controleren of het systeem aan de eisen uit de AI-verordening blijft voldoen.

Als u als aanbieder aan al deze verplichtingen voldoet of denkt te voldoen, zult u een conformiteitsbeoordeling moeten uitvoeren.

Ook gebruiksverantwoordelijken van hoog-risico AI-systemen moeten aan een aantal eisen voldoen, die er met name op toezien dat het betreffende systeem voorzichtig en onder voldoende toezicht wordt gebruikt. Voor overheidsorganisaties geldt een aantal extra verplichtingen. Zo moet bijvoorbeeld een fundamental rights impact assessment worden gedaan om grondrechten van natuurlijke personen te waarborgen.

Aanbieders van AI-modellen voor algemene doeleinden moeten in het bijzonder het trainingsproces van hun AI-systemen goed documenteren en auteursrechtinbreuk gedurende dat proces voorkomen. Als dergelijke modellen voor systeemrisico’s zorgen, moet er bovendien extra voorzichtigheid worden betracht aan de hand van een aantal aanvullende verplichtingen.

Voor generatieve AI geldt dat de eindgebruiker voldoende moet worden geïnformeerd. Aanbieders moeten generatieve content voorzien van een machinaal watermerk en gebruiksverantwoordelijken moeten het vermelden als content gemanipuleerd of gegenereerd is. Aanbieders van chatbots moeten gebruikers bovendien informeren dat ze met een AI-systeem te maken hebben.

Zie de volledige AI-gids van de rijksoverheid hier.