Hallucinerende AI-chatbot in de klantenservice? Daarvoor is het bedrijf aansprakelijk, aldus het Duitse Hof

Het Oberlandesgericht Hamm heeft geoordeeld dat een onderneming rechtstreeks aansprakelijk is voor de uitspraken die een op haar website aangeboden AI-chatbot genereert over haar dienstverlening. Volgens het hof doet de autonome werking van een chatbot niet af aan de verantwoordelijkheid van de onderneming die het systeem inzet als onderdeel van haar klantenservice. De uitspraak sluit aan bij de bekende Air Canada-zaak uit 2024.

Feiten van de zaak

De procedure werd aangespannen door een Duitse consumentenorganisatie tegen de cosmetische kliniek Aesthetify GmbH, bekend van “Dr. Rick & Dr. Nick”, twee medische influencers met veel bekendheid.

Op de website van de kliniek werd gebruikgemaakt van een AI-chatbot die vragen van gebruikers beantwoordde en ondersteuning bood bij het maken van afspraken. De chatbot verstrekte onder meer informatie over de kwalificaties van de behandelende artsen. Daarbij werden verschillende titels gebruikt, waaronder “Fachärzte für plastische und ästhetische Chirurgie” (specialisten in plastische en esthetische chirurgie) en “Fachärzte für ästhetische Medizin” (specialisten in esthetische geneeskunde). Dit terwijl de artsen niet over deze titels beschikken. Sterker nog, een opleiding tot “esthetische geneeskunde” bestaat überhaupt niet in Duitsland.

De consumentenorganisatie sommeerde de kliniek daarop om een juridisch bindende verklaring af te leggen waarin het bedrijf zich verplicht het gebruik van de titels te staken. Hoewel de kliniek de AI-chatbot offline haalde, heeft zij een dergelijke verklaring niet afgelegd. Daarop stelde de consumentenorganisatie een vordering tot staking in bij de rechter tegen het gebruik van de betreffende titels.

Oordeel en juridische implicaties

Het Duitse Gerechtshof (dat in deze procedure als rechter in eerste aanleg optrad)  oordeelde dat de uitingen van de chatbot rechtstreeks aan de onderneming moeten worden toegerekend. Daarmee kwalificeren de uitingen als misleidende handelspraktijken in de zin van artikel 5 van de Duitse Wet tegen oneerlijke concurrentie (UWG).

Volgens het hof maakte de chatbot integraal onderdeel uit van de commerciële communicatie van de website. Dat de antwoorden door een generatief AI-systeem werden gegenereerd, maakte dit niet anders. Hiermee suggereert het hof dat ondernemingen zich niet achter de autonomie of onvoorspelbaarheid van generatieve AI-systemen kunnen verschuilen. Het hof overweegt uitdrukkelijk dat de chatbot niet als “derde partij” kan worden aangemerkt en dat de beginselen van de zorgplicht daarom zijn uitgesloten. Zelfs als de kliniek de chatbot uitsluitend met correcte gegevens had getraind, zou zij nog steeds verantwoordelijk zijn voor de onjuiste verklaringen over de (niet-bestaande) medische specialisaties van haar artsen.

De uitspraak bevestigt dat traditionele regels rond misleidende handelspraktijken ook van toepassing blijven wanneer externe communicatie wordt uitbesteed aan generatieve AI-systemen. Het risico van fouten en hallucinaties wordt in beginsel bij de ondernemer zelf gelegd. Dat is niet alleen relevant voor medische instellingen, maar ook voor bedrijven in andere sectoren, zoals retail, finance en juridische dienstverlening. Ondernemingen die generatieve AI op een vergelijkbare manier inzetten doen er dus goed aan om voldoende aandacht te besteden aan de kwaliteit van hun systemen.

Gezien het principiële karakter van de zaak heeft het hof revisie bij het Bundesgerichtshof (BGH), de hoogste rechter van Duitsland, toegestaan.

Precedent uit Canada en de VS

De uitspraak vertoont duidelijke parallellen met een Canadese zaak uit 2024 (Moffatt v. Air Canada). In die procedure verstrekte een chatbot op de website van Air Canada foutieve informatie over restitutieregels voor vliegtickets. Air Canada probeerde zich te verdedigen door te stellen dat haar chatbot een “separate legal entity” zou zijn en dat de correcte informatie elders op de website stond vermeld. Dat argument werd verworpen. Ook door de Canadese rechter werd de chatbot aangemerkt als onderdeel van de commerciële communicatie van de onderneming zelf.

Intussen wordt in de Verenigde Staten uitgekeken naar de zaak Wolf River Electric v. Google. Ook in deze procedure staat mogelijke aansprakelijkheid voor AI-gegenereerde output centraal. Het verschil is dat de output niet ziet op de dienstverlening van de aanbieder achter de AI (Google), maar op de reputatie van de eiser (Wolf River Electric). Volgens Wolf River Electric bevatte de AI-output onjuiste en lasterlijke informatie die aanzienlijke economische schade heeft veroorzaakt. Daarom vordert het bedrijf een schadevergoeding. De zaak roept interessante aansprakelijkheidsvragen op. Reikt de verantwoordelijkheid van ondernemingen uitsluitend tot correcte informatie over hun eigen dienstverlening, of strekt deze zich ook uit tot automatisch gegenereerde uitspraken over derden? En hoe moet dan worden omgegaan met hallucinaties die mogelijk zelfs bij een hoogwaardige en zorgvuldige training van het AI-model niet volledig voorkomen hadden kunnen worden?

Een eerdere uitspraak in de Verenigde Staten laat zien dat aansprakelijkheid voor de output van generatieve AI ook kan worden afgewezen. In Walters v. OpenAI oordeelde de rechter immers dat aansprakelijkheid ontbrak doordat (i) de lasterlijke output niet redelijkerwijs geloofwaardig was voor de gebruiker, (ii) er geen nalatigheid of opzet was aan de zijde van OpenAI en (iii) er geen daadwerkelijke schade was geleden. Een andere uitkomst achtte de rechter bovendien moeilijk verenigbaar met de brede maatschappelijke inzet van modellen als ChatGPT. Of de rechter in Wolf River Electric v. Google daar op vergelijkbare wijze tegenaan zal kijken, valt nog te bezien. Een belangrijk verschil is uiteraard dat Wolf River Electric stelt wél aanzienlijke schade te hebben geleden.

Slotbeschouwing

De besproken uitspraken laten zien dat ondernemingen zich niet zonder meer achter de autonome werking van generatieve AI-systemen kunnen verschuilen. Zeker wanneer AI-chatbots worden ingezet als onderdeel van de klantenservice, lijken klassieke regels rond misleiding en aansprakelijkheid gewoon van toepassing te blijven.

Tegelijkertijd laat de Amerikaanse rechtspraak zien dat aansprakelijkheid voor hallucinerende AI-output niet onbeperkt is. Factoren zoals de context van de output, de genomen voorzorgsmaatregelen en de aanwezigheid van concrete schade blijven daarbij van groot belang. Het is afwachten in hoeverre deze factoren in de Europese Unie worden meegewogen.