Introductie vooraf

In deel 1 van onze blogserie over AI hebben wij uitvoerig besproken hoe de AI-verordening in elkaar zit en hoe deze impact kan hebben op uw AI-systeem. Hierin gingen wij in op wat de AI-verordening onder een AI-systeem verstaat, en wat voor soort AI-systemen er zijn. Zo kunnen AI-systemen worden onderverdeeld in risico’s, zoals een hoog of een laag risico. AI-systemen kunnen daarnaast ook gebruik maken van een onderliggend ‘basismodel’, waardoor het AI-systeem voor meerdere taken ingezet kan worden. In de meeste gevallen is dan het AI-systeem aan te merken als een AI-systeem voor algemene doeleinden. Soms creëert het AI-systeem ook output in de vorm van (nieuwe) tekst of afbeeldingen, waardoor het een generatief AI-systeem wordt. Deze begrippen komen in onze blog AI-verordening: definities en werking (deel 1) aan de orde. In deze blogpost bouwen wij op deze begrippen voort en zullen wij de verplichtingen uiteenzetten waar AI-aanbieders en -exploitanten aan dienen te voldoen per AI-systeem. Daarmee moeten de twee blogs in samenhang gelezen worden: de vorige blogpost gaat om het classificeren van het risico van het betreffende AI-systeem; deze blog ziet op de wettelijke verplichtingen waar de aanbieders en exploitanten van die AI-systemen aan moeten voldoen. Voor de sancties die kunnen staan op het onvoldoende implementeren van deze verplichtingen, verwijzen wij ook terug naar de blog AI-verordening: definities en werking (deel 1).

Inleiding

De structuur van deze blog komt overeen met die van de vorige. Wij zullen hieronder per AI-systeem op hoofdlijnen uitleggen waar deze onder de AI-verordening aan dient te voldoen. Daarbij maken wij ook een onderscheid tussen twee verschillende rollen in de AI-waardeketen: de AI-aanbieder en de AI-exploitant. De AI-aanbieder is de entiteit/persoon die het AI-systeem ontwikkelt en op de markt brengt. De AI-exploitant is vervolgens de entiteit/persoon die het AI-systeem onder eigen verantwoordelijkheid gebruikt voor de beroepsuitoefening. Een eenvoudig voorbeeld: OpenAI is de aanbieder van het AI-systeem ChatGPT, en het bedrijf dat deze inzet in het kader van zijn beroepsuitoefening is de exploitant. Iemand die vervolgens gebruikmaakt van een AI-systeem voor privégebruik wordt onder de AI-verordening niet gezien als een exploitant, maar als een gebruiker. De definitie van de term ‘exploitant’ in de AI-verordening lijkt daarmee beperkter/anders dan de betekenis die in het gewone spraakgebruik geldt. Immers, onder exploitant verstaan wij in de regel juist iemand/een rechtspersoon die een AI-systeem zou vermarkten (verhandelen) met bijvoorbeeld als doel dat in te zetten bij de beroeps- of bedrijfsuitoefening van die derde. Deze persoon wordt in de huidige versie van de AI-verordening echter aangeduid als ‘distributeur’. Het is zeer de vraag of deze terminologie ook in de finale wettekst zal worden gehanteerd.

Wij zullen de verplichtingen bespreken op basis van hun risico, waarbij de verplichtingen van zowel de aanbieder als de exploitant aan bod komen. Hierbij zijn AI-systemen met een onaanvaardbaar risico niet opgenomen: daarvoor geldt immers een verbod! Dergelijke systemen mogen in hun geheel niet gebruikt worden. Voor generatieve AI-modellen gelden nog weer nadere vereisten; deze zullen apart worden besproken.

Hoog risico

De grootste waslijst aan verplichtingen komt voor rekening van AI-systemen met een hoog risico, en hun aanbieders en exploitanten. Het voert te ver in om in het kader van deze blog de complete lijst te bespreken. Wij zullen ons beperken tot enkele belangrijke verplichtingen.

Aanbieders

Conformiteitsbeoordeling

De belangrijkste verplichting voor aanbieders van AI-systemen met een hoog risico is het uitvoeren van de conformiteitsbeoordeling. Deze kan zowel intern als door een aangemelde instantie worden uitgevoerd. In het geval dat het systeem ziet op biometrische identificatie van personen op afstand of op het conclusies trekken over persoonlijke kenmerken van natuurlijke personen op basis van biometrische gegevens (voor zover zij tenminste niet gekwalificeerd worden als onaanvaardbaar risico want in dat geval zijn zij immers verboden), is het uitvoeren van een conformiteitsbeoordeling door een aangemelde instantie verplicht.

De conformiteitsbeoordeling dient te worden uitgevoerd voordat het AI-systeem op de markt wordt gebracht. Het betreft een vrij intensieve beoordeling waarbij de uitvoerende entiteit dient te onderzoeken of het AI-systeem voldoet aan de vereisten die de AI-verordening stelt. Belangrijke aspecten waar de conformiteitsbeoordeling op ziet is risicomanagement, kwaliteitsmanagement, transparantie en documentatie, monitoring, cybersecurity, databeheer, menselijk toezicht en meer. Wanneer de uitvoerende entiteit tot de conclusie komt dat het AI-systeem in overeenstemming met de vereisten van de AI-verordening is, dient zij een conformiteitsverklaring op te stellen en in ieder geval voor tien jaar onder zich te houden. Deze verklaring kan door de autoriteiten worden opgevraagd. Ook dient de aanbieder zijn systeem te registreren in een openbare databank die wordt beheerd door de EU. Ten tijde van het schrijven van deze blog bestaat deze databank nog niet. De hierboven genoemde aspecten waar de conformiteitsbeoordeling op ziet zijn te omvangrijk om hier uitvoerig te behandelen. Om die reden zullen wij slechts enkele aspecten bespreken.

Risicomanagement

De conformiteitsbeoordeling ziet op risicomanagement, geregeld in Artikel 9 AI-verordening. Om risico’s in te perken heeft de EU gedacht aan een systeem voor risicobeheer dat dient te worden geïmplementeerd. Dat lijkt wat op de bepaling uit de AVG die ziet op ‘privacy by design’, waar het hier gaat om ‘minimal risk by design’. Hierbij dient de aanbieder te constateren welke risico’s zijn systeem precies zal hebben (of kan hebben) voor de gezondheid of veiligheid van personen, en ook wat de impact op hun grondrechten is. Daarbij dient zij voortdurend, voor zolang het systeem actief is, te evalueren om te kijken of de risico’s in het systeem wel zoveel mogelijk zijn ingedamd. Op die manier wordt ook rekening gehouden met de monitoringsverplichtingen die de AI-verordening tevens stelt. De maatregelen die de aanbieder neemt om de vastgestelde risico’s te beperken, moeten ook worden bijgehouden. Zo kan worden bepaald of de genomen maatregelen voldoende zijn om een zo veilig mogelijk AI-systeem te creëren. Hiertoe dienen de AI-systemen ook veelvuldig getest te worden. Deze tests moeten worden uitgevoerd voordat het systeem in de handel wordt gebracht/of wordt gebruikt. Voor AI-systemen die nadelige gevolgen kunnen hebben voor kwetsbare groepen of kinderen, is nog meer aandacht vereist bij het indammen van deze risico’s.

Transparantieverplichtingen

Aanbieders van AI-systemen met een hoog risico dienen transparant te zijn tegenover hun exploitanten en gebruikers. Deze transparantie ziet op zowel de input als de output. Wat betreft de input, is van belang dat de gebruiker beschikt over relevante informatie met betrekking tot de datareeksen die zijn gebruikt om het AI-systeem te trainen. Welke informatie er precies onder ‘relevante informatie’ gaat vallen is nog onzeker, maar te denken valt aan informatie over de oorsprong van de gebruikte data en de potentiële risico’s die daarachter schuil gaan. Het ligt niet voor de hand dat onder ‘relevante informatie’ moet worden verstaan dat een volledig overzicht moet worden gegeven van de gebruikte data.

Verplichtingen over transparantie omtrent de output van een AI-systeem reiken onder de AI-Verordening verder dan transparantieverplichtingen die zien op de inputfase. Zowel voor de AI-aanbieder als de gebruiker moet het duidelijk zijn hoe de output moet worden geïnterpreteerd. Met andere woorden, de gebruiker moet dus weten waarom de output is zoals hij is. Daar past bij dat de innerlijke werking van het systeem op begrijpelijke wijze wordt duidelijk gemaakt aan de gebruiker, zoals bijvoorbeeld in een handleiding of in een instructievideo. Hierin moet in elk geval de volgende informatie staan:

• De contactgegevens van de AI-aanbieder
• Bepaalde kenmerken van het AI-systeem (beoogde doel; risicobeoordeling; testresultaten; trainingsprocedures; uitleg bij de beslissingen)
• Veranderingen die zijn doorgevoerd sinds de eerste conformiteitsbeoordeling
• Technische maatregelen genomen om de risico’s te beperken
• Waar exploitanten/gebruikers logs van de output kunnen vinden en opslaan

De transparantieverplichting is erg breed: nagenoeg alle informatie die ziet op een AI-systeem – betreffende de ontwikkelingsfase, de werking en de risico’s – dient op begrijpelijke wijze kenbaar te worden zijn gemaakt. Het is nog onduidelijk hoe deze transparantieverplichtingen zich verhouden tot de bedrijfsgeheimen van de AI-aanbieder. Zij zullen vermoedelijk niet altijd staan te springen om bepaalde technische informatie omtrent de werking van het systeem openbaar te maken.

Overige aandachtspunten conformiteitsbeoordeling

Overige verplichtingen zien op het zogenaamde databeheer, documentatieverplichtingen en de eis dat er menselijk toezicht wordt gehouden op het AI-systeem met een hoog risico. Databeheer ziet er in de context van AI op dat de aanbieder waarborgt dat de data die wordt gebruikt om het systeem mee te trainen, van een bepaalde kwaliteit is. In een latere blog zullen wij hierop terugkomen. Verder zijn er strenge documentatieverplichtingen, met name in het kader van technische werking en het bijhouden van logs. Deze documentatie kan van belang zijn voor de bevoegde autoriteit indien deze onderzoek moet verrichten naar een AI-systeem. Het is van belang dat deze documentatie zo volledig mogelijk en juist wordt bijgehouden voor zolang het AI-systeem actief is. Ten slotte zijn er verplichtingen met betrekking tot menselijk toezicht. Het AI-systeem moet zo zijn ingericht dat een mens de boel kan overzien. Hij moet dus in de gaten kunnen houden of het systeem nog naar behoren functioneert en dat risico’s worden tegengegaan. Belangrijke voorwaarden zijn dat een mens de mogelijkheid moet hebben om een beslissing of een besluit van een AI tegen te gaan of te verwerpen, en dat hij bij machte is het systeem te onderbreken door middel van een ‘stopknop’.

Meldplicht

Soms kunnen bijvoorbeeld tijdens het monitoren van het AI-systeem met een hoog risico in het kader van de monitoringverplichting of door een melding van een exploitant of gebruiker nieuwe risico’s worden ‘ontdekt’. Indien die (hoge) risico’s zich afspelen op nationale schaal, heeft de AI-aanbieder een meldplicht. Zij zal onmiddellijk aan de bevoegde instanties kenbaar moeten maken dat er sprake is van een hoog risico wanneer zij hiervan op de hoogte raakt.

Basismodellen

Voor basismodellen geldt niet de verplichting tot het uitvoeren van een conformiteitsbeoordeling. Toch worden zij wel gehouden aan nagenoeg dezelfde verplichtingen die gelden voor aanbieders van AI-systemen met een hoog risico. Zo dient de aanbieder van een basismodel zich bijvoorbeeld te houden aan verplichtingen omtrent databeheer, cybersecurity, en de verplichtingen omtrent het beperken van eventuele risico’s. Ook gelden ten aanzien van de aanbieders van basismodellen nagenoeg dezelfde transparantie- en medewerkingsverplichtingen. Daarnaast dienen basismodellen – evenals geldt voor AI-systemen met een hoog risico – te worden geregistreerd in een openbare databank. Basismodellen verschillen enkel van deze systemen in het kader van de verplichting die ziet op het houden van menselijk toezicht, en het aanbrengen van een CE-markering: laatstgenoemde verplichtingen gelden niet voor aanbieders van basismodellen.

Exploitanten

De verplichtingen voor een AI-exploitant van een hoog risico systeem liggen in het verlengde van de verplichtingen voor eenzelfde AI-systeemaanbieder. Een aantal belangrijke verplichtingen worden hier kort uiteengezet.

De belangrijkste verplichting die geldt voor exploitanten van AI-systemen met een hoog risico is dat zij de nodige waarborgen moeten nemen om de gebruiksaanwijzingen, die een AI-aanbieder meelevert, op te volgen bij gebruik. Het is niet de bedoeling dat een AI-systeem dat is bestempeld met een hoog risico ineens wordt gebruikt voor totaal verschillende doeleinden dan dat de AI-aanbieder voor ogen had. Daarbij mogen zij natuurlijk niet afwijken van hun wettelijke verplichtingen. Zo moeten zij waarborgen dat de inputdata representatief is voor de uiteindelijke output die wordt gegenereerd. Dit is zodat er geen data wordt ingevoerd in het systeem die niet met de output samenhangt. Een voorbeeld zou zijn dat een bedrijf die graag AI wil inzetten om sollicitanten te beoordelen (een hoog risico), niet bijgevoegde CV’s zou gebruiken als inputdata, maar een post gevonden op Twitter (1).

Daarnaast geldt ook voor de exploitant dat zij de logs van de AI-activiteiten bewaart, een meldplicht heeft bij het intreden van een risico, de meldplicht aan de autoriteiten, transparantieverplichtingen heeft met betrekking tot de output, en een gevolgenbeoordeling uitvoert in het kader van de impact van het AI-systeem op grondrechten bij gebruik. Deze verplichtingen zijn vergelijkbaar met de verplichtingen die de AI-aanbieder heeft (waar de gevolgenbeoordeling vergelijkbaar is met de conformiteitsbeoordeling). Ten slotte dient zij ook een CE-markering aan te brengen wanneer het AI-systeem in lijn wordt bevonden met EU-regelgeving, indien dit nog niet was gebeurd. Let op: deze CE-markering wordt aangebracht op basis van een zogenaamde ‘self-assessment’ door de exploitant. Indien de CE markering niet wordt aangebracht wordt het AI-systeem non-conform bevonden, waarbij de Europese toezichthouder kan verzoeken om het gebrek te herstellen.

Laag risico

Aanbieders

De kwalificatie laag risico krijgen de overige AI-systemen (niet zijnde onaanvaardbaar of hoog risico) die een bepaalde interactie hebben met natuurlijke personen. Voor aanbieders van deze systemen gelden een stuk minder zware verplichtingen. Wel gelden er een aantal transparantievereisten. Zo moet het voor de menselijke gebruiker altijd duidelijk zijn dat hij met een AI-systeem te maken heeft. De chatbot is hier het bekendste voorbeeld van: een gebruiker dient te weten dat zijn gesprekspartner een AI-systeem is. In het geval van emotieherkenningssystemen of biometrische indelingssystemen die niet verboden zijn, is het ook van belang om aan de gebruiker duidelijk te maken hoe het systeem functioneert.

Generatieve AI-systemen

Aanbieders

Aanbieders van generatieve AI-systemen (AI-systemen die, vaak op basis van een tekstopdracht, een nieuw werk creëren, zoals een nieuwe tekst, een afbeelding of een muziekstuk) hebben ook bepaalde, specifieke verplichtingen die niet gebonden zijn aan een vastgesteld risico. Ten eerste zijn ook zij, omdat generatieve AI interactie biedt met natuurlijke personen, verplicht om transparant te zijn aan de gebruiker dat hij met een AI-systeem te maken heeft. Ten tweede rust op hen een verplichting om het systeem zo in te bouwen dat geen ‘content’ wordt gecreëerd die illegaal zou zijn om te laten zien of te verspreiden. Het genereren van een tekst die het volledige, auteursrechtelijk beschermde boek ‘The Crying of Lot 49’ van Thomas Pynchon weergeeft, moet daardoor worden voorkomen. Ten slotte (maar als meest ingrijpend) moet de AI-aanbieder een gedetailleerde samenvatting openbaar maken van de auteursrechtelijk beschermde werken die zijn gebruikt om het onderliggende (basis)model te trainen. Ook hieromtrent eist de AI-verordening dus transparantie.

Exploitanten en gebruikers

Generatieve AI kent ook verplichtingen ten aanzien van gebruikers hiervan. Dat geldt dus ook voor personen die het AI-systeem voor niet-commerciële doeleinden gebruiken. Het gaat met name om gebruikers die AI-systemen toepassen om zogenaamde ‘deepfakes’ te genereren. In de volksmond zijn dat video’s die echt lijken, maar nep zijn. Een bekend voorbeeld – één van de eerste deepfakes – is een video waarin oud-president Barack Obama een ironische speech geeft waarin hij mensen waarschuwt over valse berichtgeving en dat – zeker in het AI-tijdperk – niet alles op het internet geloofd kan worden. Volgens de AI-verordening is de definitie van een deepfake het volgende:

“Gemanipuleerde of synthetische audio-, beeld- of video-inhoud die ten onrechte authentiek of waarheidsgetrouw lijkt te zijn, en die voorstellingen bevat van personen die dingen lijken te zeggen of te doen die zij niet hebben gezegd of gedaan, geproduceerd met behulp van AI-technieken, waaronder machinaal leren en deep learning;”

Gebruikers die een dergelijke deepfake genereren zijn onder de Verordening verplicht bekend te maken dat het gaat om een werk dat is gegenereerd door een AI, evenals hun naam. Dat laatste kan anders zijn als het gaat om een duidelijke creatieve (kunstzinnige) of satirische uiting, of indien andere wettelijke regelingen en beginselen hieraan in de weg staan.

Voetnoten

(1) Natuurlijk kleven aan een dergelijke AI ook verscheidene juridische risico’s, welke te ver voeren om in deze blog te behandelen.