Artificiële intelligentie (AI) ontwikkelt zich razendsnel. Voorbeelden van AI zijn ChatGPT, kunstgenerator DALL-E of AI-systemen die in staat zijn om bijvoorbeeld nieuwe muziek uit te brengen. In dat laatste geval kan niet worden onderscheiden of de muziek van de artiest zelf afkomstig is of niet. Andere voorbeelden zijn gezichtsherkenningssoftware of voice cloning via stem-imitatiesoftware. AI en de AI-toepassingen brengen veel (juridische) vragen met zich mee zoals: kunt u AI verantwoord binnen uw bedrijf inzetten? Hoe? Produceert u zelf een AI-systeem of wilt u AI inkopen en toepassen in uw bedrijfsprocessen? Aan welke juridische eisen moet u voldoen? Welke stakeholders moet u betrekken om compliant te zijn met de complexe en omvangrijke AI-verordening én de toepasselijke aanpalende regelgeving? Denk aan aanpalende regels m.b.t. data die wordt gebruikt bij de ontwikkeling en output van AI die voortvloeien uit de Algemene Verordening Gegevensbescherming (AVG), de Data Governance verordening (DGA) en de Dataverordening (DA). Daarnaast brengt de inzet en toepassing van AI ook diverse risico’s en gevaren met zich mee. Denk aan potentiële inbreuken op de privacy en /of auteursrechtschendingen. Wij zullen in een aantal opvolgende blogseries diverse juridische aspecten van AI bespreken. In deel 1 van deze blogserie over AI gaan wij allereerst in op de vraag welke AI-systemen onder de AI-verordening vallen en wat hun kwalificatie betekent voor de indeling in risico-categorieën.
Door Mirjam Elferink & Rik Groteboer
Inleiding
Als we de deskundigen moeten geloven zal de inzet van AI onze levens (blijvend) veranderen door bijvoorbeeld de gezondheidszorg te verbeteren (denk aan nauwkeuriger diagnoses en dus betere preventie van ziekten), de efficiëntie van productiesystemen (via voorspellend onderhoud) en bij te dragen tot de bestrijding van en aanpassing aan de klimaatverandering. Tegelijkertijd brengt AI een aantal (potentiële) risico’s met zich mee waaronder het risico op schending van de privacy of gebruik voor criminele doeleinden, een gebrek aan transparantie bij de besluitvorming, en /of bepaalde vormen van discriminatie. Maar wat is AI? AI is een verzamelnaam voor een snel evoluerende bundel van verschillende nieuwe (systeem-)technologieën met een grote impact op mens en maatschappij. Bij de ontwikkeling en toepassing van AI spelen diverse juridische aspecten een rol.
De Europese Unie heeft kenbaar gemaakt een wereldwijde voortrekkersrol te ambiëren bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie waarbij ethische beginselen worden gewaarborgd. Om snel in te spelen op deze razendsnelle technologische ontwikkelingen publiceerde de Europese Commissie daarom op 21 april 2021 haar voorstel voor een Wet op de Artificiële Intelligentie (AI-verordening).(1) Dit voorstel is inmiddels al diverse keren gewijzigd. Zoals het er naar uit ziet zal de AI-verordening begin - of mid-2024 - in werking treden, en vervolgens twee jaar na de inwerkingtreding rechtstreeks van toepassing zijn in de EU.
In deel 1 van deze blogserie bespreken wij allereerst de definities van de verschillende AI-vormen die onder de AI-verordening vallen. Dit doen wij vrij uitgebreid omdat organisaties moeten kunnen bepalen onder welk regime hun systeem zal vallen. Een belangrijk kernpunt van de AI-verordening is namelijk de zogeheten ‘risicogerichte’ benadering. Dit betekent dat niet elk AI-systeem aan dezelfde verzameling van (geharmoniseerde) regels wordt onderworpen, maar dat de toepasselijke regels worden bepaald door de omvang van het risico dat gepaard gaat met het betreffende AI-systeem. Daarbij heeft de AI-verordening een horizontaal karakter: deze is sector overstijgend. Dat betekent dat ongeacht de specifieke sector waarbinnen een AI-systeem wordt ingezet, de regels uit de AI-verordening van toepassing zijn. Om die reden bespreken we eerst de definities van AI en vervolgens bespreken wij het risicobeoordelingssysteem waarmee de aanbieders van de AI-systemen via o.a. self assessments een inschatting moeten maken van het risico en de bijbehorende verplichtingen.
In een volgende blog gaan we nader in op de specifieke verplichtingen voor aanbieders c.q. ontwikkelaars van AI alsmede op de vereisten waaraan de data sets waarmee AI-systemen getraind worden moeten voldoen. Ook zullen we daarin diverse privacy- en auteursrechtelijke aspecten behandelen. Wij zullen daarbij ook ingaan op hoe de AI-verordening zich zal verhouden tot de AVG, de DGA en de DA. De DGA en DA omvatten regels met betrekking tot data in de breedste zin des woords, waaronder ook data die persoonsgegevens bevatten en waarop daarnaast in ieder geval óók de AVG van toepassing is. Aangezien AI, zeker wanneer het gaat om het trainen van een model, gebruikmaakt van – soms enorme hoeveelheden – aan data, lijken de Europese rechtsontwikkelingen op dit gebied ook van belang te zijn voor aanbieders van AI-systemen. Daar komen wij in een volgende blog dus op terug.
AI-verordening
Deskundigen spreken over AI als systeemtechnologie, waarvan de impact vergelijkbaar is met die van de stoommachine en de computer destijds.(2) Hoewel AI zich niet eenvoudig laat definiëren, kan AI worden opgevat als door mensen ontwikkelde systemen (software of hardware) die met variabele niveaus van zelfstandigheid in staat zijn data te verwerken voor specifieke, complexe doelstellingen, met als uitkomst voorspellingen, aanbevelingen of geautomatiseerde beslissingen.(3)
In de AI-verordening wordt een regelgevend kader voor artificiële intelligentie voorgesteld met de volgende specifieke doelstellingen (4):
Definities: AI (Generatieve en General Purposes)-systemen en Basismodellen
De AI-verordening hanteert verschillende definities voor specifieke vormen van AI. Hierna bespreken we deze definities. De algemene definitie van een AI-systeem in het huidige tekstvoorstel (stand van zaken 21 september 2023) van de AI-verordening luidt als volgt:
AI-systeem:
“een machinaal systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat voor expliciete of impliciete doelstellingen output kan genereren, zoals voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de fysieke of virtuele omgeving”.(5)
Voorbeelden van AI die onder deze definitie vallen zijn bijvoorbeeld automatische aanbevelingssystemen, algoritmen die selecties maken ten aanzien van sollicitanten, en systemen die zien op het inschatten van bepaalde risico’s. Om vast te stellen of een bepaald systeem een ‘AI-systeem’ is volgens de nieuwe wetgeving, is in ieder geval belangrijk dat een AI-systeem opereert met een bepaalde mate van autonomie. Dat wil zeggen dat de output die het systeem genereert in bepaalde mate tot stand moet komen door factoren waar de menselijke gebruiker geen invloed op heeft. Het verschil is te illustreren aan de hand van een ‘traditionele’ zoekfunctie in een database, zoals een online catalogus van een bibliotheek, en een commerciële zoekmachine als Google en Bing.
Eerstgenoemde zoekfunctie is ontworpen om enkel overeenkomende resultaten weer te geven van hetgeen is opgevraagd, bijvoorbeeld een bepaalde titel of een verzameling van boeken van één bepaalde auteur. De zoekfunctie maakt daarbij geen rangschikking van de resultaten die hij vindt op basis van andere factoren dan de relevantie met de ingevoerde zoekterm. Het betreft daarom ‘kale’ output die niet los is te zien van de gebruiker. Google’s zoekalgoritmes beïnvloeden de resultaten echter voordat deze bij de eindgebruiker terechtkomen. De ontwerper heeft zelf ingesteld dat een aantal variabelen (waaronder advertentieomzet, klikgehalte, gebruikerslocatie etc.) meewegen bij het genereren van zoekresultaten. Zodoende maakt de zoekmachine gebruik van een bepaalde mate van autonomie, omdat de output afhankelijk is van factoren waarover de gebruiker geen zeggenschap heeft. Dat is anders bij een normale zoekfunctie, waar de output het directe resultaat is van de gegeven input.
Ten tweede is van belang dat output wordt gegenereerd. Deze output kenmerkt zich als ‘voorspellingen, aanbevelingen en beslissingen’. Onder ‘voorspellingen’ moet ook digitale inhoud worden verstaan.(6) Hiermee is een tekst die door ChatGPT is gegenereerd ook ‘output’ in de zin van de AI-verordening. Als voorbeeld van een (tot op zekere hoogte) autonome machine die geen ‘output’ genereert, kan worden gedachte aan een traditionele ‘roomba’, een automatische stofzuiger. De output hiervan is niet gebaseerd op voorspellingen, aanbevelingen en beslissingen, maar op basis van instellingen van de producent die stelt dat, door middel van sensoren, de stofzuiger van richting moet veranderen bij contact met een object. De traditionele roomba vertoont daarmee geen tekenen van cognitieve intelligentie, ook al handelt deze deels autonoom. Tegenwoordig zijn er roomba’s op de markt die door middel van laserscan en camera’s beslissingen kunnen maken over hoe zij het best de ruimte kunnen aanpakken.(7) Daarnaast leren zij al rijdende de inrichting van het huis, waardoor toekomstige stofzuigbeurten nog efficiënter verlopen. Deze beslissingen maken daardoor dat deze roomba’s waarschijnlijk wel vallen onder de definitie van AI-systemen.
Een ander belangrijk criterium uit de definitie van AI is dat de fysieke of de virtuele omgeving door het AI-systeem wordt beïnvloedt. De omgeving is in dat geval de fysieke of virtuele context waarin het AI-systeem zich bevindt en handelingen treft. Het is vooralsnog onduidelijk wat dit precies betekent, maar het lijkt erop dat hiervan snel sprake zal zijn wanneer aan de vorige twee voorwaarden is voldaan. Zo wordt volgens de tekst het enkele introduceren van nieuwe informatie aan deze omgeving(en) al gezien als ‘beïnvloeding’.(8) Dat kan in de praktijk erg ruim uitvallen. In het geval van de zoekmachine van Google wordt de omgeving beïnvloedt doordat de bovenstaande weergave ervoor kan zorgen dat hierop wordt geklikt. Dit hoeft niet het relevantste resultaat te zijn in vergelijking met de zoekopdracht van de gebruiker, maar door de plaatsing wordt de gebruiker toch beïnvloed hierop te klikken. De AI-roomba beïnvloedt eveneens de fysieke omgeving door op een erg efficiënte manier het huis te stofzuigen. En Dall-E beïnvloedt de omgeving door het ‘genereren’ van nieuwe informatie door een afbeelding te genereren die voorheen niet bestond. Of de term daadwerkelijk zo ruim moet worden geïnterpreteerd, is nog niet duidelijk.
De definitie van “AI-systeem” bevat aldus logischerwijs een belangrijk aanknopingspunt voor het bepalen van de reikwijdte van de AI-verordening. Deze zou erg breed uit kunnen gaan vallen, met als gevolg dat een veelheid aan toepassingen onder de reikwijdte van de AI-verordening zouden gaan vallen.
Nieuwe ontwikkelingen rond AI hebben de EU-wetgever genoodzaakt om de AI-verordening recentelijk bij te werken.(9) Er zijn o.a. nieuwe begrippen toegevoegd, waarvan met name ‘AI-systemen voor algemene doeleinden’, ‘basismodellen’ en ‘generatieve AI’ van belang zijn. (10) Voor een compleet beeld zullen wij deze ook even kort bespreken, en wat hun relatie is tot de definitie hierboven geschetst.
Tot wie richt de AI-verordening zich? Met andere woorden: welke partijen moeten zich er aan houden? De AI-verordening is van toepassing op aanbieders, gebruikers, gemachtigden, importeurs en distributeurs van AIsystemen.
AI-systemen voor algemene doeleinden
Dit zijn AI-systemen die kunnen worden gebruikt in en aangepast aan tal van toepassingen waarvoor deze niet doelbewust en specifiek zijn ontworpen. Deze definitie is vrij vaag, en lijkt vooralsnog voor de praktijk minder interessant.
Generatieve AI
Generatieve AI heeft de laatste tijd een stormachtige ontwikkeling doorgemaakt en wordt nu geassocieerd met AI-systemen als ChatGPT en Dall-E. Het betreft systemen die als specifiek doel hebben om met uiteenlopende mate van autonomie inhoud te genereren zoals complexe tekst, afbeeldingen, audio- of videomateriaal. Aan generatieve AI-systemen ligt, met de huidige stand van de techniek, altijd een zogeheten en hierna te bespreken basismodel ten grondslag. Basismodellen die specifiek worden gebruikt voor generatieve AI-systemen kennen ook weer speciale verplichtingen waar aanbieders aan dienen te voldoen. Deze speciale verplichtingen gelden ongeacht de daadwerkelijke risicobeoordeling van het betreffende generatieve AI-systeem. Generatieve AI-systemen zullen tevens in de meeste gevallen ook aan te merken zijn als AI-systemen voor algemene doeleinden.
Basismodellen / foundation models
Basismodellen zijn volgens de AI-verordening “AI-systeemmodellen die zijn getraind aan de hand van grootschalige gegevens, zijn ontworpen voor allerhande output en kunnen worden aangepast aan tal van uiteenlopende taken”. Hiermee moet een onderscheid worden gemaakt tussen het AI-systeem zelf en het onderliggende (basis)model. Basis)modellen gaan meestal schuil achter AI- systemen voor algemene doeleinden. Een voorbeeld: ChatGPT is een AI-systeem, maar het onderliggende ‘model’ is GPT-3.5 of 4, afhankelijk van welke versie wordt gebruikt. (Basis)modellen zijn met name belangrijk in het ontwikkelingsstadium: zij zijn het resultaat van een intensief trainingsproces, waardoor zij toepasbaar zijn voor een breed scala aan gevallen. Belangrijk te weten is dat de verplichtingen die zijn opgenomen voor ontwikkelaars en aanbieders van ‘basismodellen’ vergelijkbaar zijn met de verplichtingen van een ‘hoog risico-systeem’, waarover later meer.(11)
Risicobeoordeling AI-systemen
Even een opfrisser: in een eerder bericht informeerden wij over het toenmalige wetsvoorstel van de AI-verordening en de risicogerichte aanpak die zij hanteert. AI-systemen worden ingedeeld in vier verschillende risicogroepen: onaanvaardbaar risico, hoog risico, beperkt risico en minimaal risico. Afhankelijk van de risicogroep waar het AI-systeem onder valt, zijn verschillende regels en verplichtingen van toepassing. Hieronder is de toelichting uit ons eerdere nieuwsartikel opgenomen:
Voor deze hoog risicosystemen gelden strenge eisen en verplichtingen. Het belangrijkste vereiste voor hoog risicosystemen is de verplichting een keuring uit te voeren – en daarmee te controleren op alle verplichtingen – voordat het product in de markt gezet kan worden (conformiteitsbeoordeling). Hierbij moet er rekening mee gehouden worden dat AI-systemen die verwerkt zijn als veiligheidscomponent in bepaalde ‘gereguleerde’ producten (zoals speelgoed, liften en explosieven), altijd een hoog risico met zich mee brengen, indien er ook een conformiteitsbeoordeling nodig is voor het in de handel brengen van het betreffende (hoofd)product (en het product deze ook heeft ondergaan). Hierbij stelt de wet dus bij voorbaat vast dat deze AI-systemen vallen onder een hoog risico. De aanbieder hoeft in dat geval geen self assessment te verrichten.
Hoewel de risicogroepen niet zijn veranderd, zijn ze wel uitgebreid. De volgende AI-systemen zijn met de update van de AI-verordening ook aangemerkt als onaanvaardbaar en daarmee verboden:
In het kader van een potentieel hoog risico zijn ook aanbevelingssystemen gebruikt door zeer grote online platformen – platformen met een groot bereik in de EU zoals YouTube, Meta en de Amazon Store, vastgesteld door de Europese Commissie – en systemen die de keuze van burgers kunnen beïnvloeden tijdens politieke verkiezingen expliciet toegevoegd aan Bijlage III van het huidige voorstel van de AI-verordening.
Hoe kan nu worden vastgesteld of een AI-systeem is aan te merken als hoog risico? Indien de wet niet al voorschrijft dat een AI-systeem bij voorbaat een hoog risico vormt, zal de aanbieder daartoe zelf een inschatting moeten maken (self assessment).(12) Deze werkt in grote lijnen als volgt. Ten eerste zal hij na moeten gaan of zijn AI-systeem valt onder één van de gebruikssituaties als vermeld in Bijlage III van de AI-verordening, bijvoorbeeld AI-systemen voor recruitmentdoeleinden of AI-systemen ter selectie van personen voor onderwijsinstellingen. Vervolgens zal de aanbieder moeten nagaan of zijn AI-systeem een significant risico op schade voor de gezondheid, veiligheid of de grondrechten van ofwel personen ofwel het milieu met zich mee brengt. Hierbij spelen verschillende factoren een rol. Zo kan het beoogde doel van een AI-systeem een aanwijzing zijn dat het systeem een hoog risico vormt. Dat geldt ook voor de manier waarop de output wordt gebruikt in een daadwerkelijk besluit: is de output op zich al een besluit, of bestaat de output uit bijkomstige informatie op basis waarvan een mens een besluit dient te nemen? Ook kan het relevant zijn of, wanneer een risico zich daadwerkelijk manifesteert, de gevolgen eenvoudig ongedaan kunnen worden gemaakt. De Europese Commissie is voornemens om richtlijnen op te stellen aan de hand waarvan AI-systeemaanbieders kunnen beoordelen of hun systeem moet worden aangemerkt als hoog risico. AI-systeemaanbieders waarvan hun systeem wel valt onder de gebruikssituaties in Bijlage III van de Verordening, maar die toch van mening zijn dat deze geen significant risico vormt voor schade voor de gezondheid, veiligheid of de grondrechten van personen of het milieu, kunnen bij de bevoegde autoriteit gemotiveerd aangeven dat de verplichtingen voor hoog risico AI-systemen niet op hen van toepassing zijn. Aanbieders die hun AI-systeem verkeerd classificeren kunnen een (bestuurlijke) boete opgelegd krijgen.
Het vaststellen van het risico is niet altijd eenvoudig. Dat geldt met name voor AI-systemen voor algemene doeleinden. Omdat deze AI-systemen multifunctioneel zijn, zou per ‘gebruikssituatie’ moeten worden ingeschat wat en hoe hoog het betreffende risico is. Het is nog niet duidelijk of de EU aanspoort op een wettelijk stelsel waarin het vaststellen van één gebruikssituatie met hoog risico voldoende is om het hele AI-systeem als ‘hoog risico’ te bestempelen. AI-systemen voor algemene doeleinden zullen in meeste gevallen wel gefundeerd zijn op een basismodel. De daadwerkelijke verplichtingen die gelden voor basismodellen komen grotendeels overeen met de verplichtingen die gelden voor AI-systemen met een hoog risico. Met deze wetenschap, samen met de mogelijke boete bij een verkeerde classificatie van een AI-systeem, lijkt het – met de kennis van nu – verstandig om een AI-systeem voor algemene doeleinden niet snel af te doen als ‘geen hoog risico’, zodra potentiële gebruikssituaties overeenkomen met die uit Bijlage III van de AI-verordening.
Handhaving en toezicht
Zoals gezegd kan een boete worden opgelegd aan de AI-aanbieder wanneer hij onterecht van mening is dat zijn AI-systeem geen hoog risico vormt. Hetzelfde geldt voor andere overtredingen van de AI-verordening, zoals wanneer een AI-ontwikkelaar toch een verboden AI-systeem op de markt brengt, of wanneer niet wordt voldaan aan de wettelijke verplichtingen voor ofwel basismodellen ofwel AI-systemen met een bepaald risico. Deze boetes worden opgelegd door een nationale toezichthouder, al is nog niet bekend welke instantie deze rol op zich gaat nemen. Daarbij zal er ook een Europese toezichthouder worden opgericht: de European Artificial Intelligence Board. Hieraan zal ook de nationale toezichthouder deelnemen. Dit is vergelijkbaar met het systeem van toezicht onder de AVG. Datzelfde geldt voor het handhavingsregime. Ook dat is qua systematiek vergelijkbaar met de boetesystematiek in de AVG. Wat betreft de hoogte van de boete moet deze per geval worden vastgesteld, al zijn de maximale bedragen niet mis. De boete voor het aanbieden van een verboden AI-systeem kan oplopen tot 40 miljoen euro of 7% van de wereldwijd behaalde jaaromzet, waarbij de hoogste geldt. Dat is ook het geval voor het niet voldoen aan de verplichtingen voor aanbieders van AI-systemen met een hoog risico. Op overige overtredingen staat een maximale boete van 10 miljoen euro of 2% van de wereldwijde jaaromzet.(13) De nationale autoriteit kan daarnaast ook non-monetaire represailles opleggen, zoals het geven van een officiële waarschuwing.
Conclusie
In deze blog hebben wij een aantal verschillende vormen van AI omschreven die onder de AI-verordening vallen opdat organisaties in staat zijn om te bepalen onder welk 'systeem/regime van eisen en verplichtingen' hun AI-systeem/model waarschijnlijk zal komen te vallen. Vervolgens hebben we uitgelegd wat de risico gerichte benadering inhoudt en wat deze betekent voor de diverse vormen van AI. In een volgende blog gaan we nader in op de verplichtingen voor de aanbieders c.q. ontwikkelaars van AI. Ook zullen we in een latere blog ingaan op de vereisten waaraan de data sets waarmee AI-systemen getraind worden aan moeten voldoen en zullen we enkele privacy en auteursrechtelijke aspecten behandelen.
Voetnoten:
1 Voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie, Brussel, 21.4.2021, COM(2021) 206 final, 2021/0106(COD).
2 Wetenschappelijke Raad voor het Regeringsbeleid, Opgave AI. De nieuwe systeemtechnologie, Den Haag: WRR 2021, p. 128.
3 Definitie opgesteld door Anne Meuwese & Johan Wolswinkel, ‘Een Wet op de Artificiële Intelligentie? De Europese wetgever haalt de nationale in’, NJB 2022/ 92, p. 93 die deze definitie hebben ontleend aan M. Hoekstra, C. Chideock, A.F. Veenstra e.a., Quick scan AI in de publieke dienstverlening II, TNO, 20 mei 2021, waarin gemeenschappelijke elementen van meerdere gangbare definities van AI worden gepresenteerd.
4 Voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie, Brussel, 21.4.2021, COM(2021) 206 final, 2021/0106(COD).
5 Art. 3 onder 1 Voorstel voor een AI-verordening (EP).
6 Overweging 6 Voorstel voor een AI-verordening (EP).
7 Bizzaco, ‘How is an A.I. vacuum different from a robotic vacuum’, September 24, 2021, raadpleegbaar op digitaltrends.com.
8 Overweging 6 Voorstel voor een AI-verordening (EP).
9 P9_TA(2023)0236: De wet op de artificiële intelligentie – Amendementen van het Europees Parlement aangenomen op 14 juni 2023.
10 Het voert in dit bestek te ver alle amendementen te bespreken.
11 Hacker, Engel & Mauer, ‘Regulating ChatGPT and other Large Language Models’, ACM Working Paper 2023, p. 7.
12 Autoriteit Persoonsgegevens, ‘AP Inzet Artificial Intelligence Act’, 15 maart 2022, raadpleegbaar op autoriteitpersoonsgegevens.nl, p. 4.
13 Met uitzondering van het aanleveren van onjuiste en onvolledige informatie aan de bevoegde nationale of Europese autoriteit indien zij informatie opvraagt in het kader van de AI-verordening. In dat geval komt de maximale boete neer op 5 miljoen euro of 1% van de wereldwijde omzet.