Overheidsorganisaties & AI en algoritmes: denk aan de grondrechten en uw motivering!
Bent u een organisatie met een publieke taak? Houdt u zich bezig met besluitvorming die burgers direct raakt? En maakt u bij die besluitvorming gebruik van algoritmen (vaak AI-systemen)? Dan kan dat naar alle waarschijnlijkheid niet zomaar. Bij het toepassen van algoritmes bent u wettelijk verplicht er voor te zorgen dat u de grondrechten van burgers voldoende beschermt. De toeslagenaffaire is hier een belangrijke aanleiding voor geweest: het Nederlandse bestuursrecht kijkt steeds kritischer naar de manier waarop de overheid algoritmes inzet. Daar is het volgende, recente vonnis van de rechtbank Den Haag een voorbeeld van. In deze uitspraak oordeelde de rechter dat het Ministerie van Buitenlandse Zaken (BZ) niet adequaat omging met een algoritme om visumaanvragen te behandelen. Wat betekent deze uitspraak voor u, en waar moet u op letten als u besluit om algoritmes in te zetten?
Het IOB: een algoritme ter beoordeling van visumaanvragen
Sinds 2017 maakt BZ gebruik van het algoritme ‘Informatie Ondersteunend Beslissen’ (IOB) om aanvragen voor Schengenvisa te behandelen. Uit een rapport van Amnesty International blijkt dat IOB, als onderdeel van zijn analyse, een risicoprofiel maakt van visumaanvragers. Dit risicoprofiel bevat zeven kenmerken, waarvan één ‘nationaliteit’ is. Bepaalde nationaliteiten kunnen leiden tot een hogere risicoscore. BZ kan naar aanleiding van de risicoscore beslissen om de aanvraag intensiever te behandelen.
In de situatie die speelde in deze rechtszaak deed een Marokkaanse mevrouw een aanvraag voor een visum verkort kort verblijf. Zij verbleef in Egypte bij de familie van haar man. Haar man is Nederlander en woont ook in Nederland. Op een gegeven moment kreeg de man een hartaanval en wilde de mevrouw naar Nederland komen om hem te ondersteunen en verzorgen. BZ wees de aanvraag af om onder meer twee redenen. Ten eerste zou de mevrouw haar verblijfsdoel niet hebben aangetoond. Ten tweede zou er redelijke twijfel bestaan dat zij Nederland weer zou verlaten na het verstrijken van het visum. Bij de beoordeling paste BZ het algoritme IOB toe.
Waarom paste de overheid het IOB-algoritme verkeerd toe?
Geen transparantie en geen effectief rechtsmiddel
De vraag of de visumaanvraag terecht of onterecht is afgewezen, beantwoordt de rechtbank niet. Wel gaat zij in op de manier waarop BZ besloot IOB in te zetten en haar oordeel mee te nemen in het besluit. BZ heeft namelijk niet aan de mevrouw meegedeeld dat zij IOB had gebruikt. Daardoor heeft de mevrouw een informatieachterstand: zij kan zich niet goed verweren tegen het besluit, omdat zij niet de kennis heeft hoe dit tot stand is gekomen. Dat gaat in tegen het grondrecht van een ‘effectief rechtsmiddel’, aldus de rechtbank. BZ moet transparant zijn over de middelen die zij gebruikt bij haar besluitvorming om de informatieachterstand weg te werken (het zogeheten beginsel van ‘equality of arms’). Nu BZ dit niet heeft gedaan, is het besluit om de aanvraag af te wijzen onvoldoende gemotiveerd.
Geen grondrechtenbeoordeling uitgevoerd
Verder merkt de rechter het volgende op. Als BZ het IOB in wil zetten, moet zij eerst de gevolgen voor de grondrechten van burgers onderzoeken. Uit diverse rapporten (onder meer die van Amnesty, maar bijvoorbeeld ook van de Algemene Rekenkamer) blijkt namelijk dat er gevaar bestaat dat IOB discriminerend is en sprake kan zijn van etnisch profileren. Zij spoort de minister aan om een zogeheten Impact Assessment Mensenrechten en Algoritmes (IAMA) uit te voeren, als zij dit nog niet gedaan had. Een IAMA is een landelijk beoordelingskader die overheden helpt om algoritmen in te zetten op een verantwoorde manier. Pas na uitvoering van de IAMA kan de rechtbank oordelen of de afwijzing van de aanvraag onrechtmatig was.
Wat zegt de AI-verordening over algoritmes bij de overheid?
IOB-algoritme als mogelijk ‘hoog risico’-systeem
Een algoritme als IOB zou tevens een AI-systeem kunnen zijn in de zin van de recent in werking getreden AI-verordening. In dat geval is het waarschijnlijk ook een ‘hoog-risico’-systeem. AI-systemen die helpen bij de beoordeling voor visumaanvragen worden daar namelijk expliciet als zodanig vermeld. Dat betekent dat de instantie die dit AI-systeem inzet (de gebruiksverantwoordelijke) ook op grond van Europese wetgeving aan strenge eisen moet voldoen. De verplichtingen voor hoog risico-systemen treden echter pas in werking op 2 augustus 2026. De AI-verordening speelt hier dus niet direct, maar de manier waarop de rechter naar de kwestie keek is enigszins vergelijkbaar.
Verplichtingen voor overheidsorganisaties
In de AI-verordening staat onder meer dat de gebruiksverantwoordelijke hier transparant over is tegenover de persoon die het aangaat. Daarnaast bepaalt de wet ook dat overheidsinstanties, voordat zij een hoog risico-systeem inzetten, een effectbeoordeling op de grondrechten van burgers moeten uitvoeren. Om die reden zijn er gelijkenissen tussen de benadering van de rechter, en de regels in de AI-verordening. Het is belangrijk voor overheidsorganisaties om zich hiervan bewust te zijn.
- Zie voor meer informatie over de AI-verordening en ‘hoog risico-systemen’ deze blog.
- Zie voor meer informatie over de verplichtingen in de AI-verordening deze en deze blog.
In dit kader mag men ook de privacywetgeving niet vergeten. Ook op grond van de Algemene Verordening Gegevensbescherming (AVG) moet een organisatie transparant zijn over zijn toepassing van geautomatiseerde besluitvorming, met name over de persoonsgegevens die zij hiervoor gebruikt. Bovendien geldt op grond van de AVG een verbod op volledig geautomatiseerde besluitvorming, met uitzondering van een paar specifieke gevallen.
Hoe kunnen overheden verantwoord omgaan met algoritmes?
Juridische begeleiding regelgeving algoritmes
Ook al is de AI-verordening nog niet van kracht, dan nog laat de hierboven genoemde zaak zien dat u als overheidsorganisatie zorgvuldig moeten omgaan met algoritmes. De keuze om hiervan gebruik te maken vereist transparantie en – in het geval van dermate ingrijpende algoritmes – een vooronderzoek naar de invloed op de grondrechten van burgers. In dat kader mag men ook de privacywetgeving niet vergeten. Ook op grond van de Algemene Verordening Gegevensbescherming (AVG) moet een organisatie transparant zijn over zijn toepassing van geautomatiseerde besluitvorming, met name over de persoonsgegevens die zij hiervoor gebruikt. Bovendien geldt op grond van de AVG een verbod op volledig geautomatiseerde besluitvorming, met uitzondering van een paar specifieke gevallen.
De AI-verordening schrijft nu al wel voor dat uw medewerkers een bepaald niveau van AI-geletterdheid moeten hebben, als zij gebruik maken van AI. Zij moeten onder meer op de hoogte zijn van mogelijke bias in het AI-systeem en weten hoe deze op een verantwoorde manier kunnen inzetten. Deze verplichting geldt sinds 2 februari 2025.
Trainingen AI-geletterdheid
Wij bieden onder andere juridische ondersteuning aan overheden die voornemens zijn, of reeds gebruikmaken van algoritmes om ze te laten voldoen aan de geldende regelgeving. Daarnaast bieden wij ook AI-geletterdheidstrainingen aan. Met deze op maat gemaakte sessies brengen wij u op de hoogte van de gevaren van AI, de geldende wetgeving, en welke stappen u kunt ondernemen om aan de verplichtingen te voldoen. Ook hebben wij op dit vlak ervaring met overheidsorganisaties. Bent u geïnteresseerd? Klik dan op deze link voor meer informatie over trainingen, of neem contact op via dit formulier.
