Weet u of uw organisatie een AI-systeem gebruikt? Lees waarom het belangrijk is

Wanneer is een systeem een AI-systeem?

Sinds de inwerkingtreding van de Europese AI-verordening (Verordening (EU) 2024/1689, de ‘AI Act’) is het belangrijk om vast te stellen met welk systeem u werkt. Niet alleen de vraag of sprake is van een AI-systeem is van belang, ook de risicocategorie waarin het systeem valt is bepalend voor welke verplichtingen gelden. Lees onze eerdere blog over de transparantieverplichtingen uit de AI Act die per 2 augustus 2026 gelden.

De eerste vraag is daarom of uw systeem kwalificeert als AI-systeem in de zin van artikel 3 AI Act. Dat is niet elk systeem. Bepalend is of het systeem zelfstandig output genereert op basis van ontvangen input, zoals een voorspelling, een aanbeveling of een beslissing, en daarbij met verschillende niveaus van autonomie werkt.  

Volgt een systeem vaste regels, zonder een eigen vorm van autonomie en is de uitkomst daarvan eenvoudig herleidbaar tot de (zoek)opdracht, dan valt het vaak niet onder de definitie van een AI-systeem. De AI Act is dan niet van toepassing en voor uw organisatie gelden op grond van die verordening geen verplichtingen. 

Welke verplichtingen gelden voor uw AI-systeem

Is wel sprake van een AI-systeem, dan moet u vervolgens beoordelen welke verplichtingen gelden. Daarbij is de risicocategorie belangrijk. De verplichtingen hangen niet alleen af van de techniek van het systeem, maar ook van de manier waarop u het systeem inzet. Let daarbij op. Een AI-systeem kan op het eerste oog niet zo spannend lijken, maar als het voor een doel wordt gebruikt dat in de AI-Act als hoog risico is gekwalificeerd, gelden er alsnog vergaande verplichtingen. Een systeem dat u gebruikt voor HR-doeleinden (beoordelen sollicitanten bijvoorbeeld), voor onderwijsdoeleinden (nakijken toetsen, of plaatsen leerlingen) of voor biometrie (voor identificatie) is al snel een hoog risico-systeem, ook al gebruikt u daarvoor een relatief eenvoudige of veelgebruikte AI-tool.

Voor hoog risico systemen gelden aanvullende verplichtingen, bijvoorbeeld op het gebied van risicobeheer, technische documentatie en registratie van gebeurtenissen van het systeem (artikelen 9, 11 en 12 AI Act). De transparantieverplichting uit artikel 13 verdient daarbij bijzondere aandacht. Het systeem moet zo zijn ontworpen dat de werking ervan voldoende inzichtelijk is, zodat uw organisatie kan beoordelen wanneer de output van het systeem betrouwbaar is en wanneer niet. Is de werking van het systeem niet te volgen, een zogeheten ‘black box’, dan kan uw organisatie het niet op verantwoorde wijze inzetten.

Transparantieverplichtingen gebruik AI

Voor verschillende situaties bevat artikel 50 AI Act transparantieverplichtingen. Die verplichtingen zijn niet beperkt tot hoog-risico AI-systemen. Zo moet een gebruiker in bepaalde gevallen weten dat hij met een AI-systeem communiceert, bijvoorbeeld bij een chatbot voor klantenservice. Ook moet door AI gegenereerde of gemanipuleerde content in bepaalde gevallen als zodanig herkenbaar zijn. Welke transparantieverplichting precies geldt, hangt af van het type systeem en de toepassing ervan. 

Specifieke verplichtingen overheden 

Voor overheidsinstanties gelden bij de inzet van bepaalde hoog-risico AI-systemen bovendien specifieke verplichtingen. Zo moet een overheidsinstantie vóór het eerste gebruik onder omstandigheden een beoordeling uitvoeren van de gevolgen voor grondrechten, ook wel een fundamental rights impact assessment of FRIA genoemd. Ook kunnen registratieverplichtingen gelden. Of deze verplichtingen van toepassing zijn, hangt af van het soort systeem en de concrete inzet daarvan.

Als een overheid een systeem gebruikt bij het nemen van een beslissing, dan geldt onverkort de motiveringsplicht uit artikel 3:46 Awb. Die verplichting geldt ongeacht de kwalificatie of het doel van het systeem. Elk besluit moet namelijk deugdelijk worden gemotiveerd, ook als een digitaal systeem daaraan ten grondslag ligt.

Wanneer is een systeem geen AI-systeem?

Een recente uitspraak van de Rechtbank Den Haag van 2 september 2026 (ECLI:NL:RBDHA:2026:25209) laat zien hoe belangrijk het is om het systeem dat u gebruikt juist te kwalificeren; is het AI of niet? In deze uitspraak staat het gebruik van het digitale systeem ‘CaseMatcher’ door de IND centraal. Eisers voeren aan dat de IND bij de afwijzing van hun asielaanvraag CaseMatcher heeft ingezet, dat dit een geavanceerd AI-systeem is dat de besluitvorming heeft beïnvloed en dat de IND dit niet heeft vermeld in de bestreden besluiten. De beslismedewerker kan zich niet meer herinneren of hij CaseMatcher heeft gebruikt, waardoor de rechtbank ervan uitgaat dat dit het geval is. Toch slagen de vorderingen van eisers niet.

De rechtbank oordeelt dat CaseMatcher geen AI-systeem is in de zin van artikel 3 AI-Act, en ook geen complex algoritme of black box. Het programma is een simpele rule-based zoek- en vindtool waarmee IND-medewerkers eerder behandelde zaken kunnen raadplegen. Verder stelt de rechtbank dat CaseMatcher niet leert, redeneert of zelfstandige output genereert en dat de zoekresultaten volgens vaste regels komen vast te staan en logisch herleidbaar zijn. Daarmee valt het systeem buiten de reikwijdte van de AI-Act omdat het niet als een AI-systeem kan worden gekwalificeerd volgens de rechtbank. Ook oordeelt de rechtbank dat op de IND op grond van de AI Act geen transparantieverplichting rustte over het gebruik van CaseMatcher. De besluitvorming kwam niet door het systeem tot stand en de motivering werd er niet door gestuurd. 

Andere bestuursrechtelijke beginselen kunnen daarnaast een rol spelen, nu IND een overheidsorgaan is. Die laten we hier verder buiten beschouwing.

Wat betekent dit voor uw organisatie?

Organisaties die de verplichtingen uit de AI Act niet naleven, riskeren afhankelijk van de overtreding aanzienlijke boetes. Voor bepaalde overtredingen kan de boete oplopen tot 15 miljoen euro of, voor ondernemingen, tot 3 procent van de totale wereldwijde jaaromzet. 

Organisaties moeten daarom in kaart brengen welk type systeem zij gebruiken. Vervolgens moet beoordeeld worden of het systeem kwalificeert als AI-systeem. Is dat het geval, kijk dan welke risicocategorie van toepassing is en welke verplichtingen daaruit volgen. Let hierbij niet alleen op de techniek zelf, ook het doel waarvoor u het systeem inzet is bepalend voor de geldende verplichtingen. 

Voor overheden geldt bovendien altijd de motiveringsplicht uit artikel 3:46 van de Algemene wet bestuursrecht (Awb), ongeacht de kwalificatie van het systeem. Een besluit moet deugdelijk worden gemotiveerd, een systeem waarvan de werking niet uit te leggen is botst daarmee rechtstreeks.

Weet u niet zeker welk type systeem uw organisatie gebruikt, of twijfelt u over de verplichtingen die daaruit voortvloeien? Neem dan contact met ons op. Wij kijken graag met u mee.