Verstandige doorontwikkeling en toepassing van digitale technologieën
Kansen en risico’s
De razendsnelle ontwikkeling en samenkomst van veel technologieën heeft geleid tot een nieuwe fase in de digitale samenleving. Overheden, bedrijven en organisaties verzamelen, verwerken en combineren steeds meer gegevens over ons en ons doen en laten.1 Met de komst van Big Data is ook kunstmatige intelligentie in een stroomversnelling geraakt. Slimme algoritmes zoeken als cruciale bouwstenen voor het functioneren van andere digitale technologieën2, patronen en verbanden. Ze kunnen zelfs voorspellingen doen over menselijk handelen.
De potentiële voordelen van deze technologieën voor zowel burgers en economie als de rechtsstaat zijn talrijk en groot. Te denken valt bijvoorbeeld aan toepassingen op het terrein van de geneeskunde, mobiliteit, klimaat, efficiënte uitvoering van wetgeving en beleid, (rechts)handhaving en onderzoek. Deze toepassingen kunnen bijdragen aan de verwezenlijking van grondrechten. Tegelijkertijd brengen nieuwe technologische ontwikkelingen ook nieuwe uitdagingen en risico’s voor de waarden van de rechtsstaat met zich mee. Het recht om niet gediscrimineerd te worden, het recht op eerbiediging van de persoonlijke levenssfeer en de plicht van de overheid om transparant te zijn en zich te verantwoorden voor genomen besluiten, kunnen onder druk komen te staan. De Wetenschappelijke Raad voor het Regeringsbeleid merkte al enige jaren geleden op dat burgers steeds transparanter worden voor de overheid, terwijl de profielen, algoritmes en methoden die overheidsorganisaties gebruiken, nauwelijks inzichtelijk en navolgbaar zijn voor burgers.3 Schrijnende voorbeelden van wat er mis kan gaan, zijn de toepassing van het Systeem Risico Indicatie (Syri) waarmee de overheid fraude bestreed op het vlak van uitkeringen4 en de toepassing van algoritmes in het kader van de kinderopvangtoeslagen.
De aantasting van publieke waarden wordt mede in de hand gewerkt door het grote vertrouwen in technologie. Aan algoritmes wordt veel autoriteit toegekend, omdat deze worden beschouwd als objectief, in tegenstelling tot de mens die vooroordelen heeft en over een beperkt blikveld beschikt. Maar algoritmes worden door mensen vormgegeven en gevoed met per definitie beperkte datasets. Daarmee zijn ook algoritmische uitkomsten niet (geheel) neutraal.
Niettemin is het onmiskenbaar zo dat algoritmes de taken van de overheid kunnen faciliteren en conclusies kunnen trekken die van grote waarde zijn. Zo kunnen ze helpen bij het onderzoeken van de leefbaarheid van wijken, bij het berekenen van belastingen of bij het opsporen van fraude.
Essentieel is daarom een zo goed mogelijke samenwerking tussen mens en machine. Data en berekeningen moeten naast, en niet in plaats van, menselijke ervaring, intuïtie, overleg en informele processen bestaan, waarbij de mens het laatste woord heeft en verantwoording kan afleggen. Het kritisch vermogen van professionals en hun inzicht in softwarematige gegevens en voorspellingen zullen verder moeten worden gestimuleerd. Zo kan worden voorkomen dat zij een onevenredig groot gewicht toekennen aan de uitkomst van het algoritme en invulling kunnen geven aan het wettelijk recht op een menselijk oordeel bij besluiten.
Cruciaal is verder dat de overheid aan de publieke waarden transparantie en accountability inhoud geeft door inzicht te bieden in welke data worden vergaard, hoe het algoritme werkt, waar het wordt ingezet en voor welk doel. Transparantie bevordert het kritisch nadenken over de gemaakte keuzes en het gebruik. Onderzoek laat immers zien dat de inzet van voorspellende algoritmes soms onbedoeld bestaande sociale ongelijkheid kan vergroten5, bijvoorbeeld als een algoritme om criminaliteit te voorspellen, alleen in bepaalde stadwijken wordt ingezet. Wanneer daar intensievere controles plaatsvinden en de opbrengsten daarvan weer in het systeem worden ingevoerd, zal de focus op deze wijken alleen maar toenemen zonder dat er daadwerkelijk sprake hoeft te zijn van een toename aan criminaliteit.
Kritisch nadenken over het gebruik en de inzet van technologische oplossingen betekent ook het soms afzien daarvan. Niet alles wat technologisch mogelijk wordt, is immers maatschappelijk wenselijk. Juist de overheid – wetgever én bestuursorganen – draagt een grote verantwoordelijkheid in de afweging van wat kan en niet kan. Zo staat het recht op privacy bijvoorbeeld niet per se tegenover veiligheid, maar kan daaraan juist bijdragen. In de rechtsstaat moet permanent worden gezocht naar een juiste balans. De wetgever moet ‘aan de voorkant’ waarborgen dat digitalisering op een adequate en verantwoorde wijze wordt gereguleerd en burgers tegen ongewenste gevolgen worden beschermd. Het is vervolgens aan de rechter om daadwerkelijke ongewenste gevolgen te signaleren en te corrigeren. Mocht dat nodig zijn, dan kan de wetgever daarna de regels aanpassen.
Wetgeving en rechtspraak
In de afgelopen jaren zijn verschillende belangrijke innovatieve stappen gezet, deels op nationaal vlak en deels op het niveau van de Europese Unie en de Raad van Europa. De Tweede Kamer heeft een vaste commissie voor Digitale Zaken ingesteld en de Eerste Kamer een werkgroep artificiële intelligentie binnen de vaste commissie voor Justitie en Veiligheid. Zo kan worden bijgedragen aan een goed begrip en betere sturing van de medewetgever van digitale transities. Het gaat daarbij om digitalisering als onderwerp van regelgeving maar ook als instrument van overheidshandelen. Binnen de rijksoverheid is een Impact Assessment voor mensenrechten bij de inzet van algoritmes ontwikkeld (IAMA) en een werkagenda Waardengedreven Digitaliseren opgesteld.6
De Raad van State heeft eerder al in een gezamenlijke publicatie van de beide Afdelingen advisering en bestuursrechtspraak over digitalisering aanbevelingen gedaan voor wet- en regelgeving en voor de bestuursrechtspraak.7 Van groot belang is dat burgers in de gelegenheid zijn om kennis te nemen van de gegevens die de overheid over hen bewaart of gebruikt en dat zij deze tijdig en eenvoudig kunnen corrigeren. Onnodige gegevens moeten zij uit overheidssystemen kunnen laten verwijderen. Ook heeft de Raad van State een recht op informatie aanbevolen dat behelst dat in een besluit staat of gebruik wordt gemaakt van algoritmen en hoe daarover informatie kan worden verkregen. Besluiten moeten immers controleerbaar en navolgbaar zijn. De wijze van geautomatiseerde uitvoering kan even bepalend zijn als de inhoud van de wet zelf. Dit betekent ook dat de overheid de kennis in huis moet hebben om zicht te houden op overheidssystemen die door private partijen worden uitgevoerd. De wetgever moet digitale techniek al in een vroeg stadium in zijn overwegingen betrekken. Wat voor alle wetgeving geldt, geldt ook voor digitaliseringsregels: een verantwoorde uitvoering begint met zorgvuldige invoering. Het verdient ook aanbeveling om in hoofdstuk 4 van de Algemene wet bestuursrecht (Awb) een nieuwe titel op te nemen over algoritmische besluitvorming. Het bestuursprocesrecht kan ook meer op deze vormen van besluitvorming worden toegesneden.
Het handelen van bestuursorganen tegenover burgers en bedrijven wordt genormeerd door het geschreven bestuursrecht en diverse ongeschreven algemene beginselen van behoorlijk bestuur. Bij algoritmische besluitvorming zijn zorgvuldigheid, motivering, gelijkheid en evenredigheid belangrijk. Hiernaast zou het wenselijk zijn om een recht op toegang en zinvol contact met de overheid als een nieuw beginsel van behoorlijk bestuur te ontwikkelen.8 In verschillende uitspraken heeft de Afdeling bestuursrechtspraak een toetsingskader uiteengezet voor een informatieplicht bij het gebruik van rekenmodellen.9 Zo’n kader wordt inmiddels ook elders gehanteerd.10 Of algoritmische besluitvorming in de Awb wordt verankerd, staat overigens nog te bezien. Vooralsnog meent de regering dat dit thema nog onvoldoende is uitgekristalliseerd om wetgevend op te treden, maar reflectie wordt gestimuleerd. Daarbij wordt ook op vergelijkbare ontwikkelingen in Frankrijk en België gewezen.11 Het zou dienstbaar zijn als ook in ons land op korte termijn helderheid wordt verkregen.
Voor wetgeving om de rechtsstaat ook in dit digitale tijdperk overeind te houden, zijn de verordeningen die in het kader van de Europese Unie zijn overeengekomen van groot belang, zoals de Wet digitale diensten, de Wet digitale markten en meest recent de AI-verordening om AI-innovaties te reguleren. De AI-verordening is het eerste uitgebreide rechtskader voor artificiële intelligentie ter wereld. Zij gaat uit van een op risico gebaseerde aanpak: systemen en toepassingen die een onaanvaardbaar risico meebrengen, worden verboden. Dit geldt bijvoorbeeld voor social scoring door overheden of bedrijven, bepaalde toepassingen voor voorspellend politieonderzoek (predictive policing) of emotieherkenning op de werkplek. AI-systemen die niet als onaanvaardbaar maar wel als hoog risico worden aangemerkt, moeten voldoen aan strenge eisen; dit geldt bijvoorbeeld voor AI-toepassingen in kritieke infrastructuur, zoals water, gas, elektriciteit en medische hulpmiddelen. Het overgrote deel van de AI-systemen of -toepassingen beslaat de categorie minimaal risico, waarvoor geen bijzondere verplichtingen bestaan.
Ook de Raad van Europa werkt aan het opstellen van regels: een kaderverdrag over AI, mensenrechten, democratie en rechtsstaat.12 Daarnaast zijn er diverse internationale richtsnoeren en rapporten uitgebracht die onderling veel overlap vertonen.13 Een aantal principes wordt in vrijwel alle rapporten genoemd: privacybescherming, fairness (inclusief non-discriminatie en rechtvaardigheid), accountability en transparantie.14
Tot slot kennen sommige grote bedrijven dergelijke principes en ethical boards om op de naleving daarvan toe te zien. Gegeven de aard van de principes en het karakter van zelfbinding lenen de meeste zich niet voor rechtstreekse toetsing door de rechter, maar ze dragen wel bij aan een verstandige inzet van technologische toepassingen of juist het afzien daarvan.
Een actieve houding
Evident is dat veel relevante instituties binnen de rechtsstaat lang, vaak te lang, terughoudend zijn geweest om zich intensief met de digitale ontwikkelingen te bemoeien. Deels gebeurde dit omdat men twijfelde aan de eigen kennis daarover, deels om de zich op volle snelheid voltrekkende technologische vernieuwingen niet te blokkeren of te vertragen, en deels omdat er wellicht een te groot vertrouwen bestond in technologie als drijfkracht voor de toekomst. Gelet op hiervoor beschreven ontwikkelingen, is die fase inmiddels voorbij. Met het oog op het algemeen belang en de daarbij relevante publieke waarden als non-discriminatie, privacy, zorgvuldigheid, transparantie en verantwoording, bestaat er een breed gedragen inzicht dat het geboden is wenselijke ontwikkelingen van kaders te voorzien en onwenselijke ontwikkelingen bij te sturen of te begrenzen. Voor de materiële legitimatie en acceptatie van de democratische rechtsstaat is dit van het grootste belang. De rechtsstaat is immers niet op het verleden, maar op een duurzame toekomst gericht en moet ook zo zijn ingericht. Van de wetgevende, de uitvoerende en de rechterlijke macht mag op dit punt een actieve houding worden gevraagd, in interactie met burgers, bedrijven, maatschappelijke organisaties en internationale respectievelijk Europese gremia.