Auteur: mr. Lucas Haitsma
Er is steeds meer aandacht voor het gebruik van algoritmes bij handhaving in het sociaal domein. Vorige week werd dit thema belicht in een onderzoek van Investico en de NOS over de aanpak van DUO om fraude met uitwonende studiebeurzen vast te stellen.¹ Dit onderzoek toont aan dat er binnen de groep van studenten die beschuldigd wordt van fraude een oververtegenwoordiging is van studenten met een migratieachtergrond. 

De precieze oorzaak van de oververtegenwoordiging is niet bekend. Een paar bijzonderheden omtrent bias en discriminatie vielen mij echter op in het onderzoeksrapport. Ten eerste worden mbo-niveau en familierelatie als risico-indicatoren gebruikt. Het gebruik van deze indicatoren kan zorgen voor een –onbedoelde– selectie, en daarmee een oververtegenwoordiging, van specifieke groepen terwijl het verband tussen deze indicatoren en fraude niet is onderbouwd. Ten tweede: niet alle door het algoritme gegenereerde signaleren worden gecontroleerd, maar er ontbreken instructies om die selectie te maken. Dit betekent dat handhavers zelf keuzes moeten maken, wat ruimte biedt voor selectie op basis van vooringenomenheid. Ten slotte: de fraudeaanpak en de resultaten ervan worden niet getoetst op bias en discriminatie. 

Gezamenlijk kan dit ertoe leiden dat enkel specifieke groepen worden gecontroleerd en dat ook enkel hier fraude wordt geconstateerd. Dit vertekende beeld van fraudeplegers zorgt voor een discriminerende feedbackloop binnen de organisatie. Het zou echter ook beeldvorming over die groepen kunnen veroorzaken of bevestigen. 

De casus van DUO lijkt deel uit te maken van een breder patroon waarin handhavingsinstanties algoritmes gebruiken met discriminatie als gevolg. Zo werd een rechtszaak aangespannen om het gebruik van SyRI, een algoritmisch systeem dat werd gebruikt om risicosignalen van fraude te genereren, te stoppen.² De rechter oordeelde dat SyRI in strijd was met Europese wetgeving. De rechter merkte op dat de kans op discriminatie en stigmatisering hoog was. Ook de Belastingdienst gebruikte een algoritme om de kans op onrechtmatigheid en fraude bij toeslagen te berekenen. In 2018 kwam naar buiten dat duizenden ouders die kindertoeslag ontvingen onterecht waren geregistreerd als fraudeurs – ook wel de Toeslagenaffaire genoemd.³ Er is nadien aangetoond dat ook hier sprake was van discriminatie. Veel van die ouders hadden buitenlandse nationaliteiten en behoorden tot specifieke etnische minderheden. Een recenter voorbeeld is het algoritme van gemeente Rotterdam dat gebruikt werd om bijstandsfraude op te sporen.⁴ Uit de onderzoeksrapporten en testen is gebleken dat ook dit algoritme discrimineerde. In dit geval werd geselecteerd op basis van etniciteit en geslacht, wat zichtbaar was in de daaropvolgende controles. 

Deze casussen schetsen een duidelijk probleem, namelijk dat non-discriminatie onvoldoende wordt gewaarborgd door handhavingsinstanties die gebruikmaken van algoritmes. Het gevolg hiervan is dat specifieke groepen burgers herhaaldelijk slachtoffer zijn van discriminatie door de overheid. In deze cases zijn de discriminerende effecten van gedigitaliseerde fraudeaanpakken achteraf gesignaleerd door de media, de Autoriteit Persoonsgegevens, de Nationale Ombudsman of de rechter. Maar het achteraf constateren en herstellen van algoritmische discriminatie is ingewikkeld, kostbaar en tijdrovend. Burgers zouden niet afhankelijk moeten zijn van dergelijke ex-post mechanismen om hun grondrechten incidenteel te waarborgen. De overheid moet dit waarborgen door discriminatie te voorkomen. 

De bovengenoemde voorbeelden van algoritmische discriminatie laten zien dat er werk aan de winkel is voor de Nederlandse overheid. Instanties die gebruikmaken van algoritmes, moeten meer investeren in hun kennis over de risico’s die gepaard gaan met deze technologieën. Bovendien moeten deze instanties kritisch kijken naar hun eigen werkwijze en daarmee verantwoord gebruik van algoritmes stimuleren. Concreet betekent dit dat instanties duidelijke strategieën moeten opstellen om schendingen van het recht van non-discriminatie te voorkomen. In mijn promotieonderzoek kijk ik naar het ontstaan van algoritmische discriminatie, hoe dit voorkomen wordt en kan worden, en welke rol de wetgeving hierbij speelt. Ik hoop kennis op te doen die bijdraagt aan het voorkomen van algoritmische discriminatie binnen handhavingsinstanties.

¹Ersoy, S., & Van der Gaag, S. (2023, June 21). Studenten met Migratieachtergrond opvallend Vaak Beschuldigd van Fraude, minister Wil Systeem Grondig Nagaan. NOS.nl . https://nos.nl/op3/artikel/2479700-studenten-met-migratieachtergrond-opvallend-vaak-beschuldigd-van-fraude-minister-wil-systeem-grondig-nagaan 
² The Hague District Court, 5 February 2020, SyRI legislation in breach of European Convention on Human Rights, ECLI:NL:RBDHA:2020:1878.
³Tweede Kamer der Staten-Generaal, Verslag - Parlementaire ondervragingscommissie Kinderopvangtoeslag Ongekend onrecht. Tweede Kamer der Staten-Generaal 2020.
⁴Mehrotra, D., Braun, J.-C., Constantaras, E., & Geiger, G. (2023, March 6). Inside the suspicion machine. Wired. https://www.wired.com/story/welfare-state-algorithms/