Vooringenomenheid voorkomen

Nummer van technische audit

AA:2024:01:TA

Samenvatting

DUO selecteerde in onderzoek naar misbruik met de uitwonendenbeurs aanzienlijk vaker studenten die dicht bij hun ouder(s) woonden. Het algoritme dat ter ondersteuning van de selectie werd gebruikt functioneerde naar verwachting. De combinatie van het algoritme en handmatige selectie zorgde echter voor een grote oververtegenwoordiging van bepaalde groepen. Geselecteerde studenten werden thuis bezocht om te controleren of zij geen misbruik maakten. Dit is de belangrijkste conclusie van het onderzoek dat Stichting Algorithm Audit uitvoert in opdracht van DUO. Het controleproces van DUO kwam in 2023 in opspraak na berichtgeving van Investico en NOS, waarin werd vermeld dat studenten met een migratieachtergrond vaker dan andere studenten werden beschuldigd van misbruik.

Een persbericht kan hier worden gevonden.

Bron van de casus

Dienst Uitvoering Onderwijs (DUO)

Algoprudentie

Het volledige rapport (AA:2024:01:TA) kan hier worden gedownload.

    / [pdf]

Gefinancieerd door


Dienst Uitvoering Onderwijs (DUO)

Kabinetsreactie onderzoek naar controleproces uitwonendenbeurs

01-03-2024 politieke actie
Beschrijving

Rapport Vooringenomenheid voorkomen is als onderdeel van het Interne onderzoek van DUO verstuurd naar de Tweede Kamer.

DUO biedt excuses aan voor indirecte discriminatie bij controles op de uitwonendenbeurs

01-03-2024 persbericht
Beschrijving

Persbericht DUO

Reactie College Rechten van de Mens leeftijdsdiscriminatie

12-04-2024 reactie

Leeftijdsdiscriminatie

Een beleid, zoals een overheidsinstantie die fraude onderzoekt of een werkgever die nieuwe werknemers zoekt, kan bedoeld of onbedoeld leiden tot onderscheid tussen bepaalde groepen mensen. Als een organisatie dit onderscheid maakt op gronden die wettelijk beschermd zijn, zoals geslacht, afkomst, seksuele oriëntatie, of een handicap of chronische ziekte, en hiervoor is geen goede, rechtvaardigende reden voor te geven is, dan maakt de organisatie verboden onderscheid. We spreken dan van discriminatie. 

En leeftijd dan? Zowel het Rotterdamse als het DUO-algoritme waar Algorithm Audit onderzoek naar deed, maakte daar onderscheid op. Toch is er in die gevallen geen sprake van leeftijdsdiscriminatie. 

De gelijkebehandelingswetgeving kent ook een verbod op onderscheid naar leeftijd. Een sollicitant zomaar weigeren voor een baan omdat diegene te oud is, mag dus niet. Maar de wetgeving rond leeftijdonderscheid laat wel meer ruimte voor een rechtvaardigend argument dan de eerdergenoemde persoonskenmerken. Dit geldt zeker als het algoritme niet gaat over arbeidskwesties.  In het geval van opsporing van bijstandsfraude of misbruik van studiefinanciering is het daarom niet per se verboden dat een algoritme iemands leeftijd meeneemt. Toch zal er wel een duidelijk verband moet zijn tussen leeftijd en het doel van het algoritme. Zolang niet is aangetoond dat iemands leeftijd de kans vergroot op misbruik of fraude mag je leeftijd evengoed niet laten meewegen in de algoritmische selectie. Als het bijvoorbeeld gaat om een Wajong-uitkering die je alleen tot een bepaalde leeftijd mag aanvragen, dan is er wel een duidelijk verband, en dan zou een algoritme daar wel naar kunnen kijken.

Reageer op deze technische audit

Uw reactie wordt verstuurd naar het auditing team. Het team leest de reactie en, indien het verenigbaar is met Algorithm Audit’s richtlijnen voor publicatie, wordt de reactie geplaatst in bovenstaande Discussie & debat sectie.

* verplicht

Nieuwsbrief

Blijf op de hoogte van ons werk door je in te schrijven voor onze nieuwsbrief

Nieuwsbrief

Blijf op de hoogte van ons werk door je in te schrijven voor onze nieuwsbrief

Publieke kennisopbouw voor ethische algoritmes