Vooringenomenheid voorkomen
Nummer van technische audit
AA:2024:01:TA
Samenvatting
DUO selecteerde in onderzoek naar misbruik met de uitwonendenbeurs aanzienlijk vaker studenten die dicht bij hun ouder(s) woonden. Het algoritme dat ter ondersteuning van de selectie werd gebruikt functioneerde naar verwachting. De combinatie van het algoritme en handmatige selectie zorgde echter voor een grote oververtegenwoordiging van bepaalde groepen. Geselecteerde studenten werden thuis bezocht om te controleren of zij geen misbruik maakten. Dit is de belangrijkste conclusie van het onderzoek dat Stichting Algorithm Audit uitvoert in opdracht van DUO. Het controleproces van DUO kwam in 2023 in opspraak na berichtgeving van Investico en NOS, waarin werd vermeld dat studenten met een migratieachtergrond vaker dan andere studenten werden beschuldigd van misbruik.
Een persbericht kan hier worden gevonden.
Bron van de casus
Dienst Uitvoering Onderwijs (DUO)
Algoprudentie
Het volledige rapport (AA:2024:01:TA) kan hier worden gedownload.
Kabinetsreactie onderzoek naar controleproces uitwonendenbeurs
Beschrijving
Rapport Vooringenomenheid voorkomen is als onderdeel van het Interne onderzoek van DUO verstuurd naar de Tweede Kamer.
DUO biedt excuses aan voor indirecte discriminatie bij controles op de uitwonendenbeurs
Beschrijving
Persbericht DUO
Reactie College Rechten van de Mens leeftijdsdiscriminatie
Leeftijdsdiscriminatie
Een beleid, zoals een overheidsinstantie die fraude onderzoekt of een werkgever die nieuwe werknemers zoekt, kan bedoeld of onbedoeld leiden tot onderscheid tussen bepaalde groepen mensen. Als een organisatie dit onderscheid maakt op gronden die wettelijk beschermd zijn, zoals geslacht, afkomst, seksuele oriëntatie, of een handicap of chronische ziekte, en hiervoor is geen goede, rechtvaardigende reden voor te geven is, dan maakt de organisatie verboden onderscheid. We spreken dan van discriminatie.Â
En leeftijd dan? Zowel het Rotterdamse als het DUO-algoritme waar Algorithm Audit onderzoek naar deed, maakte daar onderscheid op. Toch is er in die gevallen geen sprake van leeftijdsdiscriminatie.Â
De gelijkebehandelingswetgeving kent ook een verbod op onderscheid naar leeftijd. Een sollicitant zomaar weigeren voor een baan omdat diegene te oud is, mag dus niet. Maar de wetgeving rond leeftijdonderscheid laat wel meer ruimte voor een rechtvaardigend argument dan de eerdergenoemde persoonskenmerken. Dit geldt zeker als het algoritme niet gaat over arbeidskwesties. In het geval van opsporing van bijstandsfraude of misbruik van studiefinanciering is het daarom niet per se verboden dat een algoritme iemands leeftijd meeneemt. Toch zal er wel een duidelijk verband moet zijn tussen leeftijd en het doel van het algoritme. Zolang niet is aangetoond dat iemands leeftijd de kans vergroot op misbruik of fraude mag je leeftijd evengoed niet laten meewegen in de algoritmische selectie. Als het bijvoorbeeld gaat om een Wajong-uitkering die je alleen tot een bepaalde leeftijd mag aanvragen, dan is er wel een duidelijk verband, en dan zou een algoritme daar wel naar kunnen kijken.
Reageer op deze technische audit
Uw reactie wordt verstuurd naar het auditing team. Het team leest de reactie en, indien het verenigbaar is met Algorithm Audit’s richtlijnen voor publicatie, wordt de reactie geplaatst in bovenstaande Discussie & debat sectie.