DEN HAAG – DUO selecteerde in onderzoek naar misbruik met de uitwonendenbeurs aanzienlijk vaker studenten die dicht bij hun ouder(s) woonden. Het algoritme dat ter ondersteuning van de selectie werd gebruikt functioneerde naar verwachting. De combinatie van het algoritme en handmatige selectie zorgde echter voor een grote oververtegenwoordiging van bepaalde groepen. Geselecteerde studenten werden thuis bezocht om te controleren of zij geen misbruik maakten. Dit is de belangrijkste conclusie van het onderzoek dat Stichting Algorithm Audit uitvoert in opdracht van DUO. Het controleproces van DUO kwam in 2023 in opspraak na berichtgeving van Investico en NOS, waarin werd vermeld dat studenten met een migratieachtergrond vaker dan andere studenten werden beschuldigd van misbruik.

Studenten die dicht bij hun ouder(s) stonden ingeschreven zijn aanzienlijk vaker geselecteerd voor een huisbezoek. DUO beslist naar aanleiding van dergelijke controles of er misbruik is gemaakt van de uitwonendenbeurs. Deze afwijkijking is veel groter dan wanneer uitsluitend het regel-gebaseerde algoritme zou zijn gevolgd dat de Dienst Uitvoering Onderwijs (‘DUO’) gebruikte om in de periode 2012-2022 aan alle uitwonende studenten (ruim 500.000) een risicoscore toe te kennen. Voor de hand ligt dat specifieke werkinstructies – die aansporen tot het handmatig selecteren van studenten die nabij het ouderlijk adres staan ingeschreven – hier de oorzaak van zijn. Dat is de belangrijkste conclusie van het rapport Vooringenomenheid voorkomen van Stichting Algorithm Audit dat op 1 maart 2024 naar de Tweede Kamer is gestuurd. 

Uit het onderzoek volgt verder onvoldoende statistisch verband tussen een aantal selectiecriteria die in het door DUO gehanteerde risicotaxatie-algoritme zijn gebruikt (te weten onderwijsvorm en leeftijd). Voor het selectiecriterium afstand tot ouder(s) is wel statistisch bewijs voor een verband met onrechtmatigheid gevonden. Deze resultaten zijn gebaseerd op een statistische analyse van misbruikcontrole op basis van aselecte steekproeven uit 2014 en 2017. Ook stelt Stichting Algorithm Audit vast dat het gebruikte algoritme niet voldoet aan de eisen die op dit moment worden gesteld aan door de Nederlandse overheid gebruikte algoritmes. Op verzoek van DUO is aan deze nieuwste normen voor het gebruik van algoritmes door de overheid getoetst. Zo ontbreekt er een gedegen onderbouwing van keuzes die tijdens het ontwerp van het algoritme zijn gemaakt. Daarnaast is niet gebleken van onderzoek naar mogelijke indirecte vooringenomenheid van het gebruikte algoritme, noch bij het opstellen, noch bij het gebruik ervan.

In opdracht van DUO doet de Stichting Algorithm Audit onafhankelijk onderzoek naar het controleproces uitwonendenbeurs. Aanleiding is dat studenten met een migratieachtergrond vaker worden beschuldigd van misbruik met studiefinanciering. Of de groep die bovenmatig vaak is geselecteerd voor een huisbezoek inderdaad ook bovenmatig vaak een migratieachtergrond heeft zal blijken uit vervolgonderzoek dat op dit moment wordt uitgevoerd. Hierbij gebruikt Stichting Algorithm Audit data die zijn opgevraagd bij het Centraal Bureau voor de Statistiek (CBS) om het percentage studenten per herkomstland te meten gedurende het gehele controleproces. Publiek toegankelijk data – zoals migratiestatistieken per postcodegebied of de gemiddelde afstand die bepaalde demografische groepen tot hun ouder(s) wonen – is volgens Stichting Algorithm Audit te onnauwkeurig om voor dit gevoelige onderzoek te gebruiken. Het is wat Stichting Algorithm Audit dan ook te vroeg om te kunnen concluderen of studenten met een migratieachtergrond inderdaad benadeeld zijn, al is van het tegendeel in het onderzoek ook niet gebleken. Stichting Algorithm Audit stelt wel vast dat er niet is gebleken van directe discriminatie op basis van migratieachtergrond in het algoritme.

De uitkomsten van de onderzoeken worden gebruikt om te bepalen of risicoprofilering in de toekomst verantwoord kan worden ingezet om misbruik met de uitwonendenbeurs op te sporen. Dit is relevant aangezien de uitwonendenbeurs sinds dit studiejaar is geherintroduceerd voor studenten die op kamers wonen en een hogere beroepsopleiding of wetenschappelijke opleiding volgen. DUO en Stichting Algorithm Audit blijven in 2024 samenwerken om de resultaten van de onderzoeken samen met verschillende maatschappelijke belanghebbenden te interpreteren. Momenteel selecteert DUO studenten alleen willekeurig voor controle.

Het volledige rapport Vooringenomenheid voorkomen (AA:2024:01) kan hier worden gevonden.

01-03-2024

DEN HAAG – Staatssecretaris Alexandra van Huffelen heeft op 29 november het adviesrapport aangenomen met daarin concrete normen voor de verantwoorde inzet van algoritmes. Stichting Algorithm Audit stelde een onafhankelijke commissie samen van experts die advies uitbrengt om oneerlijke behandeling te voorkomen bij bijstandsheronderzoek. De aanleiding voor het opstellen van het advies is het controversiële risicomodel dat gebruikt is door de Gemeente Rotterdam tot 2021.

Wanneer de gemeente onderzoekt of bijstandsgerechtigden nog wel recht hebben op bijstand wordt soms gebruik gemaakt van algoritmische profilering. Het adviesrapport, opgesteld door vertegenwoordigers van de Ombudsman van Amsterdam en Rotterdam, verschillende academici, en een wethouder uit Tilburg, adviseert dat onder andere postcode, het aantal kinderen en laaggeletterdheid niet meer als kenmerk gebruikt mag worden voor profilering. Eerder is gebleken dat profilering in de context van de bijstand kan leiden tot discriminatie. De onafhankelijke commissie stelt dat er ook andere ethische bezwaren kleven aan algoritmische profilering. Sommige zelflerende algoritmes zijn namelijk te ingewikkeld om de beslissingen nog goed aan de burger te kunnen uitleggen. De commissie adviseert daarom om bepaalde algoritmes niet meer te gebruiken.

Het advies is gericht aan alle 340 Nederlandse gemeenten. Het advies vormt een onderdeel van de ‘algoprudentie’ die Stichting Algorithm Audit ontwikkelt om samen met experts en diverse belangengroepen tot concrete normen te komen voor de verantwoorde inzet van algoritmes. Stichting Algorithm Audit is een onafhankelijk kennisplatform voor ethische algoritmes en AI en wordt ondersteund door het European AI&Society Fund, het SIDN fonds en het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.

29-11-2023