DEN HAAG – In de controle op rechtmatig gebruik van studiefinanciering voor uitwonende studenten controleerde DUO aanzienlijk vaker studenten met een niet-Europese migratieachtergrond. Hieruit blijkt een onbewuste vooringenomenheid van het controleproces van DUO. Studenten met een niet-Europese migratieachtergrond kregen een hogere risicoscore toegekend door een risicoprofiel en werden vaker handmatig geselecteerd voor een huisbezoek. Dit blijkt uit vervolgonderzoek dat stichting Algorithm Audit heeft uitgevoerd in opdracht van DUO en op 22 mei door de minister aan de Tweede Kamer is verstuurd. De onderzoeksresultaten versterken het beeld van eerder onderzoek, op basis waarvan de minister op 1 maart 2024 namens het kabinet zijn excuses heeft aangeboden voor indirecte discriminatie in het controleproces.

DUO verzocht Algorithm Audit om vervolgonderzoek te doen op basis van gedetailleerde data die het CBS heeft verstrekt over de herkomst van meer dan 300.000 studenten in de periode 2014-2022. Deze data maakt mogelijk om de vooringenomenheid van het controleproces precies te meten. De vooringenomenheid betekent dat er een oververtegenwoordiging van studenten met een niet-Europese migratieachtergrond ontstaat als (onbedoeld) effect van de wijze waarop het controleproces is opgezet.

Het onderzoek stelt vast dat de vooringenomenheid ontstaat in verschillende stappen van het controleproces. Zowel door het gebruikte risicoprofiel als de handmatige selectie daarna werden studenten met een niet-Europese migratieachtergrond vaker geselecteerd voor controle. Ook al speelde de herkomst van studenten geen directe rol in het controleproces van DUO, er ontstaat een indirecte vooringenomenheid als gevolg van de criteria waarop werd geselecteerd.

Bepaalde kenmerken (waaronder de onderwijsvorm mbo 1-2 en een kleine afstand tot het ouderlijk adres) leidden tot een verhoogde risicoscore. En omdat deze kenmerken vaker voorkomen onder studenten met een niet-Europese migratieachtergrond, ontstond een oververtegenwoordiging van deze groep. Ook andere kenmerken speelden een rol in de beslissing of een student werd geselecteerd voor controle, waaronder inschrijving bij familie of juist in een studentenhuis. Het effect van al deze factoren was een vergrootglaseffect waardoor DUO vooral bij studenten met een niet-Europese migratieachtergrond onrechtmatigheid opspoorde. Onrechtmatig gebruik van de studiebeurs door studenten zonder migratieachtergrond bleef juist vaker buiten beeld.

Data-analyse van Algorithm Audit laat zien dat studenten met een niet-Europese migratieachtergrond 2.0x vaker als hoog risico werden gezien door het risicoprofiel dan studenten zonder migratieachtergrond. De groep werd 6.2x vaker handmatig geselecteerd voor een huisbezoek. Uiteindelijk hadden studenten met een niet-Europese migratieachtergrond een 3.0x grotere kans om onterecht een huisbezoek te krijgen dan studenten met een Nederlandse herkomst.

Uit het onderzoek treedt voor de periode 2014-2022 een consistent beeld naar voren dat de groep van studenten die in bezwaar ging tegen een besluit van DUO vooral uit studenten met een niet-Europese migratieachtergrond bestaat. Dit bevestigt het beeld uit berichtgeving van Investico en NOS in 2023, dat studenten met een migratieachtergrond vaker dan andere studenten werden beschuldigd van onrechtmatig gebruik van studiefinanciering en daarvoor in bezwaar gingen. Eerder onderzoek van PwC bracht op basis van postcodestatistieken aan het licht dat studenten die staan ingeschreven in migrantenwijken vaker door DUO werden gecontroleerd. De resultaten van het vervolgonderzoek van Algorithm Audit laten een versterkte vooringenomenheid zien ten opzichte van eerdere onderzoeken. Zowel de CBS-data en de door Algorithm Audit gebruikte onderzoeksmethoden zijn publiek toegankelijk (hier en hier te vinden).

DUO heeft het normale controleproces voor de uitwonendenbeurs momenteel stopgezet en selecteert studenten alleen willekeurig. DUO en Algorithm Audit blijven samenwerken om de resultaten van de onderzoeken samen met verschillende maatschappelijke belanghebbenden te interpreteren en na te denken over verbeteringen in een mogelijk toekomstig controleproces.

Het rapport Vooringenomenheid voorkomen (addendum) kan hier worden gevonden.

DEN HAAG – DUO selecteerde in onderzoek naar misbruik met de uitwonendenbeurs aanzienlijk vaker studenten die dicht bij hun ouder(s) woonden. Het algoritme dat ter ondersteuning van de selectie werd gebruikt functioneerde naar verwachting. De combinatie van het algoritme en handmatige selectie zorgde echter voor een grote oververtegenwoordiging van bepaalde groepen. Geselecteerde studenten werden thuis bezocht om te controleren of zij geen misbruik maakten. Dit is de belangrijkste conclusie van het onderzoek dat Stichting Algorithm Audit uitvoert in opdracht van DUO. Het controleproces van DUO kwam in 2023 in opspraak na berichtgeving van Investico en NOS, waarin werd vermeld dat studenten met een migratieachtergrond vaker dan andere studenten werden beschuldigd van misbruik.

Studenten die dicht bij hun ouder(s) stonden ingeschreven zijn aanzienlijk vaker geselecteerd voor een huisbezoek. DUO beslist naar aanleiding van dergelijke controles of er misbruik is gemaakt van de uitwonendenbeurs. Deze afwijkijking is veel groter dan wanneer uitsluitend het regel-gebaseerde algoritme zou zijn gevolgd dat de Dienst Uitvoering Onderwijs (‘DUO’) gebruikte om in de periode 2012-2022 aan alle uitwonende studenten (ruim 500.000) een risicoscore toe te kennen. Voor de hand ligt dat specifieke werkinstructies – die aansporen tot het handmatig selecteren van studenten die nabij het ouderlijk adres staan ingeschreven – hier de oorzaak van zijn. Dat is de belangrijkste conclusie van het rapport Vooringenomenheid voorkomen van Stichting Algorithm Audit dat op 1 maart 2024 naar de Tweede Kamer is gestuurd. 

Uit het onderzoek volgt verder onvoldoende statistisch verband tussen een aantal selectiecriteria die in het door DUO gehanteerde risicotaxatie-algoritme zijn gebruikt (te weten onderwijsvorm en leeftijd). Voor het selectiecriterium afstand tot ouder(s) is wel statistisch bewijs voor een verband met onrechtmatigheid gevonden. Deze resultaten zijn gebaseerd op een statistische analyse van misbruikcontrole op basis van aselecte steekproeven uit 2014 en 2017. Ook stelt Stichting Algorithm Audit vast dat het gebruikte algoritme niet voldoet aan de eisen die op dit moment worden gesteld aan door de Nederlandse overheid gebruikte algoritmes. Op verzoek van DUO is aan deze nieuwste normen voor het gebruik van algoritmes door de overheid getoetst. Zo ontbreekt er een gedegen onderbouwing van keuzes die tijdens het ontwerp van het algoritme zijn gemaakt. Daarnaast is niet gebleken van onderzoek naar mogelijke indirecte vooringenomenheid van het gebruikte algoritme, noch bij het opstellen, noch bij het gebruik ervan.

In opdracht van DUO doet de Stichting Algorithm Audit onafhankelijk onderzoek naar het controleproces uitwonendenbeurs. Aanleiding is dat studenten met een migratieachtergrond vaker worden beschuldigd van misbruik met studiefinanciering. Of de groep die bovenmatig vaak is geselecteerd voor een huisbezoek inderdaad ook bovenmatig vaak een migratieachtergrond heeft zal blijken uit vervolgonderzoek dat op dit moment wordt uitgevoerd. Hierbij gebruikt Stichting Algorithm Audit data die zijn opgevraagd bij het Centraal Bureau voor de Statistiek (CBS) om het percentage studenten per herkomstland te meten gedurende het gehele controleproces. Publiek toegankelijk data – zoals migratiestatistieken per postcodegebied of de gemiddelde afstand die bepaalde demografische groepen tot hun ouder(s) wonen – is volgens Stichting Algorithm Audit te onnauwkeurig om voor dit gevoelige onderzoek te gebruiken. Het is wat Stichting Algorithm Audit dan ook te vroeg om te kunnen concluderen of studenten met een migratieachtergrond inderdaad benadeeld zijn, al is van het tegendeel in het onderzoek ook niet gebleken. Stichting Algorithm Audit stelt wel vast dat er niet is gebleken van directe discriminatie op basis van migratieachtergrond in het algoritme.

De uitkomsten van de onderzoeken worden gebruikt om te bepalen of risicoprofilering in de toekomst verantwoord kan worden ingezet om misbruik met de uitwonendenbeurs op te sporen. Dit is relevant aangezien de uitwonendenbeurs sinds dit studiejaar is geherintroduceerd voor studenten die op kamers wonen en een hogere beroepsopleiding of wetenschappelijke opleiding volgen. DUO en Stichting Algorithm Audit blijven in 2024 samenwerken om de resultaten van de onderzoeken samen met verschillende maatschappelijke belanghebbenden te interpreteren. Momenteel selecteert DUO studenten alleen willekeurig voor controle.

Het volledige rapport Vooringenomenheid voorkomen (AA:2024:01) kan hier worden gevonden.

01-03-2024

DEN HAAG – Staatssecretaris Alexandra van Huffelen heeft op 29 november het adviesrapport aangenomen met daarin concrete normen voor de verantwoorde inzet van algoritmes. Stichting Algorithm Audit stelde een onafhankelijke commissie samen van experts die advies uitbrengt om oneerlijke behandeling te voorkomen bij bijstandsheronderzoek. De aanleiding voor het opstellen van het advies is het controversiële risicomodel dat gebruikt is door de Gemeente Rotterdam tot 2021.

Wanneer de gemeente onderzoekt of bijstandsgerechtigden nog wel recht hebben op bijstand wordt soms gebruik gemaakt van algoritmische profilering. Het adviesrapport, opgesteld door vertegenwoordigers van de Ombudsman van Amsterdam en Rotterdam, verschillende academici, en een wethouder uit Tilburg, adviseert dat onder andere postcode, het aantal kinderen en laaggeletterdheid niet meer als kenmerk gebruikt mag worden voor profilering. Eerder is gebleken dat profilering in de context van de bijstand kan leiden tot discriminatie. De onafhankelijke commissie stelt dat er ook andere ethische bezwaren kleven aan algoritmische profilering. Sommige zelflerende algoritmes zijn namelijk te ingewikkeld om de beslissingen nog goed aan de burger te kunnen uitleggen. De commissie adviseert daarom om bepaalde algoritmes niet meer te gebruiken.

Het advies is gericht aan alle 340 Nederlandse gemeenten. Het advies vormt een onderdeel van de ‘algoprudentie’ die Stichting Algorithm Audit ontwikkelt om samen met experts en diverse belangengroepen tot concrete normen te komen voor de verantwoorde inzet van algoritmes. Stichting Algorithm Audit is een onafhankelijk kennisplatform voor ethische algoritmes en AI en wordt ondersteund door het European AI&Society Fund, het SIDN fonds en het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.

29-11-2023