Risicoprofilering heronderzoek bijstandsuitkering
Algoprudentienummer
AA:2023:02
Hoofdpunten normatieve adviescommissie
- Algoritmische profilering is onder strikte voorwaarden mogelijk
Mits zorgvuldig toegepast kan algoritmische profilering verantwoord worden ingezet voor heronderzoek naar de rechtmatigheid van bijstandsuitkeringen. - Profilering moet geen verdenking zijn
Heronderzoek moet meer op dienstverlening en minder op wantrouwen zijn gebaseerd. - Diversiteit aan selectiemethoden
Om tunnelvisie en feedbackloops te vermijden is het wenselijk om algoritmische profilering te combineren met expert-gedreven profilering en aselecte steekproeven. - Verantwoord gebruik van profileringscriteria
Met oog op het voorkomen van (proxy)discriminatie en andere onwenselijke vormen van onderscheid maakt de commissie per variabele een afweging over de geschiktheid voor profileringsdoeleinden (zie Infographic). - Uitlegbaarheidsvereisten machine learning
Het is noodzakelijk dat de selectie van inwoners door de gehele besluitvormingsketen uitlegbaar is. Complexe trainingsmethoden om profileringscriteria te selecteren, zoals het onderhavige xgboost-algoritme, worden te complex geacht om te voldoen aan uitlegbaarheidsvereisten.
Infographic
Samenvatting
De commissie oordeelt dat algoritmische risicoprofilering onder strikte voorwaarden kan worden ingezet voor het selecteren van burgers met een bijstandsuitkering voor heronderzoek. Het oogmerk van heronderzoek is een leidende factor bij de beoordeling van profileringscriteria. Indien het bijstandsheronderzoek minder op basis van verdenking en meer op basis van dienstverlening zou worden ingevuld, dan laat de commissie meer ruimte voor het gebruik van profileringsvariabelen om hulpbehoevende groepen gericht van dienst te kunnen zijn. Voor de verschillende variabelen die door de Gemeente Rotterdam zijn gebruikt in de periode 2017-2021 geeft de commissie een onderbouwd oordeel waarom deze variabelen wel of niet wenselijk zijn om als selectiecriterium voor profilering te worden gebruikt (zie Infographic). Gecombineerde inzet van verschillende selectiemethoden (waaronder expert-gedreven profilering en aselecte steekproeven) wordt wenselijk geacht om tunnelvisie en verkeerde feedbackloops te doorbreken. De commissie adviseert om zwaardere eisen te stellen aan algoritmische variabelenselectie dan voor profileringscriteria geselecteerd door domeinexperts. De commissie stelt dat algoritmes die ter ondersteun- ing worden ingezet om burgers te selecteren voor heronderzoek uitlegbaar moeten zijn. Complexe trainingsmethoden, zoals het xgboost-algoritme gebruikt door de Gemeente Rotterdam, kunnen niet voldoen aan deze uitlegbaarheidsvereisten. Dit advies is gericht aan alle Nederlandse en Europese gemeenten die profileringsmethoden in de context van sociale voorzieningen overwegen of toepassen.
Bron van de casus
Ongevraagd advies aan alle 340+ Nederlandse gemeenten. Onderzoek bouwt voort op wob-documenten gepubliceerd door onderzoeksjournalisten.
Presentatie
Het adviesrapport (AA:2023:02:A) is op 29 november 2023 aangeboden aan de Staatssecretaris van Digitalisering. Een persbericht kan hier worden gevonden.Â
Algoprudentie
Het adviesrapport (AA:2023:02:A) kan hier worden gedownload en de probleemstelling (AA:2023:02:P) hier.
Normatieve adviescommissie
- Abderrahman El Aazani, onderzoeker bij Ombudsman Rotterdam-Rijnmond
- Francien Dechesne, Associate Professor Law and Digital Technologies, Universiteit Leiden
- Maarten van Asten, wethouder Financiën, Digitalisering, Sport en Evenementen Gemeente Tilburg
- Munish Ramlal, ombudsman Metropool Amsterdam
- Oskar Gstrein, Assistant Professor Governance and Innovation, Rijksuniversiteit Groningen
Vragen Amsterdamse gemeenteraad
Beschrijving
Raadsleden hebben naar aanleiding van adviesrapport AA-2023:02:A vragen gesteld aan het college van Burgemeester en Wethouders over een vergelijkbaar machine learning-gedreven algoritme ‘Slimme check levensonderhoud’ dat de gemeente Amsterdam momenteel als pilot test. De vragen hebben betrekking tot:
- (on)geschikte selectiecriteria die aan het ML gevoed kunnen worden voor variabeleselectie
- uitlegbaarheidsvereisten voor het gebruikte explainable boosting algoritme
- implicaties van de aanstaande AI Verordening voor deze vorm van risicoprofileren.
Binnenlands Bestuur
Beschrijving
Nieuwsitem op website van Binnenlands Bestuur over nieuwe algoprudentie.
Reactie College Rechten van de Mens leeftijdsdiscriminatie
Leeftijdsdiscriminatie
Een beleid, zoals een overheidsinstantie die fraude onderzoekt of een werkgever die nieuwe werknemers zoekt, kan bedoeld of onbedoeld leiden tot onderscheid tussen bepaalde groepen mensen. Als een organisatie dit onderscheid maakt op gronden die wettelijk beschermd zijn, zoals geslacht, afkomst, seksuele oriëntatie, of een handicap of chronische ziekte, en hiervoor is geen goede, rechtvaardigende reden voor te geven is, dan maakt de organisatie verboden onderscheid. We spreken dan van discriminatie.Â
En leeftijd dan? Zowel het Rotterdamse als het DUO-algoritme waar Algorithm Audit onderzoek naar deed, maakte daar onderscheid op. Toch is er in die gevallen geen sprake van leeftijdsdiscriminatie.Â
De gelijkebehandelingswetgeving kent ook een verbod op onderscheid naar leeftijd. Een sollicitant zomaar weigeren voor een baan omdat diegene te oud is, mag dus niet. Maar de wetgeving rond leeftijdonderscheid laat wel meer ruimte voor een rechtvaardigend argument dan de eerdergenoemde persoonskenmerken. Dit geldt zeker als het algoritme niet gaat over arbeidskwesties. In het geval van opsporing van bijstandsfraude of misbruik van studiefinanciering is het daarom niet per se verboden dat een algoritme iemands leeftijd meeneemt. Toch zal er wel een duidelijk verband moet zijn tussen leeftijd en het doel van het algoritme. Zolang niet is aangetoond dat iemands leeftijd de kans vergroot op misbruik of fraude mag je leeftijd evengoed niet laten meewegen in de algoritmische selectie. Als het bijvoorbeeld gaat om een Wajong-uitkering die je alleen tot een bepaalde leeftijd mag aanvragen, dan is er wel een duidelijk verband, en dan zou een algoritme daar wel naar kunnen kijken.
Reageer op dit normatieve oordeel
Uw reactie wordt verstuurd naar het auditing team. Het team leest de reactie en, indien het verenigbaar is met Algorithm Audit’s richtlijnen voor publicatie, wordt de reactie geplaatst in bovenstaande Discussie & debat sectie.
