De bias detectie tool identificeert mogelijk ongelijk behandelde groepen door een AI-systeem. De tool werkt momenteel alleen voor AI-systemen die individuen in twee groepen opdelen, bijvoorbeeld de voorspelling of een financiële transactie wel/niet risicovol is. De tool vindt groepen gebruikers die door het algoritme systematisch een afwijkende voorspelling krijgen. Deze afwijking wordt berekend aan de hand van een bepaalde maat, bijvoorbeeld de hoeveelheid valspositieven (het algoritme voorspelt dat de financiële transactie verdacht is, maar is dat niet), valsnegatieven (het algoritme voorspelt dat de financiële transactie niet-verdacht is, maar is dat wel) of een combinatie van deze twee. De tool maakt gebruik van clustering (unsupervised machine learning), wat betekent dat geen toegang nodig is tot de bijzondere persoonsgegevens van individuen – zoals geslacht, nationaliteit of etniciteit – om afwijkingen met betrekking tot deze gronden te detecteren. Omdat de tool gebruik maakt van statistiek is het in staat om hoger-dimensionale vormen van ogenschijnlijk neutraal onderscheid – ook wel meervoudige proxy of intersectionele discriminatie genoemd – te detecteren.

Via onderstaande web app kan de tool direct worden gebruikt. Mits de geüploade data voldoet aan de hieronder gespecificeerde structuur, voert de tool direct een clusteranalyse uit en retourneert het cluster met de grootste afwijking (volgens de gekozen metriek) naar de browser. De resultaten kunnen worden gedownload als pdf-bestand.

Gebruik de tool hieronder ⬇️

Met de inzending Joint Fairness Assessment Method (JFAM) is Algorithm Audit’s bias detectie tool geselecteerd als finalist voor Stanford’s AI Audit Competition 2023.

Algorithm Audit’s bias detectie tool is onderdeel van de OECD’s Catalogus voor Tools & Metrieken voor Verantwoorde AI.

De bias detectie tool werkt momenteel alleen voor numeriek data. Volgens een hierarchisch schema clustert het Hierarchical Bias-Aware Clustering (HBAC) algoritme input data met behulp van k-means clustering algoritme. Op termijn kan de tool ook categorische data verwerken volgens k-modes clustering. Het HBAC-algoritme is geïntroduceerd door Misztal-Radecka en Indurkya in een wetenschappelijk artikel in Information Processing and Management (2021). Onze implementatie van het HBAC-algoritme is open source en kan worden gevonden in Github.

Download een voorbeeld dataset om de bias detectie tool te gebruiken.

Welke input data kan de bias detectie tool verwerken? Een csv-bestand van maximaal 5GB met kolommen kenmerken (features), de voorspelde waarde (pred_label) en de echte waarde (true_label). Alleen de volgorde van de kolommen is van belang (eerst features, dan pred_label, dan true_label). Alle kolommen moeten numeriek en ongeschaald (niet gestandaardiseerd of genormaliseerd) zijn. Samengevat:

• features: ongeschaalde numerieke waarden, bijvoorbeeld kenmerk_1, kenmerk_2, …, kenmerk_n;
• pred_label: 0 of 1;
• true_label: 0 of 1;
• Biasmetriek: proportie valspositieven (FPR), proportie valsnegatieven (FNR) of nauwkeurigheid (Acc).

Waarom deze bias detectie tool?

• Geen toegang nodig tot bijzondere persoonsgegevens (unsupervised bias detectie);
• Model-agnostisch (werkt voor alle binaire classificatie algoritmen);
• Informeert de mens welke gedrag van een AI-systeem gericht handmatig te onderzoeken.
• Verbindt kwantitatieve, statissche methoden met de kwalitatieve doctrine van recht en ethiek om eerlijke AI vorm te geven;
• Open-source ontwikkeld, zonder winstoogmerk.

Door wie kan deze bias detectie tool worden gebruikt? 

De bias detectie tool kan gebruikt worden door de het gehele gemeenschap die aan AI auditing werkt, in het bijzonder data scientists, journalisten, beleidsmakers, publieke- en private auditors.

Wat berekent de tool? 

Een statistische methode berekent welke clusters relatief vaak verkeerd geclassificeerd worden door een AI-systeem. Een cluster is een groep individuen die bepaalde kenmerken. Op deze kenmerken is het classificerende AI-systeem initieel getraind. De tool identificeert en visualiseert de gevonden clusters automatisch. De tool bepaalt ook hoe de individuen in clusters per kenmerk verschillen ten opzichte van anderen buiten het cluster. Of de verschillen tussen de groepen statistisch significant zijn wordt direct getoetst aan de hand van Welch’s t-toets voor twee deelgroepen met ongelijke variantie. Alle resultaten kunnen worden gedownload in een pdf-bestand.

Detecteert de tool discriminatie in AI-systemen? 

Nee, de bias detectie tool kan fungeren als startpunt om discriminerende AI aannemelijk te maken. Om discriminatie aan te tonen zijn echter altijd domeinexperts nodig. Experts kunnen bijvoorbeeld toetsen of een verband bestaat tussen de kenmerken van een geïdentificeerd cluster en beschermde gronden. Daarnaast kan de kwantitatieve afwijking van het meest afwijkende cluster kwalitatief worden geïnterpreteerd. In een case studie van Algorithm Audit – waarbij de bias detectie tool is getest op een BERT-gebaseerde desinformatie classifier – achtte een commissie van het experts de gemeten afwijkingen bijvoorbeeld te legitimeren. Legitimeren van gemaakt onderscheid is een context-afhankelijke taak waarvoor het recht kaders biedt, zoals het duiden van noodzakelijkheid, proportionaliteit en geschiktheid. Dit kwalitatieve oordeel vellen zal altijd een menselijke taak zijn.

Voor welk type AI-systeem werkt de tool? 

De tool werkt momenteel alleen voor AI-systemen die individuen in twee groepen opdelen, bijvoorbeeld de voorspelling of een financiële transactie wel/niet risicovol is of het wel/niet diagnostiseren van een ziekte.

Wat gebeurt er met mijn data als ik de web app gebruik?

Het csv-bestand wordt geupload naar een bucket van Amazon Web Services (AWS), waar Python-code de data verwerkt. Als het HBAC-algoritme clusters heeft geïdentificeerd worden alleen de resultaten terug gestuurd naar de browser en wordt de data in AWS verwijderd. Doorgaans wordt de data dus slechts 5-10 seconden in de cloud opgeslagen. De web applicatie is gebouwd volgens onderstaand architecture diagram.

Samenvattend

Kwantitatieve methoden, zoals unsupervised bias detectie, zijn behulpzame methoden om mogelijk door AI-systemen ongelijk behandelde groepen te detecteren op een schaalbare manier. Het geautomatiseerd detecteren van afwijkende clusters stelt menselijke experts in staat de groepen afwijkende individuen handmatig te inspecteren, waarbij de politieke en sociale context van het gebruikte AI-systeem in ogenschouw kan worden genomen. Deze duale aanpak om bias in AI-systemen te detecteren overbrugt de kloof tussen de kwalitatieve eisen van het recht en de ethiek, en de kwantitatieve modus operandi van AI. Door normatieve afwegingen over de verantwoorde inzet van AI publiek toegankelijk te maken vormt zich in de loop van tijd een kennisbank op met collectieve oordeelsvorming. Van deze keuzes kunnen data scientists, publieke autoriteiten en anderen leren, maar ook bekritiseren. Want uiteindelijk moet in democratisch zicht normatieve knopen worden doorgehakt over wat wel en niet verantwoorde AI is.

Lees meer over algoprudentie en onze werkwijze.

Bias Detectie Tool Team

Floris Holstege

PhD-kandidaat Machine Learning, Universiteit van Amsterdam

Joel Persson PhD

R&D, Spotify

Kirtan Padh

PhD-kandidaat Causal Inference and Machine Learning, TU München

Krsto Proroković

PhD-kandidaat, Swiss AI Lab IDSIA

Mackenzie Jorgensen

PhD-kandidaat Computer Science, King’s College London