Hoger-dimensionale bias in een BERT-gebaseerde disinformatie detectie-algoritme
Algoprudentienummer
AA:2023:01
Samenvatting advies
De adviescommissie is van mening dat er een laag risico is op (hoger-dimensionale) proxydiscriminatie door de BERT-gebaseerde desinformatiedetectie-algoritme. Het concrete waargenomen verschil in ongelijke behandeling van verschillende Twitter-gebruikers kan gelegitimeerd worden, indien bepaalde maatregelen zijn getroffen.
Bron van de casus
Toepassing van de door Algorithm Audit zelf-geimplementeerde unsupervised bias detectie tool op een zelf-getraind BERT-gebaseerd desinformatiedetectie-algoritme op de veelgebruikte Twitter1516 dataset. Zie ook onze Github.
Stanford’s AI Audit Challenge 2023
Deze algoprudentie, in combinatie met de bias detectie tool, is onder de naam Joint Fairness Assessment Method (JFAM) geselecteerd als finalist voor Stanford’s AI Audit Challenge 2023.
Presentatie
Een visuele presentatie van deze case study kan worden gevonden in dit slide deck.
Rapport
De probleemstelling en adviesrapport kan hier worden gedownload.
Normatieve adviescommissie
- Anne Meuwese, Hoogleraar staats- en bestuursrecht, Leiden University
- Hinda Haned, Hoogleraar in Responsible Data Science, Universiteit van Amsterdam
- Raphaële Xenidis, Associate Professor in Europees recht, Sciences Po Paris
- Aileen Nielsen, Visiting Assistant Professor, Harvard Law School
- Carlos Hernández-EchevarrÃa, Assistant Director en Head of Public Policy bij anti-disinformatie nonprofit fact-checker Maldita.es
- Ellen Judson, Head of CASM en Sophia Knight, Onderzoekers bij de partijoverstijgende Britse denktank Demos
Ondersteuning voor verdere ontwikkeling
Beschrijving
Het SIDN Fonds ondersteunt Algorithm Audit om de bias detectie tool verder te ontwikkelen. Op 01-01-2024 is een team gestart dat de tool verder gaat ontwikkelen.
Finalist Stanford's AI Audit Challenge 2023
Beschrijving
Deze algoprudentie, in combinatie met de bias detectie tool, is onder de naam Joint Fairness Assessment Method (JFAM) geselecteerd als finalist voor Stanford’s AI Audit Challenge 2023.
Reageer op deze technische audit
Uw reactie wordt verstuurd naar het auditing team. Het team leest de reactie en, indien het verenigbaar is met Algorithm Audit’s richtlijnen voor publicatie, wordt de reactie geplaatst in bovenstaande Discussie & debat sectie.
