Algoprudentienummer

ALGO:AA:2023:01

Samenvatting advies

De adviescommissie is van mening dat er een laag risico is op (multi-dimensionale) proxydiscriminatie door de BERT-gebaseerde desinformatiedetectie-algoritme. Het concrete waargenomen verschil in ongelijke behandeling van verschillende Twitter-gebruikers kan gelegitimeerd worden, indien bepaalde maatregelen zijn getroffen.

Bron van de casus

Toepassing van de door Algorithm Audit zelf-geimplementeerde unsupervised bias detectie tool op een zelf-getraind BERT-gebaseerd desinformatiedetectie-algoritme op de veelgebruikte Twitter1516 dataset. Zie ook onze Github.

Stanford’s AI Audit Challenge 2023

Deze algoprudentie, in combinatie met de bias detectie tool, is onder de naam Joint Fairness Assessment Method (JFAM) geselecteerd als finalist voor Stanford’s AI Audit Challenge 2023.

Presentatie

Een visuele presentatie van deze case study kan worden gevonden in dit slide deck.

Probleemstelling en adviesrapport

Normatieve adviescommissie

• Anne Meuwese, Hoogleraar staats- en bestuursrecht, Leiden University
• Hinda Haned, Hoogleraar in Responsible Data Science, Universiteit van Amsterdam
• Raphaële Xenidis, Associate Professor in Europees recht, Sciences Po Paris
• Aileen Nielsen, Visiting Assistant Professor, Harvard Law School
• Carlos Hernández-Echevarría, Assistant Director en Head of Public Policy bij anti-disinformatie nonprofit fact-checker Maldita.es
• Ellen Judson, Head of CASM en Sophia Knight, Onderzoekers bij de partijoverstijgende Britse denktank Demos