Vergelijkende analyse van 10 FRIAs
We hebben een vergelijkend onderzoek uitgevoerd wat bestond uit het evalueren van 10 bestaande FRIA-kaders op basis van 12 vereisten op juridisch, organisatorisch, technisch en sociaal vlak.
Uit onze beoordeling komt naar voren dat er een groot verschil bestaat wat betreft de lengte en volledigheid van FRIAs, onder andere:
🩺 Veel FRIAs beschikken niet over juridische hulpmiddelen om normatieve besluitvorming in de kern aan te pakken, zoals de objectieve rechtvaardigingstoets, die met name van belang is wanneer gebruikers door een AI-systeem worden gesegmenteerd.
🔢 Geen van de FRIAs bevatten metrieken voor nauwkeurigheid om de conceptuele deugdelijkheid te kunnen beoordelen van de statistische methodologie die wordt toegepast bij een AI-systeem, zoals (hyper)parametergevoeligheidstesten voor ML- en DL-methoden, of statistische hypothesetesten voor risicobeoordeling.
🫴🏽 Bovendien geeft de technocratische aanpak die de meeste FRIAs hanteren burgers geen mogelijkheid om op zinvolle wijze deel te nemen aan het vormgeven van de technologieën die hen raken. Belanghebbenden zouden meer betrokken moeten worden bij de normatieve beslissing die ten grondslag ligt aan datamodellering.
Gebruikt u FRIAs vaker of bent u een ontwikkelaar van een FRIA, neem dan contact op met info@algorithmaudit.eu om inzichten te delen op basis van onze casus-gebaseerde AI-auditervaring.
