De AI-verordening legt brede nieuwe verantwoordelijkheden op om risico’s van AI-systemen te beheersen, maar specifieke normen voor de verantwoorde inzet van algoritmes ontbreken vooralsnog. Bijvoorbeeld:

• Risico- en kwaliteitmanagementsysteem (Art. 9 and 17) – Vereisten voor risico- en kwaliteitmanagement systemen blijven te generiek. De vereisten stellen bijvoorbeeld dat AI systemen niet mogen discrimineren en dat ethische risico’s in kaart moeten worden gebracht. Er wordt echter niet toegelicht hoe discriminatie kan worden vastgesteld of hoe waardenspanningen beslecht kunnen worden;
• Conformiteitsassessment (Art. 43) – De AI Verordening leunt zwaar of interne controles en mechanismen die zelf-reflectie moeten bevorderen om AI systemen op een verantwoorde wijze in te zetten. Dit leidt echter tot subjectieve keuzen. Meer institutionele duiding is nodig over normatieve vraagstukken;
• Normatieve standaarden – Enkel technische standaarden voor AI-systemen, zoals de Europese Commissie standaardiseringsorganisaties CEN-CENELEC heeft verzocht te ontwikkelen, zijn onvoldoende om voor de verantwoorde inzet van AI systemen. Publieke kennis over technische én normatieve oordeelsvorming over verantwoorde AI-systemen is hard nodig. Maar juist hier is een gebrek aan.

Als lid van het Nederlands Normalisatie Instituut NEN draagt Stichting Algorithm Audit bij aan het Europese debat hoe fundamentele rechten gecoreguleerd kunnen worden door productveiligheidsregulatie zoals de AI-verordening.

The Digital Services Act (DSA) lacks provisions to disclose normative methodological choices that underlie the AI systems the DSA tries to regulate. For instance:

• Risk definitions – Article 9 of the Delegated Regulation (DR) for independent third party auditing (as mandated under DSA Art. 37) specifies that “audit risk analysis shall consider inherent risk, control risk and detection risk”. More specific guidance should be provided in Art. 2 of the DR how risks relating to subjective concepts, such as “…the nature, the activity and the use of the audited service”, can be assessed;
• Audit templates – Pursuant to Article 5(1)(a) of the DR, Very Large Open Platforms (VLOPs) and Very Large Online Search Engines (VLOSEs) shall transmit to third-party auditing organisations “benchmarks used […] to assert or monitor compliance […], as well as supporting documentation”. We argue that the normative considerations underlying the selection of these benchmarks should be asked out more decisively in this phase of the audit. Therefore, we asked the European Commission (EC) to add this dimension to Question 3(a) of Section D.1 Audit conclusion for obligation Subsection II. Audit procedures and their results;
• Insufficient knowledge how to audit AI – Feedback submitted to the European Commission (EC) on DSA Art. 37 DR reveals that:
  • Private auditors (like PwC and Deloitte) warn that the lack of guidance on criteria against which to audit poses a risk of subjective audits;
  • Tech companies (like Snap and Wikipedia) raise concerns about the industry’s lack of expertise to audit specific AI products, like company-tailored timeline recommender systems.

Read Algorithm Audit’s feedback to the Europen Commission on DSA Art. 37 Delegated Regulation

De AVG kent sterke punten met betrekking tot het horen van belanghebbenden, al kent het ook hiaten met betrekking tot uitvoerbaarheid en rechtsonzekerheid over begrippen als ‘volledige geautomatiseerde besluitvorming’.

• Participatoire Data Privacy Impact Assessment (DPIA) (art. 35 sub 9) – Dit artikel vereist dat wanneer een Data Privacy Impact Assessment (DPIA) verplicht is, data subjecten gehoord zullen worden over het dataverwerkingsproces. Dit is een krachtig mechanisme om de visie van diverse belanghebbenden bijeen te brengen. In de praktijk wordt echter nauwelijks aan de verplichting voldaan;
• Geautomatiseerde besluitvorming (art. 22 sub 2) – Aanhoudende rechtsonzekerheid wat exact de reikwijdte is van ‘geautomatiseerde besluitvorming’ en ‘betekenisvolle menselijke tussenkomst’ gegeven het Schüfa arrest van het Hof van Justitie van de European Union (CJEU).

Artikel dat een overzicht biedt van interactie tussen AVG en de AI-verordening met betrekking tot dataverzameling voor debiasing

De Algemene wet bestuursrecht (Awb) biedt een wettelijk kader voor algoritme-gedreven besluitvorming door overheidsorganisaties. Principes hiervoor zijn gecodificeerd in de Algemene beginselen voor behoorlijk bestuur (Abbb). Algorithm Audit vindt dat deze principes nader gecontextualiseerd moeten worden om daadwerkelijk kaderstellend te zijn voor de algoritmische praktijk. In het bijzonder met betrekking tot:

• Motiversingsbeginsel: Op basis van het motiveringsbeginsel moet voldoende duidelijk zijn op basis waarvan en waarom een bestuursorgaan een besluit neemt. Als zodanig heeft het motiveringsbeginsel een meta-karakter: het is dit beginsel dat de belanghebbende de gelegenheid geeft te weten te komen of in het kader van een bepaald besluit de andere beginselen ook zijn nageleefd.
• Zorgvuldigheidsbeginsel: Verplicht overheidsorganisaties ertoe de omstandigheden te scheppen waarin een juist besluit kan worden genomen. Zo moeten relevante feiten en af te wegen belangen bekend zijn. Er moet een geschikte methode worden gebruikt om de belangen af te wegen en er dient een volledige belangenafweging plaats te vinden;
• Beginsel van fair play: Het beginsel van fair play, ofwel correcte bejegening, dat als een verbod van vooringenomenheid van artikel 2:4 Awb deels gecodificeerd is, gaat over het zonder partijdigheid vervullen van taken door een bestuursorgaan. Het biedt het voordeel dat het ook buiten de specifieke besluitcontext van toepassing is.

Lees het artikel Hoe ‘algoprudentie’ kan bijdragen aan de verantwoorde inzet van ML-algoritmes

Met de jaren zijn er in binnen- en buitenland verschillende Fundamental Rights Impact Assessments (FRIAs) ontwikkeld. FRIAs stimuleren zelfreflectie met betrekking tot de verantwoorde inzet van algoritmes, al geven de assessments geen antwoorden of concrete richtlijnen wat wel en niet een verantwoorde algoritmische toepassing betreft.

Lees Algorithm Audit’s vergelijkende onderzoek van 10 FRIAs