Auditeren is een veelzijdig begrip. In de financiële sector verwijst een audit bijvoorbeeld naar een onafhankelijk keuring van boekhouding. Volgens vooraf gedefinieerde criteria toetst een financiële audit of administratie correct wordt bijgehouden. Audits voor AI-systemen zijn relatief nieuw en auditcriteria zijn nog volop in ontwikkeling. Algorithm Audit gelooft dat alleen technische auditcriteria onvoldoende zijn om te toetsen of algoritmes deugen. Wat eerlijke en verantwoorde algoritmes zijn hangt namelijk altijd af van de context. Het opdoen van case-based ervaring met normatieve keuzes die komen kijken bij het ontwikkelen en inzetten van algoritmes is hierbij van cruciaal belang. Deze normatieve dimensie kan alleen getoetst worden in overleg met belanghebbenden. De audits van Algorithm Audit zijn daarom inclusief en deliberatief van aard. Dit houdt verband met de etymologie van het Latijnse woord audire (horen) waarvan het woord ‘audit’ is afgeleid.

Iedere organisatie, publiek of privaat, groot of klein, welkom om een casus in te dienen. Per geval beoordeelt het Algoprudentie Team of de casus geschikt is om aan een normatieve adviescommissie te worden voorgelegd. Een casus kan hier worden ingediend.

Het normatieve karakter van onze werkzaamheden staat op gespannen voet met het hebben van een winstoogmerk. In de context van technologische ontwikkeling wordt winst vaak geprioriteerd boven veiligheid. Deskundigen ontvangen een vergoeding om normatieve vraagstukken evenwichtig, zorgvuldig en onafhankelijk te beoordelen. Een winstbeloning past niet bij deze werkwijze. Daarnaast werkt Algorithm Audit vanuit het publieke belang om onze kennis openbaar te maken. Werken zonder winstoogmerk past daarom het beste bij onze activiteiten en doelstellingen.

All our cases and corresponding advice are made publicly available, increasing collective knowledge how to devise and use algorithms in an ethical way. In that sense, our work can be considered as open source. However, we only publish the initial problem statement and the final normative advice document in our case repository. Other materials and documentation internal to the case are not shared. All the code developed for this website and for the technical tools we develop, maintain and test are open-source and can be found in Github.

The normative advice commissions that carry out the reviews are independent, academic, multi-disciplinary and diverse. The people we ask to join a commission have an outstanding academic and public track record in the field relevant to the case. Participating experts have no ties to the algorithmic methods or organizations under review. We work together with partners under explicit conditions to avoid ethics washing.

Algorithm Audit is a nonprofit organization supported by independent public funding. Occasionally, case-specific expenses are covered by partners under conditions that guarantee independent evaluation by our normative advice commissions and transparant publication of results. Read more about ways to collaborate together with us.

We are always happy to receive new cases for review. And we are always open to discuss issues and knowledge about pressing ethical issues. Submit here a case for review.

Ethics washing refers to the practice where a company or organization pays lip service to ethics or ethical review, to make it seem outwardly as though it operates in a responsible way. However, the company or organization actually does not wish to implement responsible practices in a meaningful way. We do not participate in ethical reviews as branding. As an organization, we do not confer ethics certificates or labels to our partners. We clearly communicate that our advice commissions only give normative advice and may not be used as stand-in for internal control or external accountability. This is established in explicit conditions under which we work and that we discuss with our partners beforehand. A concrete measure we will regularly adopt is making the partner anonymous in our publication of the case and reports.