Auditeren is een veelzijdig begrip. In de financiële sector verwijst een audit bijvoorbeeld naar een onafhankelijk keuring van boekhouding. Volgens vooraf gedefinieerde criteria toetst een financiële audit of administratie correct wordt bijgehouden. Audits voor AI-systemen zijn relatief nieuw en auditcriteria zijn nog volop in ontwikkeling. Algorithm Audit gelooft dat alleen technische auditcriteria onvoldoende zijn om te toetsen of algoritmes deugen. Wat eerlijke en verantwoorde algoritmes zijn hangt altijd af van de context. Het opdoen van case-based ervaring met normatieve keuzes die komen kijken bij het ontwikkelen en inzetten van algoritmes is hierbij van cruciaal belang. Deze normatieve dimensie kan alleen getoetst worden in overleg met belanghebbenden. De audits van Algorithm Audit zijn daarom inclusief en deliberatief van aard. Dit houdt verband met de etymologie van het Latijnse woord audire (horen) waarvan het woord ‘audit’ is afgeleid.

Iedere organisatie, publiek of privaat, groot of klein, is welkom om een casus in te dienen. Per geval beoordeelt het Team Algoprudentie of de casus geschikt is om aan een normatieve adviescommissie te worden voorgelegd. Een casus kan hier worden ingediend.

Het normatieve karakter van onze werkzaamheden staat op gespannen voet met het hebben van een winstoogmerk. In de context van technologische ontwikkeling wordt winst vaak geprioriteerd boven veiligheid. Deskundigen ontvangen een vergoeding om normatieve vraagstukken evenwichtig, zorgvuldig en onafhankelijk te beoordelen. Een winstbeloning past niet bij deze werkwijze. Daarnaast werkt Algorithm Audit vanuit het publieke belang. We vinden het belangrijk kennis openbaar te maken. Werken zonder winstoogmerk past daarom het beste bij onze activiteiten en doelstellingen. Er hangen geen bv’s onder de stichting.

Al onze probleemstellingen en bijbehorend adviezen worden openbaar gemaakt, wat ten goede komt aan de publieke kennisopbouw over verantwoorde algoritmes. In die zin kan ons werk als open-source worden beschouwd. We publiceren alleen de definitieve probleemstelling en normatieve adviesdocument in onze algoprudentie database. Notulen en tussentijdse documentatie van de casus worden niet gedeeld. Daarnaast is alle code die voor deze website is ontwikkeld en voor de technische tools die wij maken, onderhouden en testen, te vinden op Github.

De commissies die normatief advies geven zijn onafhankelijk, academisch, multidisciplinair en inclusief. De individuen die wij vragen om deel uit te maken van een commissie hebben uitstekende wetenschappelijke en publieke prestaties teweeggebracht over het relevante vakgebied in een bepaalde casus. De adviescommissie experts hebben geen verband met de algoritmische methoden of organisaties die worden beoordeeld. We werken samen met partners onder expliciete voorwaarden om ethics washing te voorkomen.

Algorithm Audit is een non-profitorganisatie die wordt ondersteund door onafhankelijke publieke financiering. Daarnaast verricht Algorithm Audit projectwerk dat ten goede komt aan de doelen van de stichting. Daarnaast verrichten we projectwerk omdat we niet afhankelijk willen worden van publiek en filantropische gelden, en het belangrijk vinden om in contract te blijven met de algoritmische praktijk. Lees meer over hoe Algorithm Audit samenwerkt met partners.

Wij ontvangen graag nieuwe casussen ter beoordeling. En we staan zeker open om kwesties en kennis over relevante ethische vraagstukken te bespreken. Dien hier een casus in ter beoordeling.

Ethics washing verwijst naar de praktijk waarbij een bedrijf of organisatie ethiek of ethische toetsing prijst zonder de daadwerkelijke intentie ervan te ondersteunen. Hierdoor lijkt het erop alsof er op een verantwoorde manier wordt gehandeld. Het bedrijf of de organisatie wil echter eigenlijk geen verantwoorde praktijken op een betekenisvolle manier implementeren. Wij nemen niet deel aan ethische beoordelingen voor naamsbekendheid. Als organisatie verlenen wij geen ethische certificaten of labels aan onze partners. Wij communiceren duidelijk dat onze adviescommissies uitsluitend normatief advies geven en niet mogen worden ingezet ter vervanging van interne controles of externe verantwoording. Dit wordt vastgelegd in expliciete voorwaarden op basis waarvan wij werken en die ook vooraf met onze partners worden besproken. Een specifieke maatregel die wij vaker zullen nemen om ethics washing te voorkomen is het anonimiseren van de partner in onze publicatie van de casussen en rapportages.