Auditeren is een veelzijdig begrip. In de financiële sector verwijst een audit bijvoorbeeld naar een onafhankelijk keuring van boekhouding. Volgens vooraf gedefinieerde criteria toetst een financiële audit of administratie correct wordt bijgehouden. Audits voor AI-systemen zijn relatief nieuw en auditcriteria zijn nog volop in ontwikkeling. Algorithm Audit gelooft dat alleen technische auditcriteria onvoldoende zijn om te toetsen of algoritmes deugen. Wat eerlijke en verantwoorde algoritmes zijn hangt namelijk altijd af van de context. Het opdoen van case-based ervaring met normatieve keuzes die komen kijken bij het ontwikkelen en inzetten van algoritmes is hierbij van cruciaal belang. Deze normatieve dimensie kan alleen getoetst worden in overleg met belanghebbenden. De audits van Algorithm Audit zijn daarom inclusief en deliberatief van aard. Dit houdt verband met de etymologie van het Latijnse woord audire (horen) waarvan het woord ‘audit’ is afgeleid.

Iedere organisatie, publiek of privaat, groot of klein, welkom om een casus in te dienen. Per geval beoordeelt het Algoprudentie Team of de casus geschikt is om aan een normatieve adviescommissie te worden voorgelegd. Een casus kan hier worden ingediend.

Het normatieve karakter van onze werkzaamheden staat op gespannen voet met het hebben van een winstoogmerk. In de context van technologische ontwikkeling wordt winst vaak geprioriteerd boven veiligheid. Deskundigen ontvangen een vergoeding om normatieve vraagstukken evenwichtig, zorgvuldig en onafhankelijk te beoordelen. Een winstbeloning past niet bij deze werkwijze. Daarnaast werkt Algorithm Audit vanuit het publieke belang om onze kennis openbaar te maken. Werken zonder winstoogmerk past daarom het beste bij onze activiteiten en doelstellingen. Er hangen geen bv’s onder te stichting.

Al onze casussen en bijbehorend advies worden openbaar gemaakt, waardoor de publieke kennisopbouw groter wordt met betrekking tot hoe algoritmen op een verantwoordelijke en ethische manier kunnen worden ontwikkeld en ingezet. In die zin kan ons werk als open source worden beschouwd. We publiceren echter alleen de probleemstelling en het definitieve normatieve adviesdocument in onze Algoprudentie overzicht. Andere materialen en documentatie van de casus worden niet gedeeld. Alle code die voor deze website is ontwikkeld en voor de technische tools die wij maken, onderhouden en testen, is open source en te vinden op Github.

De normatieve adviescommissies die de beoordelingen uitvoeren zijn onafhankelijk, academisch, multidisciplinair en inclusief. De individuen die wij vragen om deel uit te maken van een commissie hebben uitstekende wetenschappelijke en publieke prestaties teweeggebracht over het relevante vakgebied in een bepaalde casus. De adviescommissie experts hebben geen verband met de algoritmische methoden of organisaties die worden beoordeeld. We werken samen met partners onder expliciete voorwaarden om ethics washing te voorkomen.

Algorithm Audit is een non-profitorganisatie die wordt ondersteund door onafhankelijke publieke financiering. Af en toe worden specifieke kosten voor de behandeling van een casus gedekt door de partners onder voorwaarden dat er een onafhankelijke beoordeling plaatsvindt door onze normatieve adviescommissies en er sprake is van een transparante publicatie van de resultaten. Lees meer over de mogelijkheden om met ons samen te werken.

Wij ontvangen graag nieuwe casussen ter beoordeling. En we staan zeker open om kwesties en kennis over relevante ethische vraagstukken te bespreken. Dien hier een casus in ter beoordeling.

Ethics washing verwijst naar de praktijk waarbij een bedrijf of organisatie ethiek of ethische toetsing prijst zonder de daadwerkelijke intentie ervan te ondersteunen. Hierdoor lijkt het erop alsof er op een verantwoorde manier wordt gehandeld. Het bedrijf of de organisatie wil echter eigenlijk geen verantwoorde praktijken op een betekenisvolle manier implementeren. Wij nemen niet deel aan ethische beoordelingen voor naamsbekendheid. Als organisatie verlenen wij geen ethische certificaten of labels aan onze partners. Wij communiceren duidelijk dat onze adviescommissies uitsluitend normatief advies geven en niet mogen worden ingezet ter vervanging van interne controles of externe verantwoording. Dit wordt vastgelegd in expliciete voorwaarden op basis waarvan wij werken en die ook vooraf met onze partners worden besproken. Een specifieke maatregel die wij vaker zullen nemen om ethics washing te voorkomen is het anonimiseren van de partner in onze publicatie van de casussen en rapportages.