We evalueren Large Language Models (LLMs) en andere generatieve AI-toepassingen met betrekking tot vangrails, privacy en naleving van de AI-verordening. Gebaseerd op een volwassen RAG-applicatie van de Rechtspraak, hebben we een validatiekader ontwikkeld voor keuzes inzake contentfilters, embedding strategieën en gebruikersinteractie designkeuzes. Lees meer over ons AI Safety projectwerk dat we verrichten in opdracht van de AI Office van de Europese Commissie.

Onze open-source AI en Algoritme Kwalificatie Toolkit (AI AQT) ondersteunt organizaties om algoritmes en AI-systemen op schaal te identificeren en helpt bij het toekennen van de correcte risicocategorie. Als lid van de Nederlandse en Europese normalisatie-instituten NEN en CEN-CENELEC monitoren en dragen we bij aan de ontwikkeling van normen voor de AI-verordening. Zie ook onze publieke kennisbank over normen voor AI.

We evalueren algoritmische systemen vanuit zowel kwalitatief als kwantitatief oogpunt, met inbegrip van de objectieve rechtvaardigingstoets als kern van het Europees non-discriminatie recht. Naast data analyse en statistische expertise heeft Algorithm Audit juridische expertise met betrekking tot de AVG, in het bijzonder het voorkomen van verboden volledige geautomatiseerde besluitvorming en organisatorisch risicomanagement. Zie ook onze publieke standaarden voor verantwoord gebruik van algoritmische systemen.

We auditen algoritmische systemen vanuit zowel een organisatorisch, technisch als juridisch perspectief. Daarnaast ondersteunen we bij interpretatie en implementatie van de AI-verordening en de AVG wetteksten, bijlages en richtlijnen van de Europese Commissie, zo ook definitiekwesties, hoogrisico bepalingen en conformiteitsbeoordelingen. Onze auditrapporten en white papers dragen bij aan publieke kennisopbouw over hoe wettelijke naleving gerealiseerd kan worden.