Evaluatie van Large Language Models (LLMs) en andere generatieve AI-modellen met betrekking tot robuustheid, privacy en naleving van de AI-verordening. Op basis van praktijkvoorbeelden ontwikkelen we een validatiekader om contentfilters, guardrails en ontwerpkeuzes voor gebruikersinteractie te beoordelen. Lees meer over ons validatiekader.

Onze open-source AI-verordening implementatie tool helpt organisaties bij het identificeren van AI-systemen en het toewijzen van de juiste risicocategorie. Als lid van Nederlandse en Europese normalisatieorganisaties NEN en CEN-CENELEC volgt en draagt Algorithm Audit actief bij aan de ontwikkeling van geharmoniseerde normen voor AI-systemen. Zie ook onze publieke kennisbank over standaardisatie.

We evalueren algoritmische systemen vanuit zowel een kwalitatieve als kwantitatieve dimensie. Naast expertise in data-analyse en software ontwikkeling beschikken we over kennis van juridische kaders rondom non-discriminatie, geautomatiseerde besluitvorming en organisatorisch risicomanagement. Zie onze publieke standaarden voor verantwoord gebruik van algoritmische systemen.

Voor specifieke toepassingen ten behoeven van de verantwoorde inzet van algoritmes en AI ontwikkelt Algorith Audit technische tools. Zie bijvoorbeeld onze open source tools voor synthetische data generatie en unsupervised bias detectie, zoals ontwikkeld in samenwerking met het Ministerie van Binnenlandse Zaken en de Diesnt Uitvoering Onderwijs (DUO). Onze tools zijn local-only. Dat betekent dat data de omgeving van organisaties niet verlaten en er geen afhankelijkheden zijn van cloudplatforms.