Functietitel: Lead generatieve AI evaluatie (1.0 fte)

Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als Lead generatieve AI evaluatie en draag bij aan de collectieve kennisopbouw over verantwoorde AI.

Over stichting Algorithm Audit

Stichting Algorithm Audit is een Europees kennisplatform voor verantwoorde AI en AI-evaluatie. We zijn een technisch onderlegde, sterk interdisciplinaire en maatschappelijk betrokken organisatie die zich inspant voor publieke kennis over verantwoorde AI en algoritmes. In enkele jaren zijn we uitgegroeid tot een internationaal erkende kennispartner op het gebied van AI bias testing, non-discriminatie, en de evaluatie van AI-systemen op socio-technische risico’s. We adviseren voornamelijk publieke sector organisaties en zetten ons actief in om kennisuitwisseling tussen overheidsorganisaties aan te jagen. We verrichten projectwerk voor o.a. de AI Office van de Europese Commissie, de Raad van Europa, Nederlandse uitvoeringsorganisaties en gemeenten.

Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een validatiekader voor taalmodellen die voor publieke informatievoorziening worden ingezet en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de Brouwer Vertrouwensprijs 2026 van de Koninklijke Hollandsche Maatschappij der Wetenschappen.

Wij zijn een jonge, enthousiaste en snelgroeiende organisatie met een klein kernteam maar met een groot netwerk van academici, beleidsmakers en experts in Nederland en Europa waar we mee samenwerken. Ons kantoor is gevestigd in Den Haag.

Wat zoeken wij?

Als Lead generatieve AI evaluatie bij Algorithm Audit:

• Verricht je projectwerk voor de AI Office van de Europese Commissie met betrekking tot het evalueren van socio-technische risico’s van general purpose (GP)AI-modellen en -toepassingen;
• Ben je een schakel tussen technische en juridische wetenschappers (van onder meer de Universiteit Leiden, Oxford en TNO) en beleidsmakers (van de Europese Commissie en Nederlandse ministeries);
• Beoordeel je de methodologische zuiverheid van evaluatiemethoden voor generatieve AI-systemen en heb je inzicht hoe nieuwe evaluatiemethoden te ontwikkelen;
• Werk je samen met software engineers om evaluatiemethoden voor generatieve AI-systemen te ontwikkelen en draag je bij aan de ontwikkelde code en documentatie voor deze evaluaties;
• Onderzoek je verschillende benchmark datasets (bijv. BBQ, CommonSenseQA) en kun je de vertaalslag maken welke benchmark datasets nodig zijn voor de Nederlandse taal;
• Analyseer je documentatie over generatieve AI-modellen en heb je affiniteit met toepasselijke wet- en regelgeving (AI-verordening, Digitale Dienstenwet);
• Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van bevindingen over GPAI-modellen en generatieve AI-systemen;
• Ben je flexibel om het team ook op andere projecten (bijv. bias testing, algoritme-inventarisatie en toetsing) bij te staan;
• Licht je door Algorithm Audit opgedane inzichten in begrijpelijke taal toe, zodat deze met de samenleving, beleidsmakers en juristen kunnen worden gedeeld;
• Zie jij kansen voor nieuwe werkzaamheden op het gebied van de evaluatie van generatieve AI-toepassingen en draag je bij aan business development.

De exacte invulling van de werkzaamheden worden nader met het team afgestemd.

Vaardigheden

• 2-8 jaar werkervaring, waarvan ten minste 1 jaar ervaring met het evalueren van generatieve AI-toepassingen;
• Kennis, kunde en praktijkervaring met specifieke benchmark-frameworks, zoals Hugging Face, Inspect AI, LM Eval, DeepEval, LangSmith, etc;
• Ervaring met het bouwen van RAG-applicaties, foundation models en/of guardrails is een pré;
• Relevante masterstudie afgerond (data science, AI, statistiek, computationele taalwetenschappen etc.);
• Aantoonbare affiniteit met verantwoorde algoritmes en AI;
• Sterk organisatorisch vermogen en inzicht in het snel ontwikkelende vakgebied;
• In staat om in klein team in goede afstemming te werken en ook veel zelfstandig op te pakken;
• Ondernemende en pionierende instelling passend bij een start-up;
• Representatief naar opdrachtgevers en belanghebbenden;
• Uitstekende spreek- en schrijfvaardigheid Engels en Nederlands.

NB: Bovenstaande lijst is het profiel van een ideale kandidaat. Voldoe je aan enkele kenmerken en denk je relatief snel naar dit functieprofiel toe te kunnen groeien, solliciteer en licht dit toe in je brief!

Wat verwachten wij?

• Je werkt 3-5 dagen per week op kantoor in Den Haag
• Bereidheid om binnenlands te reizen en incidenteel Europees (voornamelijk Brussel)
• Nederlandse nationaliteit of werkvergunning.

Arbeidsvoorwaarden

• Bruto maandsalaris op basis van 1.0 fte €4.500-€6.500/maand;
  • Excl. vakantietoeslag, 13e maand, pensioenopbouw (6% bruto per maand), thuiswerkvergoeding;
  • Het salaris kan worden bijgesteld naar boven bij buitengewone werkervaring;
• 26 vakantiedagen;
• Hybride werkopstelling, waarbij minimaal drie dagen per week aanwezigheid op kantoor wordt verwacht;
• Arbeidsovereenkomst voor één jaar.

Praktische opmerkingen

• Deze vacature staat open tot en met 30-04-2026;
• Op basis van de aangeleverde documenten kun je worden uitgenodigd voor een (online) kennismakingsgesprek;
• Bij een wederzijdse match volgen 1-2 vervolggesprekken op locatie;
• De startdatum wordt in overleg bepaald (voor, na of tijdens de zomer afhankelijk van beschikbaarheid).

Diversiteit en inclusie

Nadenken over verantwoorde AI kunnen we alleen als we ieders perspectief meenemen. We hechten daarom sterk aan diversiteit en inclusie in al onze werkzaamheden, met name in het betrekken van verschillende belanghebbende groepen. Ook als organisatie willen we diversiteit weerspiegelen m.b.t. bijvoorbeeld gender, culturele en disciplinaire achtergrond.

Contact

Vragen over de vacature of de procedure? Stuur een email naar a.voogt@algorithmaudit.eu.

Functietitel: Junior of medior AI adviseur

Wil jij concreet bijdragen aan de verantwoorde inzet van AI en algoritmes? En wil jij dat doen vanuit een onafhankelijke en maatschappelijke rol? Kom stichting Algorithm Audit versterken als AI adviseur en draag bij aan de collectieve kennisopbouw over verantwoorde AI.

Over stichting Algorithm Audit

Stichting Algorithm Audit is een Europees kennisplatform voor verantwoorde AI en AI-evaluatie. We zijn een technisch onderlegde, sterk interdisciplinaire en maatschappelijk betrokken organisatie die zich inspant voor publieke kennis over verantwoorde AI en algoritmes. In enkele jaren zijn we uitgegroeid tot een internationaal erkende kennispartner op het gebied van AI bias testing, non-discriminatie, en de evaluatie van AI-systemen op socio-technische risico’s. We adviseren voornamelijk publieke sector organisaties en zetten ons actief in om kennisuitwisseling tussen overheidsorganisaties aan te jagen. We verrichten projectwerk voor o.a. de AI Office van de Europese Commissie, de Raad van Europa, Nederlandse uitvoeringsorganisaties en gemeenten.

Wat ons als nonprofit drijft is het maatschappelijk belang en niet winstmaximalisatie. Wij publiceren onze adviezen en delen onze kennis via white papers. Door ons businessmodel zijn wij een alternatief voor commerciële consulting, waarin we onze maatschappelijke drive combineren met praktijkervaring. We ontwikkelen open source tools en evaluatiemethodieken: bijvoorbeeld een validatiekader voor taalmodellen die voor publieke informatievoorziening worden ingezet en Nederlandse benchmark datasets voor evaluatie van generatieve AI. Door casusonderzoek en oordeelsvorming door onafhankelijke adviescommissies dragen we bij aan publieke kennisopbouw en normering van concrete use cases. Voor deze werkzaamheden ontvingen we de Brouwer Vertrouwensprijs 2026 van de Koninklijke Hollandsche Maatschappij der Wetenschappen.

Wij zijn een jonge, enthousiaste en snelgroeiende organisatie met een klein kernteam maar met een groot netwerk van academici, beleidsmakers en experts in Nederland en Europa waar we mee samenwerken. Ons kantoor is gevestigd in Den Haag.

Wat zoeken wij?

Als AI adviseur bij Algorithm Audit:

• Verricht je projectwerk met betrekking tot de verantwoorde inzet van algoritmen en AI voor verschillende klanten, voornamelijk in de publieke sector;
• Analyseer je documentatie over algoritmes en heb je affiniteit met toepasselijke wet- en regelgeving;
• Je bent in staat een brug te vormen tussen juristen, ethici en technici die vanuit hun eigen disciplines werken aan de verantwoorde inzet van algoritmes en AI;
• Draai je mee in een team met ervaren adviseurs;
• Draag je schriftelijk bij aan o.a. technisch en/of juridische analyses, presentaties, beschrijvingen van technische tools;
• Heb je inzicht in de statistische basis van algoritmen, AI en data-analyse (het zelfstandig kunnen ontwikkelen van Python-code is een pré);
• Onderzoek je naar eigen inzicht onderwerpen waarvoor in het bedrijfsleven geen tijd is;
• Ondersteun je het team met praktische aspecten die komen kijken bij het runnen van een jonge organisatie, zoals het hosten van events, PR en communicatie;
• Licht je door Algorithm Audit opgedane inzichten in begrijpelijke taal toe, zodat deze met de samenleving, beleidsmakers en juristen kunnen worden gedeeld.

Thematische werkzaamheden

Binnen het team verdelen we de werkzaamheden. Afhankelijk van je ervaring en affiniteit krijg je een eigen takenpakket. De volgende onderwerpen zijn voorbeelden van thema’s waaraan Algorithm Audit werkt:

• Implementatie van de AI-verordening:
  • Verdiepen in wettekst en koppeling maken tussen concepten uit de wet en de algoritmische praktijk;
  • Verdiepen in standaarden, inhoudelijke evaluatie van AI-systemen en de rapportage hierover;
  • Inzichten verwerken in Algorithm Audit’s open source AI-verordening implementatie tool, incl. business development.
• Socio-technologische evaluatie van Large Language Models (LLMs):
  • Begrip van kerncomponenten uit LLM-applicaties, zoals embeddings, Retrieval-Augmented Generation (RAG), knowledge bases, chunking etc.;
  • Opstellen van domein-specifieke evaluatiecriteria voor LLM-toepassingen;
  • Pro-actief contact leggen en onderhouden met LLM-gemeenschap in Nederland en Europa die zich verdiepen in socio-technologische evaluatie van LLM-toepassingen.
• Non-discriminatie en bias-analyse:
  • Verdiepen in algoritmische discriminatie en non-discriminatierecht;
  • Uitvoeren van bias toesten;
  • Doorontwikkelen van methodologie voor het toetsen en voorkomen van algoritmische discriminatie.

Vaardigheden

• Relevante universitaire studie afgerond (technisch, juridisch en/of bestuurskundig etc.);
• Aantoonbare affiniteit met verantwoorde algoritmes en AI, vanuit een juridische, beleidsmatige en/of technische invalshoek;
• Werkervaring:
  • Junior: 1-2 jaar werkervaring, bij voorkeur concrete ervaring met het ontwerpen van of adviseren over verantwoorde algoritmes en AI;
  • Medior: 2-5 jaar werkervaring, ten minste 2 jaar ervaring met het ontwerpen van of adviseren over verantwoorde algoritmes en AI;
• Programmeervaardigheden en inzicht in statistiek zijn een pré;
• Sterk organisatorisch vermogen;
• In staat om in klein team in goede afstemming te werken en ook veel zelfstandig op te pakken;
• Ondernemende en pionierende instelling passend bij een start-up;
• Representatief naar opdrachtgevers en belanghebbenden;
• Uitstekende schrijfvaardigheid Engels en Nederlands.

Wat verwachten wij?

• Je bent 3-5 dagen per week op kantoor in Den Haag;
• Bereidheid om binnenlands te reizen, en incidenteel Europees;
• Nederlandse nationaliteit of werkvergunning.

Arbeidsvoorwaarden

• Salaris op basis van 1.0 fte, excl. vakantietoeslag, 13e maand, pensioenopbouw (6% bruto per maand), thuiswerkvergoeding. Het salaris kan worden bijgesteld naar boven bij buitengewone werkervaring:
  • Junior: Bruto maandsalaris van €3.200-4.200/maand
  • Medior: Bruto maandsalaris van €3.800-5.000/maand
• 26 vakantiedagen;
• Hybride werkopstelling, waarbij minimaal drie dagen aanwezigheid op kantoor wordt verwacht;
• Arbeidsovereenkomst voor één jaar.

Praktische opmerkingen

• Deze vacature staat open tot en met 30-04-2026;
• Op basis van de aangeleverde documenten kun je worden uitgenodigd voor een online kennismakingsgesprek;
• Bij een wederzijdse match volgen 1-2 vervolggesprekken op locatie;
• De startdatum wordt in overleg bepaald.

Diversiteit en inclusie

Nadenken over verantwoorde algoritmes kunnen we alleen als we ieders perspectief meenemen. We hechten daarom sterk aan diversiteit en inclusie in al onze werkzaamheden, met name in het betrekken van verschillende belanghebbende groepen. Ook als organisatie willen we diversiteit weerspiegelen m.b.t. bijvoorbeeld gender, culturele en disciplinaire achtergrond.

Contact

Vragen over de vacature of de procedure? Stuur een email naar a.voogt@algorithmaudit.eu.