Advertentiesysteem van Meta gebaseerd op machine learning discrimineert indirect vrouwen: wat nu?

Het College voor de Rechten van de Mens heeft geoordeeld dat het machine learning (ML)-gedreven advertentiesysteem van Meta indirect discrimineert tegen vrouwen. Een samenvatting van de uitspraak:

Belangrijkste punten

• Mensenrechteninstituten in een EU-lidstaat (bijv. Nederland) kunnen juridische stappen ondernemen tegen een social media platform (Meta Inc.) dat in een andere lidstaat (Ierland) is geregistreerd.
• NGO’s die zijn opgericht om de rechten van specifieke demografische groepen (bijv. vrouwen) te behartigen, kunnen deze groepen vertegenwoordigen in juridische procedures.
• Het aanbieden en personaliseren van vacatures op social media wordt geclassificeerd als een dienst, niet als arbeidsbemiddeling of werving en selectie.
• Bewijs toonde aan dat meer dan 85% van de stereotypisch vrouwelijke banen (bijv. receptioniste, basisschooldocent) voornamelijk aan vrouwen werd getoond, terwijl stereotypisch mannelijke banen (bijv. monteur, piloot) voornamelijk aan mannen werden getoond.
• Dit leidde tot de omkering van de bewijslast, waarbij Meta moest aantonen dat er sprake was van gelijke behandeling, wat ze niet konden doen.
• Het ML-algoritme gebruikte profilering op een dynamische manier, waarbij geslacht soms wel en soms niet onderdeel was van profilering. Deze vorm van onderscheid kwalificeert niet als directe discriminatie, maar wel tot indirecte discriminatie.
• Het College beoordeelde het gemaakte onderscheid door het algoritme aan de hand van drie criteria volgens de objectieve rechtvaardigingstoets:
  • Legitimiteit: Het differentiëren van vacatures is een legitiem doel voor Meta om haar diensten te verlenen.
  • Geschiktheid: ML-gestuurde differentiatie is geschikt om dit doel te bereiken.
  • Noodzaaklijkheid: De methode was echter niet noodzakelijk, aangezien alternatieven zoals algoritmische differentiatie gecombineerd met monitoring van ongelijke effecten ook tot de mogelijkheden behoorden, maar Meta hier niet voor gekozen heeft.

Dit is geen nieuw probleem voor Meta. In de Verenigde Staten, onder druk van het Ministerie van Justitie, heeft Meta monitoringsystemen geïmplementeerd om dergelijke ongelijke behandeling te voorkomen, in het bijzonder het Variance Reduction System (VRS). Het is een realistische mogelijkheid dat het VRS nu ook in Europa wordt ingezet om het advertentiesysteem van Meta te reguleren. Het is echter teleurstellend dat Meta deze oplossing niet proactief heeft geïntroduceerd.