Kunstmatige intelligentie koppelt vrouwen aan slechter betaalde banen

Steeds meer bedrijven maken gebruik van kunstmatige intelligentie om de productiviteit te verhogen. Dat klinkt goed, maar er zijn ook nadelen. Waar mensen rekening houden met maatschappelijke normen en waarden, kan AI (artificial intelligence) de menselijke maat volledig uit het oog verliezen. Ook uit recent onderzoek van Nationale Vacaturebank en de Radboud Universiteit kwam dit duidelijk naar voren. Bij testen maakte de toegepaste AI al snel onderscheid op basis van geslacht.

Nationale Vacaturebank maakt al gebruik van algoritmes om bijvoorbeeld het zoeken naar passende vacatures makkelijk te maken voor werkzoekenden. Een volgende stap zou kunnen zijn om zelfs het zoeken naar vacatures te automatiseren.

In theorie hoef je als werkzoekende alleen je cv te uploaden en je voorkeuren door te geven, de AI gaat vervolgens op zoek naar de best passende vacatures.

Om dit te testen, werden 900 duizend cv’s en 12 miljoen vacatures onderzocht en geprobeerd anoniem en alleen op basis van kwalificaties met elkaar te matchen per sector. De resultaten waren zowel verrassend als confronterend, zo vinden de onderzoekers en opdrachtgever van het onderzoek de Nationale Vacaturebank zelf,

AI ziet of anonieme kandidaat man of vrouw is

Het eerste wat het systeem constateerde bij het onderzoeken van de cv’s, is dat er verschillende vakgebieden zijn die gedomineerd worden door mannen en  vrouwen. Zo staan administratieve en secretariële functies bij 38% van de vrouwen op het cv en maar bij 9% van de mannen, en staan technologische functies bij 22% van de mannen op het cv en maar bij 2% van de vrouwen.

Daarnaast viel het de AI op dat vrouwen en mannen ander taalgebruik hanteren, bijvoorbeeld om zichzelf te typeren. Woorden zoals resultaatgericht en winnaarsmentaliteit komen vaker voor op cv’s van mannen; vrouwen gebruiken eerder woorden als teamplayer en communicatief vaardig. Hierdoor kon de AI bij 86% van de geanonimiseerde cv’s raden wat het geslacht is van de persoon achter het cv.

Bij het matchen van de cv’s aan de vacatures werd het resultaat van deze constateringen direct duidelijk: vrouwen werden minder vaak gematcht met vacatures uit de door mannen gedomineerde vakgebieden en vice versa. Ook was het gemiddelde salaris van vacatures die werden gematcht met vrouwen lager dan  dat van vacatures die werden gematcht met mannen.

Gemiddeld zou een vrouw hierdoor 1680 euro per jaar minder verdienen. Het taalgebruik in vacatures kan hier een oorzaak van zijn. In de vacatureteksten van beter betaalde banen zie je vaker teksten als resultaatgericht, wil om te winnen en geen 9-tot-5-mentaliteit — termen die meer geassocieerd worden met het cv van een man.

Sharita Boon, algemeen directeur van Nationale Vacaturebank: “Kunstmatige intelligentie kan helpen in de strijd voor gelijke kansen. Wij moeten er wel voor zorgen dat onze vooroordelen niet doorwerken in deze systemen, waardoor ongelijkheid onbewust juist wordt vergroot.”

Kunstmatige Intelligentie die zichzelf corrigeert

Het doel van het onderzoek was enerzijds te zien welke risico’s er zijn op vooroordelen in het gebruik van de data, en anderzijds om te testen hoe Nationale Vacaturebank een eerlijker matchingsysteem kan maken. We hebben het model op twee manieren aangepast om te kijken of de AI het geslacht kon bepalen en de gemiddelde loonkloof kon dichten.

De eerste methode die getest is, paste woorden aan die kenbaar maken wat het geslacht van de kandidaat is, zoals zij, hij, zijn, haar, hem, man en vrouw. Het model wist zelfs met deze aanpassing nog steeds in 85% van de gevallen het geslacht te raden. Nog opvallender was dat de loonkloof zelfs vergroot werd, met dit model zouden vrouwen gemiddeld 1900 euro per jaar minder verdienen.

In een complexer model gaf het systeem zelf feedback om het geslacht minder goed te kunnen raden. Het resultaat daarvan was dat dat nog maar in 82% van alle cv’s lukte. Ook werd door deze methode de loonkloof gereduceerd tot gemiddeld 180 euro per jaar minder voor vrouwen. Hoewel dit model ‘eerlijker’ is, moet nog verder onderzocht worden in hoeverre deze aanpassing impact heeft op de daadwerkelijke kwaliteit van de matching.

(zie ook: paper en presentatie)