Apple Card onder vuur vanwege seksistisch algoritme
De recent gelanceerde Apple Card ligt nu al stevig onder vuur. Het achterliggende algoritme dat de kredietwaardigheid van aanvragers vaststelt zou discriminerend werken. Aanleiding voor de ophef is een tweet van een prominente tech-ondernemer, die een twintig keer hoger limiet krijgt dan zijn vrouw met wie hij in gemeenschap van goederen is getrouwd. Hetzelfde overkwam niemand minder dan Steve Wozniak, mede-oprichter van Apple, en zijn vrouw.
Kunstmatige intelligentie speelt een voorname rol in digitale ontwikkelingen. Verschillende vormen hebben de potentie om baanbrekend te zijn en bedrijfssectoren danig op te schudden. Een veelgehoorde vrees over kunstmatige intelligentie is dat het discriminatie in de hand kan werken, discriminatie op basis van verschillende eigenschappen. Apple ligt nu onder vuur, omdat het algoritme dat de kredietlimiet berekent voor aanvragers van Apple’s recent gelanceerde creditcard vrouwen zou benadelen.
‘Fucking sexist’
Het balletje kwam aan het rollen nadat David Heinemeier Hansson, bekend als oprichter van het webontwikkelingsraamwerk Ruby on Rails, ontdekte dat zijn limiet twintig keer hoger mocht liggen dan dat van zijn vrouw. Ter verduidelijking, zijn vrouw met wie hij in gemeenschap van goederen getrouwd is. Hansson spuwde zijn gal op Twitter en noemde het algoritme in niet mis te verstane woorden ‘such a fucking sexist program’.
Met ruim 355.000 volgers op Twitter duurde het niet lang voordat het nieuws breed werd opgepikt en Hansson uit verschillende hoeken bijval kreeg. Die bijval kwam ook van Steve Wozniak, één van de oprichters van Apple. Ook voor Wozniak - eveneens in gemeenschap van goederen getrouwd - gold dat hij tien keer meer limiet toegezegd kreeg dan zijn vrouw. Het verschil lag echter wel de helft lager, Wozniak kon beschikken over een limiet met factor tien hoger. Naast andere consumenten sprongen ook de autoriteiten snel op het nieuws. Een vertegenwoordiger van de New York State Department of Financial Services liet weten dat financiële instellingen zelf verantwoordelijk zijn dat algoritmes niet discrimineren, ook niet onopzettelijk.
Gelijke behandeling garandeert geen gelijke uitkomst
Bovenstaande ontwikkelingen zijn zonder meer saillant, maar minstens zo opmerkelijk is relevant onderzoek van de universiteit van Edinburgh. Dat stelt namelijk dat een verbod op het meenemen van het geslacht in beoordelingen over kredietwaardigheid juist nadelig werkt voor vrouwen. Het onderzoek richtte zich op bijna 80.000 aanvragers voor een autolening bij een grote Europese bank, tussen 2003 en 2009. In een model waarin het man dan wel vrouw zijn wél meegenomen profiteerden vrouwen van het feit dat ze vrouw waren. Hoe? Over de gehele linie en op basis van resultaten uit het verleden bleken vrouwen een lager risico te vormen dan mannen, waardoor ze minder vaak geweigerd werden dan mannen.
Volgens de onderzoekers leidde het weglaten van het geslacht derhalve niet tot een gegarandeerd eerlijke uitkomst voor consumenten, ondanks dat het wettelijk verplicht is om zo te werk te gaan. “Op basis van onze data konden we aantonen dat vrouwen kunnen profiteren van het meenemen van geslacht in kredietwaardigheidsmodellen”, aldus het onderzoek. Men haast zich er echter bij te zeggen dat deze uitkomst niet automatisch rechtstreeks over te leggen is op kredietbeoordelingsmodellen voor andere doeleinden en met andere potentieel kwetsbare groepen als lijdend voorwerp. “Ons onderzoek illustreert dat gelijke behandeling niet automatisch leidt tot een gelijke uitkomst.”