Nel 2015 il sistema di riconoscimento immagini di Google ha iniziato a catalogare alcune persone di colore come “gorilla”. Non essendoci modo di capire esattamente dove l’algoritmo di Google stesse sbagliando, ci si è limitati (temporaneamente) a vietargli di classificare qualunque cosa come gorilla.
Uno dei più recenti ha come protagonista Amazon Rekognition, il software per il riconoscimento facciale progettato dal colosso fondato da Jeff Bezos e venduto alle forze dell’ordine di tutto il mondo. Nel luglio dello scorso anno, la Aclu (American Civil Liberties Union) ha testato il programma e pubblicato gli esiti dell’esperimento. Utilizzando un database di 25mila foto segnaletiche accessibili al pubblico, e confrontandole con le foto dei 535 parlamentari statunitensi, Rekognition ha individuato 28 politici eletti alla Camera e al Senato: vale a dire che ha confuso 28 parlamentari con i criminali le cui foto segnaletiche sono archiviate nei database della polizia.
Fin qui, ci troviamo davanti a un ulteriore esempio della (pericolosa) inaccuratezza di questi sistemi. Ma c’è di più: nel 39% dei casi, i parlamentari confusi per criminali erano uomini e donne di colore; che però rappresentano solo il 20% degli esponenti del Congresso. In poche parole, una persona di colore ha circa il doppio della possibilità di essere scambiata per un criminale rispetto a un bianco; perpetuando in questo senso gli stessi pregiudizi di cui è vittima una parte consistente della società occidentale.
Il lavoro compiuto da un’intelligenza artificiale sarà accurato in maniera direttamente proporzionale alla bontà dei dati che sono stati utilizzati per istruirlo. E questo vale tanto per l’analisi testuale quanto per il riconoscimento facciale: “Dipende tutto dai dati”, si legge per esempio sul New Scientist. “Se nel database ci sono molte più immagini di uomini bianchi che di donne di colore, l’algoritmo diventerà molto più bravo a identificare gli uomini bianchi”.
Se inserisci spazzatura, uscirà spazzatura…
Alexandria Ocasio-Cortez ha ragione: gli algoritmi sono razzisti
