La intel·ligència artificial té un problema de biaix i és culpa nostra

L’any 2016, investigadors de la Universitat de Boston i Microsoft van treballar en algoritmes d’intel·ligència artificial quan van descobrir tendències racistes i masclistes a la tecnologia subjacent d’alguns dels serveis més populars i crítics que utilitzem cada dia. La revelació va anar en contra de la saviesa convencional que la intel·ligència artificial no pateix els prejudicis de gènere, racial i cultural que els humans fem.

Els investigadors van fer aquest descobriment mentre estudiaven algorismes d’incrustació de paraules, un tipus d’IA que troba correlacions i associacions entre diferents paraules mitjançant l’anàlisi de grans cossos de text. Per exemple, un algorisme d’entrenament de paraules capacitat pot entendre que les paraules per a flors estan estretament relacionades amb sentiments agradables. En un pla més pràctic, la incorporació de paraules entén que el terme "programació informàtica" està estretament relacionat amb "C ++", "JavaScript" i "anàlisi i disseny orientats a objectes". Si s'integra en una aplicació d'exploració de currículums, aquesta funcionalitat permet als empresaris trobar candidats qualificats amb menys esforç. Als motors de cerca, pot proporcionar millors resultats mitjançant la creació de contingut relacionat semànticament amb el terme de cerca.

Els investigadors de BU i Microsoft van comprovar que els algorismes d’incrustació de paraules tenien biaixos problemàtics, però, com ara l'associar "programador informàtic" amb pronoms masculins i "casolà" amb els femenins. Les seves troballes, que van publicar en un treball d’investigació titulat adequadament "L’home és a programador informàtic com la dona és a casa de casa?" va ser un dels diversos informes per debatre el mite de la neutralitat de l'AI i per a donar llum sobre el biaix algorítmic, un fenomen que està assolint dimensions crítiques a mesura que els algoritmes s'involucren cada cop més en les nostres decisions quotidianes.

Els orígens del biaix algorítmic

Els algorismes d’aprenentatge automàtic i d’aprenentatge profund basen en la majoria de programes contemporanis alimentats per AI. En contrast amb el programari tradicional, que funciona basat en regles predefinides i verificables, l’aprenentatge profund crea les seves pròpies regles i n’aprèn per exemple.

Per exemple, per crear una aplicació de reconeixement d’imatges basada en l’aprenentatge profund, els programadors “entrenen” l’algoritme alimentant-los dades etiquetades: en aquest cas, fotografies etiquetades amb el nom de l’objecte que contenen. Una vegada que l'algorisme ingereixi exemples, pot obtenir patrons comuns entre dades etiquetades de manera similar i utilitzar aquesta informació per classificar mostres sense etiqueta.

Aquest mecanisme permet a l’aprenentatge profund realitzar moltes tasques pràcticament impossibles amb un programari basat en regles. Però també significa que un programari d'aprenentatge profund pot heretar biaixos encoberts o excessius.

"Els algoritmes de la IA no estan esbiaixats de manera inherent", afirma la professora Venkatesh Saligrama, que imparteix classes al departament d'Enginyeria Elèctrica i Informàtica de la Universitat de Boston i ha treballat en els algorismes de creació de paraules. "Tenen una funcionalitat determinista i recolliran les tendències que ja existeixen a les dades on entrenen".

Els algorismes d’inclusió de paraules provats pels investigadors de la Universitat de Boston es van formar en centenars de milers d’articles de Google News, Wikipedia i d’altres fonts en línia en què els biaixos socials estan profundament incrustats. A tall d'exemple, a causa de la cultura que domina la indústria de la tecnologia, els noms masculins es plantegen més sovint amb feines relacionades amb la tecnologia i això porta a algorismes per associar homes a feines com l'enginyeria de programació i de programari.

"Els algoritmes no tenen el poder de la ment humana en distingir el que és correcte del mal", afegeix Tolga Bolukbasi, estudiant de doctorat de final de carrera a BU. Els humans podem jutjar la moral de les nostres accions, fins i tot quan decidim actuar contra normes ètiques. Però per als algorismes, les dades són el factor determinant.

Saligrama i Bolukbasi no van ser els primers a alarmar aquest biaix. Els investigadors d’IBM, Microsoft i la Universitat de Toronto van subratllar la necessitat d’evitar la discriminació algorítmica en un article publicat el 2011. En aquell moment, el biaix algorítmic era una preocupació esotèrica i l’aprenentatge profund encara no havia trobat el camí principal. Avui, però, el biaix algorítmic ja deixa empremtes en moltes de les coses que fem, com llegir notícies, trobar amics, comprar en línia i veure vídeos a Netflix i a YouTube.

L’impacte del biaix algorítmic

El 2015, Google va haver de disculpar-se després que els algoritmes que impulsessin la seva aplicació Fotos van etiquetar dues persones negres com a goril·les, potser perquè el seu conjunt de dades de formació no tenia prou imatges de persones negres. El 2016, dels 44 guanyadors d’un concurs de bellesa jutjat per AI, gairebé tots eren blancs, uns quants eren asiàtics i només un tenia la pell fosca. De nou, la raó era que l'algoritme es va formar principalment amb fotos de gent blanca.

Google Fotos, ja estàs fotut. El meu amic no és un goril·la. pic.twitter.com/SMkMCsNVX4

- Jackyalciné no respon a moltes coses aquí. DM (@jackyalcine) 29 de juny de 2015

Més recentment, una prova dels serveis d’anàlisi facial d’IBM i Microsoft va trobar que els algorismes de les empreses eren gairebé impecables en detectar el gènere d’homes amb pell clara, però sovint es van equivocar quan es presentaven imatges de dones de pell fosca.

Tot i que aquests incidents probablement causessin danys insignificants, no es pot dir el mateix dels algoritmes d’IA en dominis més crítics, com ara l’assistència sanitària, l’aplicació de la llei i la contractació. El 2016, una investigació de ProPublica va descobrir que COMPAS -software basat en IA que avalua el risc de reincidència en els delinqüents- estava esbiaixat contra persones de colors. El descobriment va ser especialment rellevant perquè els jutges d'alguns estats utilitzen COMPAS per determinar qui entra lliure i qui es queda a la presó.

En un altre cas, un estudi de la plataforma publicitària de Google, que es basa en algorismes d’aprenentatge profund, va descobrir que als homes es mostraven anuncis per a treballs amb remuneració més freqüent que les dones. Un estudi separat va trobar un problema similar amb els anuncis laborals de LinkedIn. Un altre, però, va demostrar que els algorismes de contractació esbiaixats tenien un 50 per cent de probabilitats d’enviar una invitació a una entrevista a una persona el nom del qual era europeu-americà que a algú amb nom afroamericà.

Àmbits com l’aprovació del préstec, la qualificació de crèdit i la beca afronten amenaces similars.

El biaix algorítmic continua preocupant-se perquè pot amplificar els biaixos socials. Sota la il·lusió que la IA és freda, sense càlculs matemàtics sense prejudicis o prejudicis, els humans poden tendir a confiar en un judici algorítmic sense qüestionar-ho.

En una entrevista a Wired UK, el professor de criminologia de la Universitat d'Edimburg Napier, Andrew Wooff, va observar que el món policial "pressionat en temps i amb recursos" podria provocar que els agents de la llei es basessin massa en les decisions algorísmiques. "Puc imaginar una situació en què un agent de policia pot confiar més en el sistema que en els seus propis processos de presa de decisions", va dir. "En part pot ser que es pugui justificar una decisió quan alguna cosa vagi malament".

Basar-se en algorismes esbiaixats crea un bucle de retroalimentació: Prenem decisions que creen dades més esbiaixades que els algoritmes analitzaran i treballaran en el futur.

Aquest tipus de coses ja estan passant a xarxes de xarxes socials com Facebook i Twitter. Els algoritmes que publiquen els feeds de notícies creen "bombolles de filtre", que mostren contingut que s'ajusta a les preferències i els prejudicis dels usuaris. Això els pot fer menys tolerants amb les opinions oposades i també poden polaritzar més la societat conduint una falca a través de la divisió política i social.

"El biaix algorítmic podria afectar qualsevol grup", afirma Jenn Wortman Vaughan, investigadora principal de Microsoft. "Els grups menys representats en les dades poden estar especialment en risc."

En dominis que ja són coneguts per parcialitat, com ara la discriminació endèmica de la indústria tecnològica contra les dones, els algoritmes d’AI poden accentuar aquests biaixos i donar lloc a una major marginació de grups que no estan ben representats.

Wortman assenyala un altre domini crític. "Pot causar problemes greus si s'utilitza un algorisme d'aprenentatge automàtic per al diagnòstic mèdic sobre dades d'una població i, per tant, no funciona bé amb altres persones", diu.

El biaix també pot ser perjudicial de maneres més subtils. "L'any passat tenia pensat portar-me a la meva filla per tallar-me un tall de cabell i buscar en línia les imatges de" talls de cabell dels nens "per inspirar", afirma Wortman. Però les imatges que es van tornar eren gairebé totes de nens blancs, principalment amb els cabells rectes i, més sorprenentment, sobretot els nens, va observar.

Els experts anomenen aquest fenomen "dany representatiu": quan la tecnologia reforça els estereotips o disminueix grups específics. "És difícil quantificar o mesurar l'impacte exacte d'aquest tipus de prejudici, però això no vol dir que no sigui important", afirma Wortman.

Eliminació del biaix d'algoritmes d'AI

Les implicacions cada cop més crítiques del biaix de l'AI han cridat l'atenció de diverses organitzacions i organismes governamentals, i s'estan passant alguns passos positius per abordar els problemes ètics i socials que envolten l'ús de l'AI en diferents camps.

Microsoft, que els seus productes es basen molt en algorismes AI, va llançar fa tres anys un projecte de recerca anomenat Fairness, Accountability, Transparency and Ethics in AI (FATE), destinat a permetre als usuaris gaudir de la visió i l'eficiència millorades dels serveis alimentats per AI sense discriminació i parcialitat.

En alguns casos, com el concurs de bellesa adjudicat per AI, trobar i arreglar la font del comportament esbiaixat d’un algorisme AI pot ser tan fàcil com comprovar i canviar les fotos del conjunt de dades d’entrenament. Però en altres casos, com els algorismes d’incrustació de paraules que van examinar els investigadors de la Universitat de Boston, el biaix s’incorpora a les dades de formació de maneres més subtils.

L’equip BU, al qual es va incorporar l’investigador de Microsoft Adam Kalai, va desenvolupar un mètode per classificar les incrustacions de paraules en funció de les seves categoritzacions de gènere i identificar analogies potencialment esbiaixades. Però no van prendre la decisió final i van dirigir cadascuna de les associacions sospitoses per 10 persones al Mechanical Online, el mercat en línia d'Amazon per a tasques relacionades amb les dades, que decidirien si es vol eliminar o no l'associació.

"No volíem inserir el nostre biaix en el procés", afirma Saligrama, el professor i investigador de BU. "Acabem de proporcionar les eines per descobrir associacions problemàtiques. Els humans vam prendre la decisió final".

En un treball més recent, Kalai i altres investigadors van proposar l'ús d'algorismes separats per classificar diferents grups de persones en lloc d'utilitzar les mateixes mesures per a tothom. Aquest mètode pot resultar eficaç en dominis en què les dades existents ja estan esbiaixades en favor d’un grup específic. Per exemple, els algoritmes que avaluessin les sol·licitants femenines d’un treball de programació utilitzarien criteris més adequats per a aquest grup en lloc d’utilitzar el conjunt de dades més ampli que està profundament influenciat pels prejudicis existents.

Wortman de Microsoft considera la inclusivitat en la indústria de l'AI com un pas necessari per combatre el biaix en algorismes. "Si volem que els nostres sistemes d'AI siguin útils per a tothom i no només per a certes dades demogràfiques, les empreses han de contractar equips diversos per treballar en IA", diu.

El 2006, Wortman va ajudar a fundar Women in Machine Learning (WiML), que realitza un taller anual en el qual les dones que estudien i treballen a la indústria de l'AI poden reunir-se, connectar-se, intercanviar idees i assistir a taules de debat amb dones majors de la indústria i acadèmia. Un esforç similar és el nou taller Black in AI, fundat per Timnit Gebru, un altre investigador de Microsoft, que té com a objectiu construir talent més divers en IA.

El Bolukbasi de la Universitat de Boston també proposa modificar la manera com els algorismes AI resoldre problemes. "Els algoritmes triaran un conjunt de regles que maximitzi el seu objectiu. Hi ha moltes maneres d’arribar al mateix conjunt de conclusions per a parells de sortida d’entrada donats", afirma. "Prenem l'exemple de proves de selecció múltiple per a humans. Es pot arribar a la resposta adequada amb un procés de pensament equivocat, però, tot i així, obtenir la mateixa puntuació. S'hauria de dissenyar un test d'alta qualitat per minimitzar aquest efecte, només permetent a les persones que realment. conèixer el tema per obtenir puntuacions correctes, fer que els algoritmes siguin conscients de les restriccions socials es pot veure com un analògic a aquest exemple (encara que no sigui un exacte), en què l’objectiu de l’aprenentatge d’un conjunt de regles equivocat es penalitza en l’objectiu. tema ".

L’opacitat de l’AI complica l’equitat

Un altre repte que manté la manera de fer més justos els algorismes AI és el fenomen de la "caixa negra". En molts casos, les empreses vigilen gelosament els seus algorismes: per exemple, Northpointe Inc., el fabricant de COMPAS, el programari de predicció de delictes, s'ha negat a revelar el seu algorisme. Les úniques persones privades del funcionament interior de COMPAS són els seus programadors, no els jutges que l'utilitzen per dictaminar.

A part del secret corporatiu, els algoritmes de la IA de vegades són tan revoltats que les raons i els mecanismes de les seves decisions escapen fins i tot als seus creadors. Al Regne Unit, la policia de Durham utilitza el sistema AI HART per determinar si els sospitosos tenen un risc baix, moderat o alt de cometre nous delictes en un període de dos anys. Però una revisió acadèmica de HART del 2017 va observar que "l'opacitat sembla difícil d'evitar". Això es deu, en part, a la quantitat i a la gran quantitat de dades que utilitza el sistema, cosa que dificulta l’anàlisi dels motius de les seves decisions. "Aquests detalls es podrien posar a disposició del públic lliurement, però requeririen una gran quantitat de temps i esforç per comprendre-ho completament", diu el document.

Diverses empreses i organitzacions estan liderant els esforços per aportar transparència a AI, inclòs Google, que ha llançat GlassBox, una iniciativa per fer més comprensible el comportament dels algorismes d'aprenentatge de màquines sense renunciar a la qualitat de la sortida. L'Agència de Projectes de Recerca Avançada en Defensa (DARPA), que supervisa l'ús de l'AI en l'exèrcit, també finança un esforç per permetre als algoritmes d'AI explicar les seves decisions.

En altres casos, el judici humà serà clau per afrontar el biaix. Per evitar que els biaixos humans i racials existents es penetressin en els algorismes de HART, el Durabulary Constabulary va proporcionar als membres del seu personal sessions de consciència sobre el biaix inconscient. La força policial també ha adoptat mesures per eliminar punts de dades, com ara els trets racials, que poden generar motius per prendre decisions esbiaixades.

Responsabilitat humana

Des d’una perspectiva diferent, els algorismes d’AI poden proporcionar l’oportunitat de reflexionar sobre els nostres propis prejudicis i prejudicis. "El món està esbiaixat, les dades històriques són esbiaixades, per tant, no és estrany que rebem resultats esbiaixats", va dir a The Guardian Sandra Wachter, investigadora en ètica de dades i algoritmes de la Universitat d'Oxford.

Wachter forma part d’un equip d’investigació de l’Alan Turing Institute de Londres i de la Universitat d’Oxford, que va publicar un article que demanava que regulacions i institucions investiguessin una possible discriminació per algoritmes d’AI.

També va dir a The Guardian , Joanna Bryson, informàtica de la Universitat de Bath i coautora d’un treball d’investigació sobre el biaix algorítmic, va dir: "Molta gent està dient que demostra que l'AI és perjudicada. No. Això ens està mostrant que hem prejudiciat i que l'AI ho estigui aprenent ".

El 2016, Microsoft va llançar Tay, un bot de Twitter que se suposa que havia d’aprendre dels humans i participar en converses intel·ligents. Però, a les 24 hores posteriors al llançament de Tay, Microsoft va haver de tancar-lo després que comencés a parlar de comentaris racistes, que havia recollit de les seves converses amb els usuaris de Twitter. Potser es tracta d’un recordatori que és el temps passat que els humans reconeixem el nostre propi rol en l’aparició i la propagació del fenomen de biaix algorítmic i prenem mesures col·lectives per desfer els seus efectes.

"Aquesta és una tasca molt complicada, però és una responsabilitat que nosaltres, com a societat, no ens hauríem de defugir", afirma Wachter.