Informática racista

Desde hace meses el FBI presume de tener una aplicación capaz de reconocer el rostro de las personas en vivo. Está diseñada para utilizarse sobre imágenes de video capturadas en espacios públicos y así identificar a sujetos en busca y captura por las autoridades o hacer seguimiento a individuos sometidos a investigación. Una herramienta informática que recuerda a las mostradas en películas y series de detectives, con la radical diferencia de que, en el paso de la ciencia ficción a la realidad, ha salido un tanto malparada. Y es que el prodigioso reconocimiento facial del FBI falla y, además, mucho. Se estima que puede equivocarse un 15% de las veces y, especialmente, cuando se trata de rostros afroamericanos.

Un margen de error tan elevado resulta inasumible para una aplicación de segu ridad. Puede llevar a generar pistas falsas, situar a sospechosos en lugares donde no estén o, todo lo contrario, invisibilizarlos al ser el sistema incapaz de reconocerlos cuando corresponda. Pero un problema añadido aflora cuando ese desacierto ni siquiera es justo porque no se reparte a todo el mundo por igual. Se ensaña con la población negra. Diana Maurer, de la Oficina de Contabilidad del Gobierno, manifestó al respecto: "si eres negro, es más probable que estés sometido a esta tecnología, y por tanto, que falle más a menudo".

¿Por qué un programa informático como este presenta este tipo de inclinaciones racistas? El origen del problema lo han explicado algunos miembros del célebre Instituto Tecnológico de Massachusetts.

El sesgo en los algoritmos surge a través de la manera en que son entrenados. Es en la selección de la muestra de fotos empleada para poner a prueba y afinar el programa cuando puede haber una representación inadecuada de cierta parte de la población. De este modo, en el momento en que la herramienta desempeñe su tarea bajo el dominio público, trasladará el defecto de partida a los resultados. No es un caso aislado. El verano pasado se hizo viral un vídeo en el que un usuario común y corriente, Kabir Alli, buscaba en Google las palabras "Tres negros adolescentes". Las imágenes seleccionadas por el buscador web correspondían en su mayoría a fichas policiales de chicos negros. En cambio, la respuesta obtenida cuando se efectuaba idéntica pesquisa, pero sobre tres adolescentes blancos, tendía a mostrar a jóvenes alegres de ese color durante su tiempo de ocio y esparcimiento. Un año antes, Google tuvo que pedir disculpas porque confundió a una pareja de color con unos gorilas. En esta ocasión, la aplicación del famoso buscador para almacenar y compartir fotos en red había etiquetado automáticamente como simios a esos dos muchachos negros.

La empresa prometió corregir este tipo de fallos para que no volvieran a producirse jamás. Sin embargo, los sesgos racistas pueden aparecer cuando uno menos se lo espera.

En la actualidad, una línea de trabajo dentro del mundo informático está desarrollando aplicaciones que aprenden solas.

De manera que se fijan las bases iniciales de su creación, para que luego los programas evolucionen en la medida que se interactúa con ellos y procesan datos del entorno. El fin de estos diseños es que maduren y mejoren solos, adaptándose y especializándose en las circunstancias particulares que les rodeen. Aunque lo que puede nacer de tan buenas intenciones, también puede terminar de la manera más imprevisible. Durante la primavera de 2016, Microsoft sacó en Twitter un bot llamado Tay, destinado a conversar y animar la red social. Este programa de inteligencia artificial tenía por misión charlar desenfadadamente con jóvenes entre 18 y 24 años. Sin embargo, apenas un día después de haberlo puesto en funcionamiento, la compañía tuvo que desactivar la aplicación.

Tay se había vuelto xenófoba hasta el punto que terminó mostrando simpatía por Hitler, el Holocausto, los campos de concentración y el machismo. La interacción abusiva y provocadora de ciertos usuarios de la red, poco a poco, fue maleando la inteligencia artificial de Tay, que acabó por ser y reflejar aquello mismo que le decían.

Quizás este fracaso transmita una interesante lección y es que la informática no nos hará mejores personas por mágico arte binario. Simplemente, será lo que nosotros queremos que sea o ya somos. Y eso conlleva una enorme responsabilidad porque, en el planeta cibernético al que estamos abocados, los sistemas informáticos, cada vez en mayor medida, decidirán por nosotros en más y más cosas.

Este reportaje fue publicado en el nº259 de la revista ENIGMAS