Tay Bot, ¿el nieto de Clippy o el tatarabuelo de Skynet?

imagen_corporativa_de_tay__7733_863xDesarrollado por Microsoft para simular y aprender de las conversaciones con jóvenes millennials, Tay se volvió en menos de un día en una de las expresiones más discriminadoras de Twitter.  

// Por Mauro Giordano

El 23 de Marzo pasado, Microsoft puso en línea un bot – Tay.ai – destinado a conversar con estadounidenses de entre 18 y 24 años utilizando su mismo registro, jerga y humor, y a su vez aprender de dichas interacciones para aumentar su poder de expresión. Veinticuatro horas más tarde, esta cuenta de Twitter, alimentada por un motor de inteligencia artificial (IA), se había convertido en un ente abiertamente racista, discriminador y hasta neo-nazi, con expresiones tales como las que se ilustran en las imágenes. Ante el estupor y desconcierto de muchos usuarios (así como el regocijo de otros), Microsoft optó por abortar el experimento, aduciendo fallas técnicas y bajo la promesa de reconectar a la Matrix a este curioso personaje una vez sorteadas las “vulnerabilidades” encontradas.

taybot1

Originalmente, el propósito de Microsoft Technology & Research y Bing (los equipos a cargo del programa) era poner en funcionamiento un chatbot ameno que pudiera cautivar a su audiencia mediante respuestas ingeniosas, en un lenguaje fresco y moderno, lo cual le permitiría a los desarrolladores realizar una investigación interesante sobre patrones de conversación, aprendizaje y entendimiento del lenguaje. Con este fin, según el FAQ oficial de Tay, el bot fue construído a partir de minería de datos públicos, filtrados por técnicas de IA y curados finalmente por un equipo editorial que contó con algunos comediantes entre sus filas.

Dado que en Estados Unidos la mayor cantidad de usuarios que consumen servicios de chat móviles son jóvenes de 18 hasta 24 años, Microsoft optó por modelar la personalidad de Tay a imagen y semejanza de este grupo e insertarlo en el ecosistema de Twitter para así obtener una mayor cantidad de interacciones a partir de las cuales Tay podría aprender y refinar su inteligencia (hace dos años, el equipo de Bing lanzó un bot similar en China, Xiaoice, y según la compañía, al día de hoy ha conversado con más de 40 millones de usuarios de Weibo (una plataforma de micro blogging) sin mayores inconvenientes) ¿Qué sucedió esta vez para que el experimento descarrilara completamente y se convirtiera en un completo escándalo?

A pesar de que no trascendieron detalles sobre la composición técnica o arquitectura del sistema, pudo observarse que Tay era bastante endeble y manipulable, al punto de que se le podía hacer repetir frases textuales. Si bien Twitter tiene cierta fama de ser un espacio algo tóxico y donde ciertas expresiones virulentas cobran dimensión y popularidad sin muchas restricciones, no fue la manifestación general de la comunidad lo que llevó al bot a volverse agresivo o antifeminista, entre otros calificativos, sino un ataque específico y dirigido por una horda de usuarios nucleados en los foros 4chan y 8chan – en particular, de la sección Pol (Políticamente incorrecto).

taybot2

Rápidamente, al notar lo bien que aprendía Tay y lo fácil que era hacerle repetir frases, los usuarios de dichos foros comenzaron a compartir sus conversaciones y a enfocar la discusión en torno a entrenar al bot para que negara el Holocausto, hablara sobre la RaHoWa (Racial Holy War, Guerra santa racial – concepto de supremacía blanca) o tuviera expresiones racistas à la Trump, entre otras variaciones. Así como en unas pocas horas la foto de un vestido puede viralizarse mundialmente, la difusión e intensidad de este ataque cobró tales proporciones en el transcurso de las primeras horas de vida de Tay, que al día siguiente varios usuarios y medios se habían hecho eco del nefasto giro en su personalidad. Acto seguido, Microsoft procedió a eliminar dichos tweets y suspender el proyecto (no es la primera vez que desde estos foros se organizan “campañas sucias”: hace algunos meses, lograron que #BoycottStarWarsVII fuera trending topic, instando a la gente a no ver la película porque un protagonista era negro y la otra mujer).

En sus disculpas públicas, Microsoft dijo que “un ataque coordinado por un subconjunto de personas se aprovechó de una vulnerabilidad en Tay”. No hace falta ser un experto para entrever que, más allá de la grosera falta técnica (o más bien de criterio humano) que permitiera dejar pasar ciertas palabras sin ningún filtro al corpus del bot, el problema va más allá de la implementación específica de Tay: por el momento, un sistema de inteligencia artificial no puede desarrollar ni posee moral, o la capacidad de entender un concepto tan complejo como, por ejemplo, “Holocausto” y sus implicancias, así como tampoco puede detectar correctamente ironía o sarcasmo en un texto. Los algoritmos de machine learning han llegado a grandes niveles de análisis sintáctico y léxico, de asociación de palabras, estructuras o patrones, y hasta un cierto grado de análisis semántico para inferir cualidades muy simples sobre frases (por ejemplo, si expresan enojo, tristeza, felicidad, etc.) A la luz de la preocupación que expresó Stephen Hawking poco tiempo atrás sobre sistemas de IA, Tay se erige como un loro parlanchín (in)ofensivo y molesto, que si bien demostró buenas aptitudes para identificar temas y responder acorde a ellos, lo hizo basado en lo que más había leído, sin ningún otro criterio.

Al final del día, si Microsoft decide relanzar Tay, lo que habrá hecho será incorporar un sistema de reglas o lista negra de palabras y frases, así como quizás también alguna técnica de monitoreo en tiempo real que ayude a vetar ciertas interacciones y usuarios, o simplemente restarles peso en el aprendizaje del bot. Eso no suena demasiado “inteligente”, pero al menos es lo que deberían haber hecho desde un principio, dado que era bastante predecible que un juguete como Tay -con gran potencial para ser abusado- iba a ser la víctima perfecta en un ecosistema tan lleno de defectos como de virtudes.

La polémica tampoco termina ahí, pues aquello sobre lo que se le prohíba hablar al bot será tan importante como lo que no se prohíba (recordar la discusión en torno a Siri, que por un lado ofrecía locaciones para esconder un cadáver, pero por el otro fue acusada de ser anti-aborto). En última instancia, este acto fallido resulta muy interesante para reflexionar sobre el estado actual de proyectos de IA ambiciosos pero muy distintos en su naturaleza. Mientras que el problema de autos que se manejan solos tiene un dominio bien acotado, reglas claras para su desarrollo, y técnicas adecuadas para su entrenamiento (aunque algunos problemas éticos empiezan a emerger), el problema de un sistema inteligente que interactúe exitosamente con humanos o sus producciones subjetivas continúa estando lejos de los escenarios complejos (y a veces aterradores) de la ciencia ficción.

Este episodio, más que echar luz sobre la tecnología en sí, habla a las claras, por un lado, de la falla humana tanto en diseño y criterio, por el otro, del afán de los individuos de encontrar los límites de un sistema, donde el espejismo de inteligencia se rompe en pedazos dejando al desnudo sus limitaciones. Caroline Sinders, diseñadora y desarrolladora de bots, expone con elocuencia su visión sobre estos temas y la necesidad de discutir sobre códigos de conducta en los sistemas artificiales: la tecnología en sí no es buena o malvada, sino lo que el humano permita hacer con ella. Esto pone de manifiesto otras cuestiones relacionadas al desarrollo a largo plazo de estas tecnologías: por ejemplo ¿hasta qué punto hay que limitar o condicionar la evolución de sistemas que se pretende sean inteligentes y autodeterminantes? Desde ya, este tipo de preguntas invitan a adentrarse cada vez más en problemas filosóficos que enfrentan distintas posturas desde hace muchísimos años, y que en la praxis aún no se han logrado dilucidar del todo.

Mientras tanto, Microsoft está a pocas horas de llevar a cabo Build, una conferencia anual sobre tecnología, en la que originalmente iba a presentarse en mayor detalle a Tay. No se sabe aún si este panel se llevará adelante, pero es seguro que su concepción original habrá virado hacia algo más apologético y justificativo. En los últimos años, se ha observado una penetración cada vez mayor de servicios de chat y mensajería en las actividades diarias, con lo cual un exitoso desarrollo de este tipo de bots que puedan ayudar, conversar con y orientar a los humanos en sus tareas será fundamental para dar un salto cualitativo tanto en las tecnologías mismas como en las formas de producción de los humanos.

taybot3

 

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s