El problema de la detección automatizada de comentarios racistas en internet

Revisar todos los comentarios que se vierten a la red para detectar aquellos que deberían ser censurados por ser racistas, incitar al odio o resultar inaceptables por otros motivos es algo que cada vez depende menos de moderadores humanos y más de software especializado. El problema de dejar la labor a sistemas automáticos es que incluso los basados en un sistema etiquetable como “inteligencia artificial” carecen de verdadera inteligencia y pueden cometer errores absurdos.

Todo apunta a que un error de este tipo fue lo que motivó que a Antonio Radi (Agadmator), un ajedrecista croata con un popular canal sobre ajedrez en YouTube, la plataforma le bloqueara su cuenta en junio pasado por contenido "dañino y peligroso".

YouTube no dio ninguna explicación y restableció el canal en 24 horas.

Ashiqur R. KhudaBukhsh y Rupak Sarkar, de la Universidad Carnegie Mellon en Estados Unidos, creen que el error cometido por el sistema automático de YouTube que se ocupa de rastrear contenidos para señalar aquellos que, según su criterio, deberían ser censurados, se debió a la jerga típica del ajedrez sobre enfrentamientos entre piezas blancas y negras, que fue interpretada por el sistema de inteligencia artificial como comentarios racistas y de incitación al odio racial en el marco de enfrentamientos de blancos contra negros.

Los sistemas de detección automática de comentarios racistas en internet pueden cometer errores. (Imagen: Amazings / NCYT)

"No sabemos qué herramientas utiliza YouTube, pero si se basan en la inteligencia artificial para detectar el lenguaje racista, este tipo de accidente puede ocurrir", explica KhudaBukhsh. Y si le ocurrió públicamente a alguien de tan alto perfil como Radi, es muy posible que le esté ocurriendo silenciosamente a muchas otras personas que no son tan conocidas".

Para comprobar si esto era posible, KhudaBukhsh y Sarkar probaron dos clasificadores de lenguaje de última generación, un tipo de software de inteligencia artificial que puede ser entrenado para detectar indicios de discurso de odio. Utilizaron los clasificadores para examinar más de 680.000 comentarios recogidos en cinco populares canales de YouTube dedicados al ajedrez.

A continuación, tomaron una muestra aleatoria de 1.000 comentarios que al menos uno de los clasificadores había marcado como discurso de odio. Cuando revisaron manualmente esos comentarios, descubrieron que la gran mayoría, el 82%, no incluía expresiones de odio. Palabras como "negro", "blanco", "ataque" y "amenaza", comunes al hablar de ajedrez, parecían ser los desencadenantes. (Fuente: NCYT de Amazings)