Cajas negras, redes sociales y transparencia. ¿Qué hace el Gobierno con nuestros datos mientras combate el discurso de odio?

El Protocolo para combatir el discurso de odio Ilegal en línea, que la Secretaría de Estado de Migraciones del Ministerio de Inclusión, Seguridad Social y Migraciones publicó el pasado 18 de marzo, utiliza el entrenamiento de sistemas de inteligencia artificial para desarticular contenido ilícito de internet pero, ¿cómo funcionan estos sistemas y qué pasa con los datos de los usuarios durante el proceso? 

Además de los riesgos revelados por lamarea.com la semana pasada, diversos especialistas alertan de la falta de transparencia del protocolo, que podría afectar a otros derechos fundamentales además de la libertad de expresión. Entre sus principales preocupaciones destacan la opacidad de los procesos de inteligencia artificial, la falta de concreción de las autoridades competentes en distintas fases del proceso y del papel de las plataformas digitales en el posible bloqueo o eliminación de los contenidos en Internet que podrían llegar a ser considerados ilícitos, independientemente de que sean constitutivos de delito, lo que podría generar un efecto disuasorio en la ciudadanía para expresar sus opiniones en Internet.

Detrás del algoritmo

El protocolo, coordinado por el Observatorio Español de Racismo y la Xenofobia (OBERAXE), órgano dependiente de la Secretaría General de Inmigración y Emigración, y en el que han participado diversas organizaciones de la sociedad civil, posee una metodología ideada por proyecto europeo ALRECO que consta de tres etapas.

Tras la elección de un banco de palabras “que están contenidas con mayor frecuencia en contenidos de odio”, como explica la directora del OBERAXE, Karoline Fernández de la Hoz, se entrena a un algoritmo para su identificación. Según la funcionaria, “el algoritmo que hemos construido en el proyecto ALRECO nos ayuda a reducir el trabajo humano, que de todos modos siempre está presente”.

Con el fin de capturar los contenidos y catalogarlos automáticamente, discerniendo cuáles pueden contener discursos de odio, “hemos tenido que ‘formar’ al algoritmo, instruyéndole a la hora de clasificar, insertando miles de contenidos de odio que hemos etiquetado manualmente (personas que los han clasificado como contenidos de odio)”, afirma Fernández de la Hoz, portavoz para este protocolo de la Secretaría de Estado de Migraciones del Ministerio de Inclusión, Seguridad Social y Migraciones.

La profesora de la Universitat de Barcelona y miembro del proyecto ALRECO, Lena de Botton, detalla que el OBERAXE, en colaboración con seis organizaciones de la sociedad civil contratadas para tal función, etiquetó manualmente durante meses los posibles tuits xenófobos, racistas, islamófobos, antisemitas y antigitanos, entrenando de este modo al algoritmo para que pudiese llevar a cabo esta labor de forma autónoma. 

A modo de ejemplo, de Botton explica cómo el algoritmo se entrenó para identificar la palabra negro como parte de un contenido susceptible de ser considerado discurso del odio, ya que el término podía tanto hacer referencia a personas racializadas como a un color. “Cada tuit era analizado por dos o tres personas y, en el caso de que hubiera alguna discrepancia, se pasaba a un cuarto control”. Una vez que se consideraba que el contenido en cuestión estaba recogido por el algoritmo según los objetivos del proyecto, se añadieron las intensidades del mismo.

Si bien tanto Fernández de la Hoz como de Botton insisten en que todos estos datos son contrastados por personas, diversos especialistas alertan que, además de ser una práctica obligatoria, tal y como aparece en el artículo 22 del Reglamento General de Protección de Datos, la supervisión humana del algoritmo no es suficiente.

La investigadora de la Universitat Pompeu Fabra Sara Suárez Gonzalo realizó varias auditorías a algoritmos de administraciones públicas y empresas tras finalizar su tesis doctoral. Esta experiencia le ha llevado a la conclusión de que, bajo una supuesta objetividad técnica, unida a la carrera por la eficiencia, la optimización de recursos y el ahorro en trabajo humano, “se terminan utilizando supuestos sistemas de aprendizaje de máquinas en entornos con altos niveles de incertidumbre, provocando decisiones poco controladas”, explica Suárez.

Con altos niveles de incertidumbre, la investigadora especializada en el estudio de las implicaciones sociales y políticas de las tecnologías basadas en el uso intensivo de datos, se refiere a la dificultad que tiene el algoritmo para solucionar problemas en escenarios poco predecibles y trazables, como los que se dan cuando nos referimos a “cuestiones tan complejas y variables como el lenguaje natural humano en materia de discursos del odio”. Sirva como ejemplo, la utilización de palabras como moro o sudaca pueden ser consideradas discriminatorias en determinados contextos, pero también ser utilizadas por determinadas personas para nombrarse resignificando el término, sin que el algoritmo pueda entenderlo.

“Debemos saber también cuál es la relación de interacción entre el humano y la máquina”, recuerda Suárez, quien alude al tipo de supervisión humana que se menciona en la última fase del protocolo, y subraya que es importante “saber qué personas la llevan a cabo y si tienen una formación específica para comprender y aplicar las decisiones tomadas por un algoritmo de una forma razonada”, información que en la actualidad no está detallada en protocolo del Gobierno.

Cajas negras 

Pero vayamos a una etapa anterior. ¿Cómo se entrenan los sistemas de la inteligencia artificial? La respuesta para todos los especialistas consultados no deja lugar a dudas: no siempre se sabe. 

El algoritmo, muchas veces, funciona como una caja negra, término atribuido al profesor Frank Pasquale, autor del libro The Black Box Society: The Secret Algorithms That Control Money and Information (Harvard University Press, 2015). Con esta metáfora se explica “la gran opacidad que existe sobre cómo los sistemas algorítmicos reciben información en forma de inputs (en este caso posible contenido de discurso de odio), que procesan en función de unas determinadas reglas y dan lugar a resultados. El problema de esta opacidad es que nos perdemos en el proceso”, según la investigadora de la Universitat Pompeu Fabra.

Pese a estas dificultades, Sara Suárez, opina que “la presión ciudadana acabará haciendo que, cada vez más, las instituciones públicas que decidan utilizar inteligencia artificial sean transparentes con las cuestiones referidas al diseño y entrenamiento del algoritmo, además de detallar para qué lo van a utilizar”.

La falta de transparencia sobre cómo actúa exactamente el algoritmo genera desafíos tanto en la rendición de cuentas de las personas y organismos que los diseñan y entrenan, como en la búsqueda de responsabilidades en el caso de producirse malas prácticas, que no solo han sido planteados por expertos en el Estado español. 

Según un reciente estudio elaborado por el Pew Research y Elon Imagining the Internet Center, publicado el pasado 16 de junio, 602 especialistas alertaron sobre los efectos de esta caja negra. Entre sus principales preocupaciones está que se estén produciendo estos abusos, y que en muchos casos no son visibles o son “imposibles de solucionar”.

Paulina Gutiérrez, abogada de la ONG de libertad de expresión Artículo 19, esgrime que estos riesgos son aún más acuciantes dado que la herramienta es coordinada por el Ministerio de Inclusión, “pero necesitamos saber qué rol juegan las autoridades, incluida la fiscalía, en términos de potenciales solicitudes para remover o bloquear contenidos en Internet”.

Aunque se hayan involucrado organizaciones de la sociedad civil y academia desde el inicio del proceso, la abogada apunta a que es necesario que sepan las implicaciones de estas herramientas en la libertad de expresión en Internet. “Estamos hablando de que las acciones que van a realizar con el algoritmo son del Estado y, como tal, necesitan regirse conforme a los estándares de restricciones a la libertad de expresión y de discurso de odio”, afirma Gutiérrez.

Redes sociales, socias interesadas

La relación entre las autoridades competentes y las redes sociales es otro de los desafíos del protocolo identificado por los expertos. Mientras la vocal de discursos del odio de la FELGTB, Arantxa Miranda, considera que el protocolo es una herramienta útil para la protección de personas y colectivos vulnerados y lamenta la dificultad actual para investigar delitos y discursos del odio por las trabas que determinadas plataformas digitales imponen, lo que lleva en algunos casos el archivo de las causas, otros especialistas evidencian los riesgos de esta relación Estado-plataformas. 

“Por un lado, este tipo de mecanismos o recomendaciones promueven que las prestadoras de servicios y alojamiento de datos puedan eliminar eventualmente contenido en línea y, por otro, el propio incentivo a censurar indirectamente que tienen estas empresas”, manifiesta el profesor de Derecho Constitucional de la Universidad de Sevilla Víctor Vázquez.

En el caso del protocolo del Gobierno, tanto las autoridades competentes como las propias plataformas pueden bloquear o eliminar contenido en línea, tal y como recordaba la directora del OBERAXE: “El contenido se elimina de la red cuando es discurso de odio, según se define en el código penal español (artículo 510) o cuando va contra las normas de comunidad de la plataforma en la que se ha publicado, aunque no sea delito”. 

De hecho, la investigadora de ALRECO, Lena Botton, explica: “Twitter es muy rápido. Nuestro algoritmo permitió captar tuits que, en muchos casos, ya habían sido eliminados antes del etiquetaje, por lo que hemos tenido que balancear el contenido del discurso del odio extremo”.

La organización de derechos humanos Amnistía Internacional (AI) considera que tanto gobiernos como empresas tienen la responsabilidad de hacer de los espacios digitales espacios seguros, como, por ejemplo, cuando Facebook decidió no albergar contenido de «supremacismo o separatismo blanco«, como recuerda el investigador de AI Daniel Canales. 

No obstante, Canales señala que el rol de las plataformas como «moderadoras de contenidos» puede conllevar ciertos riesgos: “Arbitrariedad en las decisiones adoptadas por las empresas a la hora de retirar contenidos; la posibilidad de que algunas empresas aprovechen su rol para tener todavía más capacidad de influencia sobre la información y los mensajes que se publican y, en el caso de ser consideradas responsables de albergar contenido de este tipo, incentivar algún tipo de ‘sobre-censura’”, argumenta el investigador de la ONG.

No es la única organización en señalar esta preocupación. Según Artículo 19, existen casos donde las plataformas “ya han implementado medidas automatizadas para identificar contenido de forma discrecional que termina eliminando mensajes políticos, de contranarrativas o incluso de los propios grupos que se debían proteger”, explica Paulina Gutiérrez, “generando un efecto disuasorio en las personas que quieran utilizar las redes para entrar en determinados debates”.

El propio Protocolo para combatir discursos del odio señala esta posibilidad antes de curarse en salud aludiendo a la legislación internacional: “Los prestadores de servicios de alojamiento de datos evaluarán las notificaciones y comunicaciones también con arreglo a sus propias políticas, términos del servicio, estándares o normas de la comunidad”. 

Autoridades competentes 

Tras el monitoreo y categorización, el contenido en línea susceptible de ser considerado ilícito y, por ende, bloqueado y/o eliminado de la Red, pasa a ser evaluado por las autoridades competentes mediante un sistema dual compuesto por la Unidad contra la Criminalidad Informática de la Fiscalía General del Estado, que canalizará aquellas notificaciones con carácter delictivo, y por otro listado de autoridades competentes aún no publicado, con la obligación de remitir la información delictiva a la primera.

Según la portavoz de FELGTB y policía municipal de Madrid, personas o colectivos denominados comunicantes fiables por parte de la Administración y las empresas digitales, que tampoco están definidos actualmente en el protocolo, podrán notificar sobre un contenido supuestamente constitutivo de discurso de odio en línea respondiendo a un formulario que llegará a la Fiscalía General del Estado y será esta entidad la responsable de comenzar la investigación.

“Los usuarios que emiten discurso de odio que puede ser delito, pueden ser denunciados a la Fiscalía, esta analizará el caso y decidirá si abre un procedimiento judicial”, declara Karoline Fernández de la Hoz al ser preguntada específicamente por la información de los usuarios que han sido identificados como emisores de discursos de odio.

Precisamente la incorporación de jueces y fiscales, la apertura de procedimientos criminales tras la identificación de contenido supuestamente ilícito a partir de la herramienta automatizada y la falta de un listado completo de autoridades competentes en el protocolo son tres aspectos que podrían afectar a más derechos que la libertad de expresión destacados por el coordinador de investigación del Institut de Drets Humans de Catalunya (IDHC), Karlos Castilla. 

Artículo 510, la raíz del problema

Para Castilla, “el gran problema está en el origen, en la definición de discurso de odio del artículo 510 del Código penal, que no solo incumple con estándares internacionales y regionales de libertad de expresión, sino que incorpora términos tan amplios y ambiguos, como la ideología, como uno de los supuestos a partir de los cuales se puede considerar que existe discurso del odio”, afirma el investigador del IDHC. 

Según el abogado y autor de Crimen de odio, discurso de odio: en Derecho las palabras importan, “al ser tan amplio, según quien lo aplique, interprete o, en este caso, enseñe al algoritmo, se puede llegar a conclusiones muy diferentes, no siempre para proteger los derechos humanos y las minorías históricamente discriminadas”.

En la misma línea, Daniel Canales, investigador de Amnistía Internacional, reitera que “llevamos años mostrando preocupación por la definición de este artículo, demasiado amplia y que va más allá de lo que señala el Derecho Internacional. Por ejemplo, al considerar punible la incitación indirecta, este artículo puede suponer una limitación injustificada a la libertad de expresión”. Por tanto, para la ONG solo se deberían perseguir penalmente aquellas expresiones o mensajes que constituyen claramente una incitación directa a la violencia o al odio.

Según Karlos Castilla, “el Protocolo pretende coordinar esfuerzos para combatir el discurso de odio, pero vuelve a dejar ‘ángulos muertos’ que abren espacios para afectar la libertad de expresión, el derecho de manifestación o incluso las garantías del debido proceso. Y no se diga de su desarrollo, pues el Protocolo no contiene el listado de palabras que ahora alarman, sino que eso se ha desarrollado más allá del Protocolo. Todo en conjunto es un riesgo para los derechos humanos cuando supuestamente se busca protegerlos”, concluye el investigador del Institut de Drets Humans de Catalunya.

Actualización: 28 de mayo, 20h