Censura algorítmica, ¿la mejor herramienta contra los discursos de incitación al odio?

El pasado 18 de marzo el OBERAXE hacía pública su prueba piloto de una nueva herramienta para combatir los discursos de incitación al odio en línea. Esta consiste en la creación de un algoritmo de rastreo que se entrena en base a un catálogo de palabras que le permiten identificar el discurso ilícito y en base a una serie de grupos de palabras, que le permiten distinguir entre discurso grave y menos grave. 

Una primera reflexión sobre la adopción de cualquier nueva herramienta de lucha contra los discursos tóxicos, que pueda tener un impacto en los derechos fundamentales de todas, es la de reivindicar transparencia y consenso social. 

Los algoritmos rastreadores se están creando para automatizar la detección de discursos, dado que la detección por parte de personas no permite analizar la ingente publicación de contenidos. Su implementación por parte de las grandes empresas se está haciendo a base de una política de hechos consumados, siguiendo el criterio único de la capacidad o eficiencia técnica de la inteligencia artificial (AI).

Pero este criterio no debería ser el único. Debería darse un debate previo con perspectiva democrática y social, que tenga en consideración todas las consecuencias individuales y colectivas a corto y largo plazo del uso de esa herramienta. Y este debate en la actualidad es difícil, dado que la sociedad en general y los sectores sociales que enfrentan estos discurso, no suelen tener un nivel de conocimiento suficiente sobre el funcionamiento de la AI como para posicionarse al respecto. 

Una segunda reflexión versa sobre los impactos de esta herramienta derivados de la mecánica de su funcionamiento y de cómo ha sido confeccionada. Los algoritmos de rastreo se entrenan de acuerdo a un listado o banco de palabras. El algoritmo aprende a identificar los discursos tóxicos en base a esas palabras clave y luego, perfecciona su capacidad identificativa con relaciones de palabras y el diálogo entre sí, que le permiten establecer patrones y jerarquías de gravedad de los discursos.

La problemática de los algoritmos en general, incluidos los de rastreo, es que tienen la capacidad de ir perfeccionando su aprendizaje de forma automatizada, lo que se denomina machine learning. Esta evolución provoca que, finalmente, la operativa en base a la cual el algoritmo va resolviendo las decisiones que adopta no pueda ser explicada ni tan solo por sus creadores iniciales. El hecho de que la creación de algoritmos requiera importantes inversiones y que estén sujetos a patente también dificulta su posterior fiscalización. 

A esta complejidad técnica inherente a cualquier algoritmo se añade otro elemento especialmente delicado y peligroso en materia de libertad de expresión. El procesamiento del lenguaje natural es de los campos en los que la AI sigue siendo muy imperfecta. La tecnología se encuentra con la dificultad de discernir el contexto en el que se emite, el tipo o registro de discurso y la intención de los emisores. A esta dificultad principal se añade la de analizar el resto de componentes del lenguaje y de captar los matices derivados de la ambigüedad propia de los términos usados en el mensaje. Como ejemplo gráfico de la complejidad de este análisis, podría citarse el término “negratas”, que podría ser usado tanto en clave denigratoria por una cuenta de extrema derecha como en clave de reapropiación crítica por una cuenta antirracista.  

Al hilo de esta consideración, se enlaza la siguiente, la del sesgo de los algoritmos. Los sesgos –bias en inglés– implícitos en los algoritmos, sean predictivos, de reconocimiento facial o de rastreo, han provocado numerosas publicaciones internacionales sobre esta grave problemática. El sesgo proviene de las palabras incluidas en el listado inicial, de los principios y reglas introducidas en el algoritmo, y del nivel de supervisión y rectificación en el proceso de entreno del algoritmo. A grandes rasgos las investigaciones concluyen que resulta muy difícil evaluar previamente y rectificar el sesgo generado desde los cimientos del algoritmo. 

En el caso concreto del banco de palabras seleccionado por el OBERAXE para entrenar el algoritmo, la inclusión de algunas palabras como “nazi”, “boicot” o “frontera”, por la polivalencia de sentidos y contextos en los que se pueden usar, pueden llevar a resultados de censura indeseados. Pero quizás el ejemplo más alarmante sea el de la inclusión del término “sionismo” en ese catálogo. Con ello, el OBERAXE hace suya la polémica definición de antisemitismo de la Alianza Internacional para el Recuerdo del Holocausto (IHRA) que incluye como ejemplo de antisemitismo la crítica a las políticas del Gobierno de Israel. 

Una tercera reflexión por analizar las consecuencias de la mecánica operativa del algoritmo, el llamado fenómeno black box o “caja negra”. Se trata de una metáfora muy gráfica de la pérdida de control sobre la comprensión y trazabilidad de la operativa del algoritmo que le lleva a la decisión final así como a la predicción de sus resultados. Esta dificultad de fiscalización abre el interrogante sobre el sistema de responsabilidad y de rendición de cuentas de quienes los usen. Algunos ejemplos que han trascendido nos muestran cómo los procesos automatizados mediante algoritmos, como el de detección de fraude en las prestaciones sociales, han llegado a provocar decisiones erróneas e injustas como la denegación de prestaciones sociales a miles de ciudadanos en Holanda.

El algoritmo del OBERAXE es un ensayo piloto en el que su entreno está siendo supervisado por personas. ¿Pero cuál será su impacto cuando se empiece a usar? Las expectativas de éxito en la detección de contenidos tóxicos chocarán con una dificultad insalvable. Para que la capacidad masiva de detección del algoritmo surtiera efectos en la reducción del discurso de incitación al odio, debería autorizarse a que su detección llevara aparejada su eliminación automática, algo muy peligroso en materia de libertad de expresión y pluralismo político. Si por el contrario se quiere preservar la existencia de un filtrado de los contenidos que deben ser eliminados por un criterio humano, nunca habrá suficiente personal como para analizar en tiempo real los miles de contenidos detectados por el algoritmo. 

En el campo de la libertad de expresión, las empresas gestoras de las redes sociales llevan años recibiendo críticas por la opacidad de sus criterios de moderación de contenidos, que ni son públicos ni respetan los estándares internacionales sobre qué discursos deben ser considerados ilícitos por ser incitadores al odio y a la discriminación. El hecho de que sean empresas privadas las que definan qué contenidos son lícitos y merecen circular, según su particular criterio e interés, genera un gran déficit democrático de base. La introducción de la “censura algorítmica” multiplicará su radio de acción y puede suponer la ampliación exponencial de ese déficit de base. Quienes creen algoritmos, los entrenen y los usen según sus propias perspectivas e intereses políticos y comerciales, van a poder incidir permanentemente en los procesos de creación de opinión y de participación política y no solo en periodo electoral, como ya sucedió con el escándalo de Cambridge Analytica.  

Se trata de uno de los desafíos contemporáneos de mayor calado en el plano ético y regulador de la responsabilidad. ¿Cómo podrá saber el usuario el “criterio” automatizado en base al cual se ha eliminado su contenido o le han cerrado la cuenta por reiteración de contenidos ilícitos? ¿Quién es responsable de esta decisión, los creadores del algoritmo, sus entrenadores, la empresa privada que los usa, la Administración que permite que se vulneren derechos fundamentales de la ciudadanía como el de la libertad de expresión y de participación, por parte de las empresas privadas que gestionan las redes sociales? ¿En el caso que se judicialice la censura indebida de contenidos, cómo y a quién podrán atribuir responsabilidades y exigir rectificaciones los Tribunales?

Ante esta realidad, tenemos que asumir que el impacto de la inteligencia artificial es uno de los mayores retos actuales en materia de Derechos Humanos y que la sociedad civil tenemos la responsabilidad de posicionarnos y generar consensos que interpelen el sector privado. Quizás deberíamos empezar por el inicio y reflexionar sobre si el criterio de la eficiencia tecnológica, a medio y largo plazo, será el más efectivo en términos democráticos y de garantía de derechos.