“Detrás de los algoritmos hay una profunda voluntad de programación social”

Los algoritmos están entre nosotros. Dictan lo que vemos en Twitter y organizan la jornada laboral de cientos de trabajadores. Incluso deciden quién tiene derecho a qué dinero y por qué. Y es que las políticas públicas de asistencia social cada vez se basan más en las decisiones tomadas por estas herramientas digitales. Pero, a pesar de que nos digan que son objetivas, neutrales y basadas en complejas ecuaciones matemáticas, solo son una automatización de las decisiones humanas de toda la vida. Los algoritmos los diseña alguien, y ese alguien vive en el mismo sistema capitalista y desigual que todos nosotros. 

Virginie Eubanks (Estados Unido, 1972) conoce bien este sistema de ayudas públicas y la injusticia de los algoritmos. Lo vivió en primera persona cuando su marido sufrió un robo y recibió una paliza que le llevó a tener que recibir caros tratamientos médicos. Esta agresión se dio justo después de cambiar de seguro y el algoritmo que gestionaba la empresa congeló todos los pagos durante meses, dejándoles con una enorme deuda. Esta experiencia traumática con la tecnología fue el inicio de dos décadas de investigación cualitativa que se plasma en el libro La automatización de la desigualdad (Capitán Swing). El libro fue escrito justo antes de la pandemia, pero la COVID-19 no lo ha desactualizado en absoluto: “Nos ha dado una prueba más de cómo de injustas y frágiles son estas herramientas”. 

Empecemos por el principio. Se nos dice que los algoritmos son objetivos, pero no lo son. ¿Por qué y quién los hace?

En el libro hablo de los algoritmos como herramientas digitales de decisión política. Muchas veces no tenemos en cuenta que lo son y por eso pensamos que son más neutrales que las decisiones humanas. Eso simplemente no es cierto, pero es una creencia que nos vamos repitiendo a nosotros mismos y que parte de la concepción de que la tecnología sale de la nada, como Venus de la concha. Es por esa creencia que empiezo el libro hablando sobre la asistencia social en Estados Unidos: hay una profunda voluntad de programación social detrás de los algoritmos. Cosas que están ahí, pero no las vemos.

Los algoritmos son como casas de la caridad digitales; simplemente son una versión moderna de las herramientas para asistir a los trabajadores pobres a cambio de controlar parte de sus derechos como el derecho a voto, a casarse, a criar… Nos encontramos con el mismo escenario de control político y social a cambio de un subsidio que había en el siglo XIX. Sé un ciudadano ejemplar y recibirás tu ayuda. El pensamiento político no ha cambiado y los algoritmos están diseñados por este mismo sistema discriminatorio. Pero el problema con los algoritmos es que se relacionan y se complementan entre sí, aumentando exponencialmente y sistematizando las consecuencias discriminatorias, haciendo que sean más difíciles de detectar y de esquivar. 

Dice que somos nosotros los que nos contamos el cuento de la neutralidad tecnológica. Pero ¿nos lo contamos o nos lo cuentan las compañías y gobiernos? En el libro habla del mathwashing (lavado matemático): ¿diseñamos políticas desiguales en nombre de la objetividad?

Creo que es una combinación de ambas cosas. Hay una tendencia a negar que detrás de estas herramientas digitales hay sesgos humanos y políticos diciendo que las decisiones las toma un algoritmo, sabiendo que ese algoritmo es algo que la ciudadanía no va a entender. Y es ahí donde entra el mathwashing, que es venderle a la gente que la tecnología es algo demasiado difícil para las personas normales. Lo cual no es cierto. 

¿Eso cree? 

Sí creo que la gente lo cree, pero no es así. Pongo un ejemplo. En Los Ángeles tuvieron el llamado Sistema de Entrada Coordinada [una fórmula para conectar personas en riesgo de exclusión con servicios de apoyo económico y de vivienda]. Se supone que estaba formado por dos algoritmos: uno evalúa el grado de vulnerabilidad y el otro conectaba con los recursos. Pues bien, el primero de ellos era simplemente una encuesta y el segundo era un tipo sentado en una silla, haciendo trabajo manual con una pestaña de Google abierta. Pero se vendió como un sistema complicado y sofisticado para que nadie se quejara. 

Es cierto que hay algunas herramientas que sí son complicadas, como aquellas que usan Inteligencia Artificial para entrenar sistemas que se enseñen a sí mismos, sin intervención humana. Pero en esos casos, lo que he encontrado en mis investigaciones es que la gente, si bien quizás no entiende cómo funcionan los algoritmos, sí saben qué impactos tienen en sus vidas. Y pueden hacer suposiciones realmente buenas sobre su funcionamiento. 

¿Qué clase de suposiciones?

Otro ejemplo. El gobernador de Indiana firmó un gran contrato con IBM para automatizar los sistemas de elegibilidad de todos los programas sociales del Estado y antes de que el contrato siquiera estuviera firmado, la gente ya sabía lo que pasaría. Automatizar el proceso es una manera de no hablar del problema; la digitalización rompe la relación entre los trabajadores sociales y los usuarios para deshumanizar el proceso y hacer que sea más difícil llegar a las prestaciones. Eso decía la gente que pasaría y eso fue lo que pasó. 

Ese contrato le costó un billón de dólares a Indiana y fue tan mal que el pueblo forzó al gobernador a cancelar el acuerdo. IBM demandó al Estado por incumplimiento de contrato y acabó ganando 50 millones en indemnizaciones. Tuvo un gran coste económico, pero mayor fue el coste social. 15 años después, todavía trabajan en compensar a las personas que perdieron sus prestaciones. Una de mis fuentes dentro del gobierno me dijo que si hubieran querido diseñar un sistema para denegar prestaciones sistemáticamente, no lo podrían haber hecho mejor.

¿Cree que nos faltan garantías de información sobre estas herramientas? En España tenemos la Ley Rider, que reconoce el derecho de los trabajadores de plataformas a conocer el funcionamiento de sus algoritmos, pero los usuarios y trabajadores externalizados no están contemplados. 

Creo que, más que darnos información para que la recibamos pasivamente, lo que necesitan estas herramientas es escuchar la voz de las personas que se ven afectadas por ellas. Cuando las diseñamos, nos dirigimos a programadores, oficinistas, políticos, académicos… La conversación tiende a volverse abstracta rápidamente y se plantean preguntas filosóficas sobre si los robots nos robarán el trabajo, pero no nos preguntamos cómo afectan a la vida diaria de una persona que depende de una prestación. Esta abstracción es parte del problema, porque nos impide reconocer el impacto real que tienen los algoritmos. 

Reconocer el derecho de participación de la ciudadanía es una asignatura pendiente desde mucho antes de la llegada de los algoritmos. 

Supondría un gran cambio y no necesariamente funcionaría. En Estados Unidos tenemos un gran problema cultural basado en la creencia de que las personas pobres suponen una pequeña parte de la población que, además, tienen la culpa de su pobreza. Incluso muchos trabajadores pobres piensan eso y están a favor de diseñar el sistema más punitivista posible para reprimir a las personas pobres. Necesitamos combatir estas creencias y hacer ver a la gente que muchos de nosotros estamos cerca del lindar de la pobreza. Pero no es una verdad que estemos preparados para oír.

En el libro menciona la opción de establecer un juramento hipocrático entre las personas que diseñan estas herramientas. ¿Cómo funcionaría?

Precisamente he cambiado de opinión respecto a eso. Creí que los lectores del libro serían políticos y trabajadores públicos, diseñadores y técnicos, pero no lo son. Me han leído personas afectadas por el sistema. Es interesante porque, a menudo, desde el mundo editorial asumimos que las personas que solicitan prestaciones no leen. Pero no es cierto. Normalmente, cuando escribes, lo haces pensando en la audiencia que crees que tiene las soluciones y yo me equivoqué. Ya no creo que la solución esté en hacer que los ingenieros sean más simpáticos y sensibles. La tecnología son las nuevas finanzas, así que imagínate que alguien hubiera planteado en los años 80 arreglar la desigualdad económica haciendo que los agentes de bolsa fueran más simpáticos. Sonaría estúpido, ¿verdad? Pues así es ahora. 

Creo que la solución está donde ha estado siempre. No se consigue nada sin protestar y miro con bastante optimismo a los movimientos sociales, las comunidades y los barrios que son capaces de cambiar políticas, como pasó en Indiana. Aquella fue una protesta a la antigua usanza, con octavillas, ocupando bancos y saliendo a la calle. Y funcionó. 

Quizás haya mucha gente que crea que para combatir a la alta tecnología tienes que ser hacker. Pero no. 

No. Siempre ayuda tener un hacker a bordo, por su experiencia, pero no es la única valiosa. De hecho, creo que la experiencia de un hacker puede ser un poco limitante. Hay una ingeniera de Nueva Zelanda que estaba diseñando una herramienta que fue rechazada y fue comprada en Pittsburgh. Esta ingeniera escribió un artículo en que aseguraba que los científicos de datos acabarían por reemplazar toda la burocracia, ya que lo que hace la burocracia es recoger la información y dársela a las personas correctas en el momento correcto, pero que ese proceso a menudo fallaba. Y decía que, si los políticos fueran capaces de tener la información correcta en el momento correcto, todo el mundo estaría, por fin, de acuerdo en lo que se debe hacer. 

Ella es una mujer muy inteligente, pero tremendamente estúpida en lo que concierne a la política. La información es poder y no necesariamente vamos a estar de acuerdo aunque tengamos los mismos datos, porque la política es la tarea humana y contenciosa de evaluar datos. Su opinión era criminalmente naif y simplista, como simplista son las respuestas que pueden ofrecer estas herramientas, que tienen un alcance de miras muy corto. Creo que los algoritmos tienden a encoger el problema para encajarlo en una solución ya existente y lo que necesitamos es mantener los problemas tan grandes como sean para afrontarlos como tal. 

Antes ha comentado que detrás de los algoritmos hay una voluntad de programación social. Hemos hablado del papel de estas herramientas en las políticas públicas, pero ¿qué hay de las redes sociales? Hace poco conocimos los Facebook Papers. Es posible que le han preguntado esto muchas veces, pero ¿caminamos hacia un mundo como el de 1984?

¡Realmente eres la segunda persona que me lo pregunta! Facebook no es una empresa de amistades, sino una empresa de anuncios y no deberíamos sorprendernos cuando salen filtraciones como estas. La gente debería ser consciente del papel que juegan estas plataformas en el control social por parte del estado. Es posible que estemos caminando hacia un mundo como el que describió George Orwell, pero ¿lo escogemos nosotros? Es cierto que tenemos libertad para decidir compartir nuestros datos en Facebook, pero si necesitas asistencia pública, no puedes escoger pedir o no ayuda para comer. 

¿Hay relación entre estas plataformas sociales y las políticas públicas?

Hay un montón de vínculos entre las decisiones que toma el sistema y el control social. Y esto no es nuevo de la economía de plataforma. La asistencia económica cada vez está más politizada y desde que es fácil relacionar nuestras vidas e identidades con nuestras necesidades sociales y económicas, el vínculo se hace más fuerte. Que el sistema de vigilancia y el de asistencia compartan información es muy preocupante; es importante mantenerlos separados aunque realmente nunca lo hayan estado. Antes, en los asilos para gente sin hogar, había personas que eran llevadas allí por la policía. 

¿Llevamos ahora a la policía en el bolsillo?

En países como Estados Unidos, la pobreza está muy criminalizada y las cosas que se tienen que hacer para sobrevivir son vistas como ilegales, sobre todo para las personas sin hogar. Así que, cuando vas a pedir ayuda, admitir la realidad de tu vida supone criminalización. Son sistemas que se hablan mutuamente, lo cual tiene consecuencias muy peligrosas, sobre todo en cómo los trabajadores sociales entienden sus trabajos. Según algunos de ellos me han contado, en el pasado pensaban que acompañaban a personas a través de un trauma, pero ahora se ven como investigadores. Policializar en lugar de acompañar es peligroso y eso se ha intensificado con las herramientas digitales. 

Escribió el libro antes de la pandemia. ¿Añadiría algo?

La pandemia ha puesto muy en claro los límites de estas herramientas: no hay ningún estado de EEUU en que los sistemas para el desempleo no colapsaran. La mayor lección de la pandemia es que todas esas cosas que creemos imposibles, pueden volverse reales en cualquier momento. Ahora nos toca pensar como responder al clima que se ha generado. No quiero caer en el tópico de decir que es una oportunidad política, porque sería inhumano, pero estamos ante un momento muy interesante. Soy conscientemente optimista, porque confío en el potencial de los movimientos sociales y creo que podremos afrontar lo que vendrá. 

Esta iba a ser la última pregunta: ¿se consideras optimista sobre la tecnología?

No creo que ser optimista sea una característica, sino una práctica. Una de las grandes lecciones me la he llevado de las personas con las que he trabajado: a pesar de pasar por graves situaciones vitales, son optimistas y consiguen ser divertidos, generosos y dedicados a la comunidad. Frente a esto, para mí, no ser optimista es una traición. Pero no es un optimismo naíf. Mi madre me dice que no sabe cómo no me deprimo con lo que veo en mi trabajo, pero yo creo que soy muy afortunada de ver a la gente luchar y todavía creo que se pueden cambiar las cosas. Y la tecnología puede ser útil para ello.