El control sin control

La Secretaría de Estado de Digitalización e Inteligencia Artificial, dependiente de la ministra de Asuntos Económicos, Nadia Calviño, ha aprobado el desarrollo de una aplicación para facilitar el autodiagnóstico que, además, si activamos la opción de geolocalización, puede comprobar que estamos en la comunidad autónoma en la que decimos estar. Era cuestión de tiempo. La urgencia por frenar la pandemia de la COVID-19 ha terminado de abrir la puerta a la implantación de herramientas tecnológicas que, dependiendo de su evolución, pueden desembocar en la hipervigilancia, como las utilizadas en la dictadura china, en la que el control gubernamental de todas las facetas de la vida es absoluto. 

El Instituto Nacional de Estadística ya había pedido información anonimizada a las grandes operadoras telefónicas del movimiento de sus clientes en noviembre para un estudio de movilidad. Y ahora lo ha vuelto a hacer para comprobar el grado de cumplimiento del confinamiento. Las comunidades de Madrid y Catalunya han desarrollado sus propias aplicaciones –en las que se ha basado el Gobierno–, en las que registrar los síntomas para identificar un posible contagio.

Herramientas todas ellas de uso voluntario –en China, el uso de la aplicación diaria es obligatorio–, y supuestamente anónimas. Pero carecemos de un marco normativo que regule qué se puede hacer con esos datos, en manos de quién pueden ir a parar en el futuro, por cuánto tiempo tendrán derecho a utilizarlos, quién los almacenará, si se pueden vender o ceder a terceros como clínicas privadas de salud o aseguradoras…

Las personas más vulnerables, las más vigiladas

“Estamos viendo que las aplicaciones dirigidas a las personas más vulnerables se transforman en herramientas de represión de los más pobres”, advertía, en el Seminario sobre Inteligencia Artificial y Derechos Humanos celebrado en Barcelona a principios de marzo,  Renata Ávila, directora ejecutiva de la Fundación Ciudadanía Inteligente y miembro del equipo jurídico de la defensa de Julian Assange, fundador de Wikileaks, acusado de espionaje por los Estados Unidos por publicar información clasificada sobre sus operaciones militares en Oriente Próximo, entre otras cuestiones, y encarcelado en Reino Unido desde mediados de 2019.

De no haber sido por la pandemia, según esta abogada guatemalteca, se habría celebrado en junio la cumbre de la Organización Mundial del Comercio en la que se habría seguido avanzando en el blindaje de los algoritmos y el Big Data. “De firmarse el tratado de libre comercio que tienen planeado, ya no podrá pedirse que den esa información”.

La letrada recordaba que “las empresas más poderosas del mundo son las cinco grandes tecnológicas (Amazon, Facebook, Google, Microsoft y Apple), situadas en dos países: Estados Unidos y China, donde precisamente los derechos fundamentales no son muy respetados precisamente”. Empresas que lo saben casi todo de nuestras vidas. Porque se lo contamos casi todo. 

Peter Bonnor, jurista principal del Ombudsman –Defensor del Pueblo– europeo, criticaba que “haya más de 200 instrumentos suaves para controlar la Inteligencia Artificial, recomendaciones y guías que no garantizan que se cumplan los derechos humanos”. “Dejemos de hablar de ética, y hablemos de regulación”, exigía Genís Roca, experto en Internet.

Un nuevo marco jurídico para una nueva era

“Cuando se produjo la otra gran revolución tecnológica, la Industrial, transformó las sociedades europeas totalmente, pero también generó un déficit democrático, situaciones de injusticia y desigualdad extraordinarias que costaron más de un siglo de revoluciones y guerras corregirlas”, explicaba José María Lasalle, director del Foro de Humanismo Tecnológico de ESADE, profesor de Filosofía de Derecho de ICADE y exsecretario de Estado de la Agenda Digital.

“La sociedad digital ha supuesto una transformación quizás mayor que la industrial, ha alterado las bases sobre las que el ser humano se vive a sí mismo. Por primera vez está haciendo que los cuerpos se retiren de la realidad y, ahora que vivimos atrapados en las pantallas, nos damos cuenta de que por el camino hemos perdido no solo la ética, sino al ser humano y las dimensiones jurídicas que nos han protegido hasta ahora”, continuaba en una disertación que cobra aún más sentido en estos días de confinamiento, en los que una gran parte de la población está relatando sus hábitos, ideas políticas, compras y emociones en unas plataformas digitales privadas que viven del comercio de toda esa información. Sin un marco normativo que las controle.

“No basta con traspasar los derechos concebidos en la sociedad analógica a la digital. El derecho tiene el reto de imaginar jurídicamente una nueva generación de derechos fundamentales que den respuesta a nuestra dimensión como usuarios y consumidores de contenidos, así como de ciudadanos en la red”, continuaba.

“La sociedad democrática, que es fruto de muchas luchas conflictivas de generaciones, se afrontó porque la modernidad comprendió que quería derechos porque tenía una idea de progreso y, por tanto, una acción hacia la que orientar los esfuerzos de la acción humana y colectiva para lograr los cambios sociales a través de la ley. La gran revolución ahora, lo que más necesitamos, es tiempo y libertad para comprender. No solo para actuar, sino para comprender qué está pasando y qué sentido le queremos dar a las máquinas. Porque toda nuestra emocionalidad y nuestro marco jurídico estaban construidos en torno a los cuerpos, que ahora están en desuso”, concluía Lasalle.

A su lado asentía el filósofo Daniel Innerarity. “Hemos hecho grandes avances en lo que podríamos llamar la defensa desde el derecho privado, como la privacidad, la intimidad, el habeas corpus, pero muy pocos desde la perspectiva del bien común. Y lo común se gestiona de manera democrática, que es la decisión del pueblo. Pero ¿cómo se compatibiliza, se gestiona, este autogobierno de la gente con sistemas cada vez más automatizados?”, planteaba. “Tenemos la sociedad de las cajas negras, núcleos de decisión que no comprendemos”, pero “sobre todo la opacidad de esta época, que es la de la posprogramación: máquinas que ya no están en continuidad con la lógica siquiera de quien la ha diseñado”.

La Inteligencia Artificial es, según la definición alcanzada por el grupo de expertos de la Unión Europea, máquinas que toman información y decisiones, lo que según Ulises Cortés, catedrático de la Universidad Politécnica de Catalunya e investigador del Barcelona Supercomputing Center, “cambia la forma en la que vivimos porque la mayor parte de la gente entrega parte de su responsabilidad a las máquinas para que estas tomen decisiones pequeñas, que se vuelven cada vez más grandes porque se agregan”.

Y aquí es donde entra el deep learning (aprendizaje profundo), esa capacidad de aprendizaje de las máquinas a partir de los datos que les regalamos. Y que ahora, con la introducción de aplicaciones de control de nuestra salud y movimientos con el fin de frenar la pandemia, abre un nuevo escenario en el que como ciudadanía corremos el riesgo de ceder importantes parcelas de derechos, privacidad y libertad en pos de una supuesta seguridad.

“Estamos ante el peligro del populismo tecnocrático, lo que está pasando en China. El hecho de que cada vez sea más tentador el recurso a máquinas exactas frente a la política ideologizada. La Inteligencia Artificial podría ayudar a diseñar políticas públicas más ajustadas a la realidad y a la medición de su impacto, pero el problema es que los algoritmos tienen sesgos porque la vida tiene sesgos. La Inteligencia Artificial está pensada sobre la hipótesis de que nuestro comportamiento futuro será verosímil al del pasado. Entonces no hay manera de dar cauce a experiencias de rupturas. ¿Cómo haces una revolución? ¿Cómo rompes unos datos que son machistas porque la sociedad es machista?”, exponía como ejemplo Innerarity.

La inmensa mayoría de las aplicaciones de Inteligencia Artificial se basan en ese llamado aprendizaje profundo, basado en algoritmos, reglas matemáticas y estadísticas que buscan patrones en los datos. Y estos patrones suelen reproducir los sesgos que atraviesan nuestra sociedad: la discriminación por razones de género, orientación sexual e identidad de género, religión, etnia, país o región de origen… Por tanto, su aplicación, suele reproducir estos prejuicios afectando especialmente a la vida cotidiana de las personas que tienen que recurrir a los mismos, por ejemplo, para solicitar una ayuda pública.

En este sentido, Carina Lopes, del think tank Digital Future Society, apuntaba que  “la digitalización y automatización de las decisiones está provocando una mayor desigualdad en los servicios públicos: personas que están perdiendo ayudas y terminan en la calle por la espiral de burocracia y automatización”. Y ponía tres casos para ejemplificarlo. 

Un sistema por puntos que puso en marcha en Dinamarca para anticipar los riesgos que pueden sufrir los niños y niñas de familias en situación de vulnerabilidad. Si sus padres o madres no les llevan a una cita pediátrica, o sufren problemas mentales o laborales, por ejemplo, van perdiendo puntos hasta poder retirarles la custodia. “Están monitorizando las vidas de estas familias y estigmatizando a las madres solteras, pluriempleadas o que no encajan en el sistema”.

Risker es un programa que ha puesto en marcha Estados Unidos para predecir riesgos de hospitalizaciones basados en sistemas estadísticos y demográficos que tiene en cuenta más de 500 variables. Sin embargo, aunque se suponía que no tenía un sesgo étnico, concluía que las personas negras necesitaban menos atención por enfermedades crónicas. En realidad, era resultado de que al contar de media con menos ingresos y, por tanto, peores seguros médicos, acudían menos al sistema sanitario.

Y el tercero, Syri, un sistema de vigilancia para combatir el fraude en las ayudas por desempleo que el Gobierno holandés implantó en los barrios más empobrecidos del país. Tras una importante lucha en los tribunales por parte de colectivos sociales, ya que recogía información íntima masiva de personas pobres sobre dónde vivían, qué ayudas recibían y qué hábitos seguían, entre decenas de cuestiones, la Corte de la Haya declaró su inconstitucionalidad en febrero de este año por ser discriminatorio. 

La automatización de la Administración

Sistemas implantados por la Administración supuestamente para gestionar las ayudas sociales, pero diseñados no desde una perspectiva de apoyo y acompañamiento, sino desde la lucha contra el fraude. Un fraude que comete una minoría ínfima pero que atraviesa el diseño de los algoritmos que cruzan la información del Big Data –es decir, todos los datos que vamos dejando en nuestra huella digital–, y que terminan convirtiendo a las personas pobres en sospechosas que han de ser objeto de una hipervigilancia, para la que ponen a su servicio la maquinaria de la burocracia y la automatización de las decisiones. Además, toda esta información suele ser recogida por los gobiernos, en la mayoría de las ocasiones, a través de empresas privadas.

Sin un marco regulatorio, se deja abierta la puerta a que esos datos puedan utilizarse en el futuro por otras empresas o instituciones que los compren para cribar a quien contratar, dar un préstamo, contratar un seguro médico o de vida… Aplicado a la pandemia del coronavirus, sin garantías jurídicas, nadie nos puede asegurar que las personas que registren su información médica en las aplicaciones que se están creando y que se salten el confinamiento por una u otra razón, o que sencillamente no se instalen la aplicación en sus móviles, no vayan a ser discriminados o sufrir consecuencias en el futuro por ello.

El ingeniero informático David Cabo, director de Fundación Civio, admitía que su trabajo en esta entidad dedicada a la rendición de cuentas de la Administración española, le ha hecho perder “su visión utópica de que la tecnología nos haría libres para entender que no es neutra, y que se puede utilizar en uno u otro sentido”. Conoce bien las dificultades que encuentran las personas en situaciones más vulnerables para pedir ayudas por la complejidad técnica de los procedimientos y por los sesgos que imponen las instituciones.

Paradigmático en este sentido supone la victoria de Fundación Civio en el caso de los bonos de pobreza energética. Cuando se aprobaron en 2018, descubrieron que millones de personas se quedaban fuera de las ayudas pese a cumplir con los requisitos. Pidieron una especificación técnica, el código fuente de la aplicación, y ante la inacción de la Administración, crearon una APP para que las personas interesadas pudieran comprobar si tenían derecho a la ayuda y llevaron al Estado a los tribunales. Ganaron el caso en febrero de este año. “El aprendizaje automático de la Inteligencia Artificial es como el lavado del dinero negro para el sesgo. Así se elimina al responsable político último. Se plantea la reducción de las ayudas no como una decisión política sino como una cuestión técnica de criterios que no se pueden discutir”.

Pero “la técnica no es neutra, sino un poder en sí mismo”, como recordaba Lasalle, y por tanto, “igual que hemos establecido una función social de la propiedad, podemos establecerla para los algoritmos. ¿Por qué tenemos que aceptar que la propiedad sobre el algoritmo se extienda ilimitadamente cuando nacen de nuestra huella digital personal?”.  Pero para ello, continuaba, “necesitamos sentir que la democracia tiene una cierta capacidad de control sobre lo que está pasando, pero esa es la gran incertidumbre: que sabemos que no la está teniendo y que no somos capaces de comprender siquiera lo que está pasando”.

En 2019, la Unión Europea publicó el Libro Blanco sobre la Inteligencia Artificial, que entre otros principios, establecía el de la explicabilidad: estos programas deben operar con transparencia y poderse explicar. Sin embargo, como comprobamos con la comparecencia de Mark Zuckerberg en el Congreso de los Estados Unidos por el escándalo de Cambridge Analytics, la empresa que robó 40 millones de cuentas a Facebook para emplear la información en campañas electorales como la de Donald Trump, ni siquiera él era capaz -o quiso- explicar el funcionamiento de los algoritmos de su red social.

El problema es que, según Innerarity, “la democracia nació en un contexto en el que los parlamentos podían acompañar y regular el cambio social porque su velocidad era parecida a la de la deliberación política. Eso ha saltado por los aires, y ahora lo que pueden hacer las mejores cámara es reparar los daños: la mayor parte de las normas son más reparadoras de daños que configuradoras de futuro”. Y para contrarrestar esta situación, lo primero que se tiene que hacer es restablecer la confianza en las sociedades democráticas.

Y para el catedrático Ulises Cortés, “construir confianza es rendir cuentas, así que necesitamos poder preguntar a alguien por qué esa máquina de Inteligencia Artificial está cogiendo esos datos y tomando esas decisiones; que sus diseñadores expliquen las intenciones que tenían al programar ese software…”. Y en estos momentos no solo no sabemos a quién preguntarle, sino que sus responsable no tienen siquiera el deber de contestar. 

No está de más recordar que los datos con los que se enriquecen estas grandes corporaciones son nuestros, somos nosotros y nosotras quienes se los aportamos. Por tanto, en opinión de Cortés, deberían reportarnos beneficios directos. Es más: “Igual que cuando se diseña un medicamento tiene que pasar un periodo de ensayos clínicos, hay que regular el tiempo de comercialización en el mercado de estos productos de Inteligencia Artificial. Tienen que pasar ensayos en los que podamos ver qué hay detrás de la máquina antes que pueda ponerse a funcionar”.

Y por ahora no podemos saber qué hay y, sobre todo, qué habrá detrás de todas esas aplicaciones dirigidas a frenar la pandemia.

Sin embargo, sí sabemos que la Inteligencia Artificial está siendo de gran ayuda en el ámbito de la investigación científica para entender el funcionamiento del virus y, por tanto, acelerar el descubrimiento de una vacuna; o como también hemos visto en China, en el empleo de robots para desinfectar hospitales y ciudades o en el reparto de mercancía por drones -evitando así tener que exponer a repartidores-.

Desgraciadamente, esos mismos robots y drones han sido empleados como parte del sofisticado sistema de vigilancia chino. Dotados de termómetros capaces de medir la temperatura corporal a distancia, así como de los programas de identificación facial y de Big Data por el que cruzan todos los datos de las población, determinan en cuestión de segundos si esa persona que ha roto el confinamiento tiene fiebre, ha estado con otras personas contagiadas o que pueden estarlo, y toda su información personal. Se ha documentado la detención de ciudadanos chinos por estas razones, pero se desconoce el número total. Porque, recordemos, China, la ya casi primera potencia mundial, es una férrea y opaca dictadura. Y sus sistemas de control están siendo implantados por débiles y, supuestamente, transparentes democracias. Esas a las que, parece, va a liderar en el nuevo orden mundial.