Un registro de algoritmos, el primer paso para una IA transparente en España

Esta información fue publicada originalmente en Civio.

Imagina que pides una ayuda y te la deniegan sin saber por qué. O que te asignan menos recursos en un hospital sin que nadie pueda explicarte el criterio. O que te someten a más controles en la frontera sin una razón aparente. Ahora imagina que esas decisiones no las ha tomado una persona, sino un algoritmo. Un sistema que procesa datos, aplica reglas y determina tu acceso a derechos y servicios sin que puedas entenderlo ni cuestionarlo. Eso ya no es ciencia ficción.

En toda Europa, administraciones públicas y empresas están poniendo en marcha sistemas que pueden mejorar la eficiencia, pero también discriminar, tomar decisiones injustas y violar derechos fundamentales. Y, sin embargo, en la mayoría de los casos, estos sistemas operan sin control externo. Y, en algunos casos, tampoco interno. Pueden atestiguarlo 26.000 familias a las que un algoritmo de servicios sociales en Róterdam etiquetó erróneamente como “riesgo de fraude” por vivir en barrios pobres: cortes de ayudas, desahucios y una pregunta escencial: ¿cómo exigimos responsabilidades a sistemas cuyos mecanismos y alcance desconocemos?

La idea de crear registros de algoritmos nació para ser un punto de partida contra esta falta de transparencia. Pero hay una diferencia entre transparencia real y lo que ya se denomina transparency washing, un gesto simbólico que no cambia nada. Un registro mal planteado es poco más que un escaparate: voluntario, incompleto y sin información suficiente para que la ciudadanía, la prensa o incluso los propios gobiernos puedan controlarlo.

El registro de algoritmos de la UE: punto de partida insuficiente

El Reglamento de IA de la Unión Europea, que entró en vigor en agosto de 2024, obliga a crear una base de datos pública donde se registren los sistemas de IA de alto riesgo. En teoría, esto debería mejorar la transparencia sobre los algoritmos que afectan a ámbitos críticos como la sanidad, la educación o la justicia. Pero, en la práctica, tiene tres vulnerabilidades críticas.

Para empezar, no incluirá todos los algoritmos relevantes. Solo se registrarán los considerados “de alto riesgo” -y con obligaciones mínimas-, dejando fuera muchos otros que también afectan derechos fundamentales. ¿Un chatbot de atención al ciudadano que decide si te atienden o no? Fuera. ¿Una fórmula de clasificación de estudiantes? Fuera. ¿Un sistema basado en reglas simples como BOSCO, usado para determinar qué hogares españoles son vulnerables y que excluía a personas con derecho al bono social de la luz? Fuera también.

También excluirá sectores clave. Algunos de los algoritmos con más impacto —como los usados por la policía, en el control de fronteras o en decisiones de inmigración— se registrarán en un área privada de la base de datos, inaccesible para la ciudadanía. Es decir, justo los sistemas que más control deberían tener, serán los más opacos. Y, por si fuera poco, no se aplicará a los algoritmos que se usan actualmente, solo a los nuevos a partir de la puesta en marcha del registro, en 2026.

Además, la información que se deberá publicar es insuficiente. Se obligará a incluir detalles técnicos básicos, pero no datos esenciales como el código fuente o los modelos de entrenamiento. Y, en muchos casos, los proveedores de tecnología, los “fabricantes” de estos sistemas, podrán autoexcluirse del registro si consideran que su producto no es de “alto riesgo”, sin apenas control externo posterior.

¿Entonces? Pues este marco europeo es un paso adelante, pero es muy insuficiente. Y los Estados miembros que se limiten a cumplir únicamente los mínimos del registro europeo seguirán siendo poco transparentes y frágiles, a la espera de que se produzca el siguiente escándalo algorítmico.

Registros nacionales en la encrucijada

El panorama estatal también presenta claroscuros. En Europa ya hay 34 registros activos y al menos 5 en desarrollo. Solo cuatro países cuentan ya con regitros nacionales integrales -Países Bajos, Reino Unido, Noruega y Francia-, y solo dos son miembros de la UE. Además, la disparidad técnica entre ellos es abismal: mientras el registro holandés, con más de 600 algoritmos registrados, incluye APIs en tiempo real para seguimiento de actualizaciones en sistemas automatizados, otros se limitan a PDF estáticos sin mecanismos de búsqueda. Y dos tendencias emergen como señales de alarma: un voluntarismo ineficaz -sin carácter obligatorio, dependen de la buena voluntad institucional; y son los registros voluntarios los que menos algoritmos reportan- y una estandarización inexistente -es casi imposible realizar análisis comparativos transfronterizos-.

Aquí radica el primer desafío: transformar los registros de inventarios pasivos en herramientas dinámicas de control democrático.

¿Y en España? Nada. No se sabe cuántos algoritmos están en uso, en qué ámbitos operan y qué impacto tienen. La Estrategia Nacional de IA, de 2024, propone una IA “transparente y humanista”, pero sin acciones concretas, y la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), el organismo competente, aún no opera plenamente.

No todo es un erial. En la Comunidad Valenciana, su Ley de Transparencia regional obliga a publicar sistemas automatizados, con un registro en desarrollo junto con universidades. En el País Vasco se están dando los primeros pasos. Y en Cataluña ya se han publicado fichas técnicas detalladas de varios algoritmos, incluyendo cómo se ha entrenado el sistema, riesgos en términos de privacidad o discriminación, evaluaciones de sesgos y protocolos de revisión humana.

Pero la falta de un marco estatal claro hace que estos esfuerzos sean aislados y descoordinados. Mientras tanto, quienes desean poder conocer cómo funcionan las tripas del sistema que determina qué familias pueden acceder al bono social eléctrico tienen que llevar el caso ante el Tribunal Supremo. O no existen planes para actualizar algoritmos obsoletos y sesgados que influyen en decisiones judiciales.

Hacia una infraestructura democrática de los algoritmos

¿Qué debería hacer España con sus algoritmos? Registrarlos de forma obligatoria siguiendo estos principios:

1. Incluir todos los algoritmos que toman decisiones con impacto público. El Reglamento de IA de la UE solo cubre los sistemas de “alto riesgo”, pero la realidad es que muchos algoritmos que no entran en esa categoría afectan a derechos y servicios esenciales. Un registro español debe incluir todos los algoritmos que toman decisiones en la administración pública y en sectores estratégicos como sanidad, educación o bienestar social. Y todos los algoritmos en uso, no solo los nuevos.
2. No ocultar los algoritmos utilizados en seguridad y fronteras. Si algo demuestra la experiencia internacional es que los algoritmos usados en vigilancia, migración y control de fronteras son especialmente problemáticos, y ya conocemos escenarios de discriminación racial masiva. Sin transparencia, no hay control.
3. Publicar información comprensible y accesible. No basta con colgar documentos técnicos incomprensibles en una web perdida. Un registro de algoritmos debe ofrecer información clara y estructurada, permitiendo que cualquier persona pueda entender qué sistemas se están utilizando y con qué propósito.
4. Documentar y archivar los sistemas retirados. Un error común en los registros existentes es que solo documentan algoritmos en funcionamiento. Pero conocer qué sistemas han sido descartados (y por qué) es clave para evitar que los mismos errores se repitan.
5. Fomentar el control externo y la participación pública. Para que la transparencia sea efectiva, hay que ir más allá de la simple publicación de datos. El registro debe permitir el escrutinio de la ciudadanía, los periodistas y las organizaciones de la sociedad civil, creando canales claros para denunciar problemas y exigir explicaciones.

O hay un registro nacional de algoritmos bien hecho, obligatorio y con información útil, o seguiremos en un sistema donde los algoritmos toman decisiones importantes sin que nadie pueda vigilarlos. No podemos conformarnos con gestos simbólicos. No podemos permitir que la tecnología avance más rápido que la supervisión democrática, los derechos y la transparencia.

Si el objetivo es garantizar una administración más justa y responsable, la transparencia no es opcional. El reto no es solo tecnológico, también político. Y si España quiere liderar en gobernanza algorítmica, el momento de actuar es ahora.

Más información

• Descarga el informe completo sobre registros de algoritmos de IA Ciudadana.
• Más sobre IA Ciudadana.
• Más sobre transparencia algorítmica.