¿Pueden discriminar los algoritmos?

Artículo completo publicado originalmente en alemán en ‘Verfassungsblog’. Puedes leerlo aquí.

Texto traducido por Anna Oakes.

En Austria, desde 2019, un algoritmo clasifica a las personas desempleadas según sus posibilidades en el mercado laboral. El software divide a las personas que buscan empleo en tres grupos: las que tienen buenas, medianas o malas expectativas de encontrar un trabajo. Sobre esta base, el Servicio Público de Empleo de Austria (AMS por sus siglas en alemán) quiere concentrar sus recursos a partir de 2020 principalmente en las personas que se encuentran en el grupo medio, donde serán utilizados de forma más efectiva. Las “posibilidades de integración en el mercado laboral” de las mujeres, según lo que evalúa el algoritmo, son totalmente negativas. Además, tener hijos dependientes provoca a una mala clasificación, pero solo para las mujeres. En el caso de los hombres, los programadores de software argumentan que la obligación de cuidado no tiene un impacto negativo estadístico en sus expectativas en el mercado laboral.

Establecimiento de los defectos existentes

Los algoritmos, como el que se describe aquí, generan grandes cantidades de datos, idealmente estadísticos, para cerrar las brechas de información. Se utiliza la información preestablecida para extraer conclusiones sobre las características y comportamiento futuro de las personas cuyos datos propios no necesariamente ha analizado el algoritmo. Por medio de categorías de representación (por ejemplo, “mujer”), varias características –que supuestamente son predominantes y típicamente expuestas en los portadores del rasgo– se atribuyen a los individuos (por ejemplo, la mala probabilidad de integrarse en el mercado laboral).

¿Es el algoritmo del AMS un ejemplo perfecto de un “algoritmo discriminatorio”? Los defensores de tales técnicas elogian la eficiencia y la precisión en las decisiones sobre la distribución de los recursos y las decisiones de pronóstico. El ordenador decide de manera objetiva o, al menos, menos sesgada que los humanos. Si el “ser mujer” para el algoritmo es negativo, solo es por presentar las desventajas estructurales de las mujeres trabajadoras, sostiene el jefe de administración del AMS. Si se ignorase el hecho de que ciertos grupos enfrentan la discriminación en el mercado laboral, no se podría respaldarlos de manera correcta. Detrás de esto se encuentra la decisión del reparto de los recursos: ya que no se puede fomentar a todos, se favorece a aquellos en quienes el algoritmo determina que el dinero se invierte de manera más efectiva.

Los críticos femeninos no aceptan este argumento: cuando la realidad social es discriminatoria, los algoritmos que la modelan también son discriminatorios. Al reproducir la realidad (discriminación contra las mujeres en el mercado laboral, responsabilidades de cuidado como una desventaja laboral para las mujeres) se consagra una injusticia existente. En casos de duda, el mal se refuerza más: si una persona ya desfavorecida no es respaldada por la evaluación del algoritmo, sus expectativas siguen empeorando.

Aquí aparece un dilema: cualquier persona que quiera luchar contra la discriminación tiene que hacerla visible (o por lo menos verla por sí misma). Al mismo tiempo, el mapeo estadístico de las estructuras discriminatorias puede convertirse en una profecía autocumplida y reforzar la discriminación. No es el algoritmo que discrimina, sino el puesto donde se lo implementa.

[…]

El problema legal de construir la personalidad externa por atribuir características de grupo

De una forma regular se pasa por alto el hecho de que incluso la atribución de las características en el periodo previo a una decisión tiene una relevancia jurídica fundamental. La construcción de la personalidad externa como tal (es decir, la caracterización según los rasgos de formación de grupo por algoritmos) interviene en el derecho a la autodeterminación informativa (conforme a Art. 1 párr. 1 y  2, y párr. 1 GG) o el derecho motivado de manera semejante a la protección de datos (Art. 7 resp. Art. 8 EU-GRCh). Esto garantiza, como expresión al derecho a la autorrepresentación, “la libertad del individuo a determinar por sí mismo qué imagen de su personalidad quiere expresar” [consulta la ley alemana BVerfGE 82, 236 (269)]. Además, otros derechos fundamentales podrían verse afectados, los cuales no se discuten aquí.

Los programas informáticos que construyen imágenes estadísticas de personalidad reducen la libertad a la autorrepresentación informativa: los que se enjaulan de manera estadística por un algoritmo apenas pueden liberarse. Incluso otra mujer –por ejemplo, una administradora de empresa– que utiliza el algoritmo AMS para decir que las mujeres generalmente tienen malas expectativas en el mercado laboral encontrará a cada candidata con esta preconcepción y la contratará solo en casos excepcionales. Se crea una imagen (negativa) de la persona, a la que no se puede oponer nada. Esta imagen no se adquiere en un proceso comunicativo y equilibrado con la posibilidad de influir en los afectados, sino se construye por tercero que utiliza datos de terceros.

[…]

Más bien, los algoritmos determinan la información de un grupo y la atribuyen a un individuo. Tal imagen de personalidad puede afectar el derecho a la autorrepresentación, al menos tanto como la evaluación de muchos detalles individuales de una persona. Por un lado, la asignación de características de grupo ignora la individualidad de los miembros del grupo. Por otro lado, las personas se privan de la posibilidad de decidir por sí mismas si quieren denunciar la característica o intervenir en las conclusiones. Esto persiste especialmente cuando el hallazgo resulta de características que ya se estigmatiza y se estereotipa.

El algoritmo AMS supone que las “mujeres” o “mujeres con responsabilidades de cuidado” son un grupo de población homogéneo. Al diferenciar por género, el algoritmo solidifica el problema real. Una distribución estatal de recursos orientada así legitima el género como una característica diferenciadora. Esto contradice tanto el propósito constitucional [de Austria] (Art. 3 párr. 2, fr. 2 GG) de la igualdad actual de hombres y mujeres (consultar también Art. 23 EU-GRCh) como el Art. 2 párr. 1 fr. 1 GG o Art. 7, 8 EU-GRCh del desarrollo libre protegido de la personalidad individual.

Ley de protección de datos y el poder de las tecnologías de la información

La regulación de los algoritmos por eso no debe comenzar con decisiones de distribución discriminatorias, sino que debe intervenir en el nivel preliminar. Un medio eficaz de romper con la construcción de personalidad algorítmica es la ley de protección de datos, que protege a las personas en su derecho a la autodeterminación informativa contra las asimetrías de poder. […]

El valor supraindividual de la libertad del desarrollo está reconocido desde hace mucho tiempo. Incluso los comienzos de la legislación de protección de datos sencilla en los 70 reflejan la necesidad de regular el poder de información estructural. Sin embargo, la ley de protección de datos todavía está limitada en la actualidad, incluso en el Reglamento General de Protección de Datos (RGPD), sobre todo al control del procesamiento de datos. Queda a la vista la importancia de los datos y la tecnología para las decisiones y sus consecuencias. Pero si los datos ya no se puede manejar en la época del big data, el enfoque debe estar en el control de los resultados.

[…]

La nula neutralidad de los algoritmos

Para comenzar a regular los algoritmos hay que reconocer que no son neutrales. Incluso el proceso de nombrar ciertas características y encontrar correlaciones con otras supone un prejuicio que luego conduce a una decisión. Este prejuicio no necesariamente requiere que se abandonen los algoritmos. Los defensores de la tecnología argumentan con razón que – como en el caso de AMS – es precisamente a través de la visualización de las diferencias estadísticamente demostrables que una distribución más equitativa de los recursos estatales puede tener éxito. Sin embargo, por otro lado existe el peligro de perpetuar los defectos existentes y que se cumplan las profecías.

Es un cargo del estado del bienestar hacer justicia al individuo en su individualidad y dignidad, y actuar en contra de los valores estadísticos empíricos, que siempre son valores de la mayoría. No se puede negar que tanto el estado del bienestar en la distribución de los recursos escasos como los empleadores/empresas, que pueden ser apoyados en sus decisiones por los algoritmos, pueden traer importantes intereses legitimados al campo. Sin embargo, se deben tener en cuenta los peligros de las decisiones discriminatorias en el nivel del procesamiento de datos en aquellas que tengan que ver con necesidades fundamentales básicas como el trabajo, seguro social y salud en particular.

De la ausencia de regulación del uso de los algoritmos se pueden derivar las restricciones al procesamiento de datos de la ley contra la discriminación. El Art. 23(1) EU-GRCh requiere que los Estados miembros aseguren la igualdad entre mujeres y hombres. En el Art. 7(2) de la Constitución Federal de Austria, el Estado también está comprometido con la igualdad verdadera entre hombres y mujeres. En Alemania, el Art. 3(2) fr. 2 GG exige la promoción de la implementación efectiva de la igualdad entre mujeres y hombres.

Pensando más allá, las leyes de igualdad de género podrían legitimar las prohibiciones en el análisis de datos estadísticos para las áreas de vida que son particularmente propensas a la discriminación. Esto corresponde con la prohibición ya existente de las tasas de seguro basadas en el género. Para evitar el daño indirecto, como la distinción entre el trabajo de media jornada y completa (un número desproporcionado de las personas empleadas a media jornada son mujeres), se podrían extender las prohibiciones de procesamiento a las características suplementarias. Además, hay que enfocarse en la aplicación de la ley: los individuos apenas pueden sacudir las declaraciones de grupo algorítmicas. La protección legal individualizada no puede absorber de forma adecuada el riesgo colectivo de utilizar los algoritmos. Incluso se podría derivar, por lo tanto, demandas procesales de las normas sustantivas de la ley. No es de ninguna manera (solo) el cargo de la ley de protección de datos, sino de la ley en conjunto, estandarizar el potencial de discriminación en el uso de algoritmos, incluso a nivel de toma de decisiones. No son los algoritmos que discriminan, sino los que los desarrollan o utilizan sin cuestionarlos.