Estos algoritmos opacos deciden si recibes una ayuda para la luz o si tu denuncia es falsa
La Administración española está cada vez más digitalizada y cuenta con más herramientas capaces de agilizar trámites que, en caso contrario, se demorarían demasiado. Entre ellas, encontramos distintos algoritmos que, gracias al uso de inteligencia artificial, son capaces de tomar decisiones que, en algunos casos, pueden tener un importante peso en la vida de una persona. Entre otras cosas, estas máquinas pueden decidir si accedes al bono social para el pago de la luz. También son capaces de dictaminar si la denuncia que estás intentando interponer es falsa.
«Se están utilizando para apoyar en la toma de decisiones o, directamente, para tomarlas. Los hay de mucho tipos y pueden ser determinantes para que consigas un crédito o un empleo», explica en conversación con ABC Gemma Galdón, directora ejecutiva y fundadora de Éticas, fundación dedicada a auditar algoritmos y concienciar sobre la necesidad de vigilar y exigir transparencia en el uso de sistemas de toma de decisiones automatizadas.
El problema, según explican desde Éticas, es que estos algoritmos no están auditados, por lo que no podemos saber cómo funcionan realmente. El Gobierno anunció hace un año la creación de un observatorio público llamado Obisal que se ocuparía de ello, aunque, hasta la fecha, no ha habido más noticias al respecto. «Es curioso cómo el Estado se niega a que se revisen estos algoritmos, no hay ninguna razón concreta para ello», señala Galdón.
Para que los usuarios conozcan mejor estas herramientas que, como decimos, pueden tomar decisiones determinantes para su futuro, Éticas lanzó hace unos meses el Observatorio de Algoritmos con Impacto Social ( OASI), en el que se comparte información sobre más de 50 algoritmos de este tipo, más de 15 de ellos están siendo utilizados en nuestro país por empresas e instituciones públicas.
«No todos toman decisiones muy complejas ni manejan mucha información. Muchos no son más que documentos de Excel glorificados que simplifican decisiones que, en realidad, son muy complejas. Aquí nos encontramos un problema muy grave», dice Galdón.
Para detectar maltratadores reincidentes
Como decimos, la Administración pública española utiliza varios algoritmos para poder agilizar trámites y tomar decisiones. Entre ellos, se encuentra VioGén que detecta el riesgo de reincidencia de agresores en casos de violencia de género desde 2007. De este algoritmo se conoce cómo se diseñó y cómo funciona. Sin embargo, el código del algoritmo sigue sin revelarse. Tampoco se sabe el peso que tienen las diferentes preguntas del protocolo para que el algoritmo genere una puntuación de riesgo.
Tras varias negativas por parte del Gobierno español, al que Éticas le ofreció auditorias externas de la herramienta, la fundación decidió en 2021 realizar una prueba externa. Uno de los hallazgos más preocupantes que hizo durante el desarrollo es que, a pesar de que la evaluación de riesgo del sistema VioGén ha sido diseñada como un sistema de recomendación y los resultados pueden ser modificados, la Policía mantiene el resultado automático dado en el 95% de los casos. «Las medidas de protección otorgadas a la víctima dependen de ese resultado. Esto significa que la toma de esta decisión se deja en manos de un algoritmo», de acuerdo con la organización dirigida por Galdón.
Reincidentes, terroristas y denunciantes
Los Fuerzas y Cuerpos de Seguridad del Estado utilizan otras herramientas para apoyo. También a nivel autonómico, como es el caso de Riscanvi, algoritmo utilizado en Cataluña desde el año 2009 que calcula la probabilidad de que un preso que esté en libertad vuelva a reincidir. Veripol, mientras tanto, es un algoritmo utilizado a nivel nacional que se encarga de detectar denuncias falsas. Utiliza el procesamiento del lenguaje natural y el aprendizaje automático para analizar una llamada y predecir la probabilidad de que no se corresponda con la realidad.
