Una auditoría denuncia "fallos sustanciales" en el algoritmo que sentencia el futuro de estos presos españoles

Una auditoría hace levantar sospechas ante la eficacia de una herramienta tecnológica aplicada al ámbito de los presos y las prisiones. La primera que se ha realizado para analizar el algoritmo que emplean en Cataluña para este fin, a cargo de Éticas, quien ha realizado la primera auditoría adversarial a este sistema, ha identificado “deficiencias sustanciales” en la fiabilidad de sus decisiones.

También especialistas en Derecho, Matemáticas y Estadística de la Universitat de València (UV) y la Politècnica de València (UPV) alertan de riesgos en el uso de tres herramientas predictivas utilizadas en la gestión policial y en la clasificación penitenciaria, tanto para los derechos fundamentales de los ciudadanos como en posibles discriminaciones que podrían derivarse para colectivos vulnerables.

El equipo ha analizado herramientas que funcionan con Inteligencia Artificial (IA) o algoritmos. Se trata de VioGén, empleada por la policía en España para evaluar el riesgo de revictimización de las mujeres que han denunciado situaciones de violencia de género; RisCanvi, utilizada por el sistema de prisiones catalán como apoyo para la toma de decisiones en materia de régimen y tratamiento, y VeriPol, una herramienta de IA de que dispone la policía española para detectar denuncias falsas de robo por medio de su contraste con patrones de lenguaje natural.

El estudio académico

El estudio, dirigido por la profesora de Derecho Penal de la UV Lucía Martínez Garay, constata algunas carencias generales comunes a las tres herramientas en lo que se refiere a su adecuación al marco jurídico vigente en materia de protección de datos, detalla la UV.

También se aprecian déficits en la transparencia de estos sistemas, tanto en lo que se refiere a la información que está a disposición de la ciudadanía en general, como en cuanto a la información concreta respecto de los usos que se dan en cada caso y sus exactas implicaciones y consecuencias. La situación difiere para cada herramienta, con RisCanvi como la más transparente y Veripol como la más opaca.

Según el estudio, en el marco de la próxima entrada en vigor del Reglamento europeo sobre Inteligencia Artificial (RIA), será preciso un mayor esfuerzo en estos dominios, especialmente cuando las exigencias del RIA pasen a ser obligatorias también para las herramientas de IA empleadas por los poderes públicos y en lo que se refiere a la evaluación de sus efectos sobre los derechos fundamentales.

Respecto de posibles sesgos o discriminaciones, el informe subraya que el problema más grave es la dificultad para estudiar esta cuestión de forma sistemática, completa y exhaustiva, debido a la ausencia de datos e información suficiente públicamente accesible que permita una evaluación y contraste externos.

Las principales conclusiones del estudio

Aunque las conclusiones han de tomarse "con cautela" al haber tenido que trabajar con información incompleta, el estudio apunta a la posible existencia de sesgos que perjudican en ocasiones a algunos colectivos: VioGén parece proteger de forma algo menos eficaz a las mujeres víctimas que son de origen no español y RisCanvi parece ser más severo con colectivos como personas con problemas de salud mental o de adicciones, o personas con una situación socioeconómica muy desfavorable, al asignarles un riesgo de reincidencia violenta más alto que a quienes no se encuentran en estas circunstancias, y más alto también de lo que correspondería de acuerdo con los datos disponibles sobre su reincidencia real.