Violencias algorítmicas

LORENA FERNÁNDEZ ÁLVAREZ 23/11/2022 Pikara

El sistema VioGén se usa desde 2007 en España para evaluar el riesgo de las mujeres que denuncian violencias machistas y tomar o no medidas de protección. Pero el algoritmo no es inmune a los sesgos.

Ilustración: Señora Milton.

La cifra de 712.000 casos analizados y más de 5,4 millones de valoraciones de riesgo realizadas desde su puesta en marcha en 2007 da una idea de la dimensión de VioGén y lo convierte en el sistema de este tipo con mayor volumen de casos gestionados a escala mundial. El Sistema de Seguimiento Integral en los casos de Violencia de Género VioGén es la herramienta que se usa en España para evaluar el riesgo que corren tanto mujeres que denuncian violencias machistas como menores a su cargo, planificando con base en eso su protección. Se trata de un sistema de predicción y no de percepción o juicio. Es decir, no evalúa la gravedad del pasado o la actualidad, sino que vaticina el riesgo al que está sometida una víctima.

El procedimiento se activa cuando se presenta la denuncia. Es en ese momento cuando Policía o Guardia Civil recogen el testimonio y lo introducen en un cuestionario para hacer un análisis basado en modelos estadísticos de 35 variables (que van desde las características del presunto agresor al grado de vulnerabilidad de la víctima, entre otros factores). El sistema asigna una puntuación de riesgo (scoring) que evalúa la probabilidad de que se produzca una futura agresión por parte del mismo perpetrador, siendo los posibles resultados “no apreciado”, “bajo”, “medio”, “alto” y “extremo”.

Tras esto, el cuerpo policial indica su conformidad con el resultado que arroja el algoritmo (si no lo está, solo se puede aumentar la puntuación, nunca bajarla) y se decide qué tipo de medidas, tanto policiales como legales, se aplican. Cada nivel tiene unas que varían en intensidad (desde llamadas de seguimiento a poner un coche patrulla las 24 horas del día en la puerta del domicilio de la víctima).

Presentado como un sistema algorítmico y por tanto no sujeto a condicionamientos humanos, este sistema ha entrado de lleno en las comisarías, con soluciones extendidas en diferentes partes del mundo: Ecuador, Sudáfrica, India, así como algunos estados miembros de la Unión Europea. Pero, al igual que ocurre en la vida offline, la desigualdad estructural campa a sus anchas en el mundo digital. Como dice la científica de datos Cathy O’Neil, “los algoritmos son opiniones encerradas en matemáticas” y adolecen de los mismos sesgos y estereotipos que las personas. La diferencia es que el impacto y el poder transformador que tienen sobre nuestras vidas es exponencial.

Aunque desde la Administración pública se defiende que VioGén cuenta con un alto porcentaje de acierto y precisión, la auditoría externa elaborada en 2022 por Fundación Eticas, pone sobre la mesa varios factores que contribuyen a que VioGén no esté libre de sesgos.

La componente humana

Según esta auditoría, liderada por Gemma Galdón Clavell con la colaboración de la Fundación Ana Bella, el primer punto al que se debe prestar atención aparece en la recogida del testimonio y el traslado al sistema. En el trabajo de campo hecho por Eticas —que ha tenido que realizarse mediante ingeniería inversa debido a la falta de transparencia de VioGén, ya que no se puede acceder a información más allá de lo producido por el equipo de investigación que contribuyó a su desarrollo y personas vinculadas al Ministerio y fuerzas policiales, denuncia el equipo— el 80 por ciento de las mujeres entrevistadas dijeron haberse encontrado con problemas durante esta fase.

VioGén se basa en el supuesto de que las mujeres que sufren violencias machistas entienden y responden claramente a los 35 elementos del formulario en el momento de la denuncia, y la policía transforma objetivamente las declaraciones en respuestas binarias (presente/no presente). Teniendo en cuenta que uno de los factores de por qué las mujeres no denuncian son las barreras institucionales y que, una vez que deciden hacerlo, la disposición de la policía juega un papel importante en su experiencia general, este momento es crucial. Actitudes poco acogedoras, falta de empatía y comprensión, así como el comportamiento crítico y creencias de policías, pueden mediatizar el testimonio de las víctimas, que luego se traslada al cuestionario. Sin embargo, en la actualidad, de 27.000 personas que trabajan con la herramienta, solo 2.000 tienen formación en violencias machistas. En una de las entrevistas que hicieron a supervivientes dentro de la auditoría, una mujer migrante narraba lo siguiente: “En mi primer intento no aceptaron mi denuncia y me dijeron que me volviera a mi país y que todo era mi culpa. Después, en otra ciudad, me trataron muy bien”. Fue en esa segunda localidad donde finalmente pudo ser evaluada por VioGén y recibió una puntuación de alto riesgo.

Otro problema es el momento en el que tienen que responder a las preguntas del cuestionario, dado que muchas llegan inmediatamente después de una agresión, encontrándose en estado de conmoción, sin estar física o emocionalmente preparadas (una de las entrevistadas contaba cómo sufrió un ataque de ansiedad durante el cuestionario y tuvo que ser trasladada a un hospital). No disponer de apoyo psicológico antes y durante este proceso agrava esta carga emocional. A esto se suma que algunas preguntas fueron identificadas por las mujeres como ambiguas y, según la abogacía, la comprensión dependía mucho del nivel educativo. También comentaron de manera recursiva la falta de información y el desconocimiento de que un sistema de este tipo se estuviera usando con ellas.

Sesgo de automatización

El porcentaje de conformidad del sistema también es un dato a tener en cuenta: en el 95 por ciento de las ocasiones, agentes de policía optaron por no modificar la puntuación de riesgo sugerida por VioGén mostrando con esto que, más que una recomendación, se está delegando en el sistema la toma de decisiones. Además, algunos estudios sugieren que la disposición a cuestionar el sistema disminuye cuando aumenta su carga de trabajo. Esta falta de escepticismo ante la información que nos proporcionan los algoritmos es lo que se denomina como sesgo de automatización. Desde el estudio de experimentación Bikolabs, Ujué Agudo y Karlos G. Liberal están trabajando precisamente en analizar sistemas de predicción de futuro. Una de las cosas sobre las que alertan es que este alto porcentaje se está usando como una justificación de que funcionan muy bien, en vez de verlo como una llamada de atención. Para los experimentos que quieren plantear en esta línea, es limitante no poder revisar, por ejemplo, la interfaz de la herramienta. Esto es así porque el cómo se muestra esa pantalla de conformidad puede condicionar el juicio sobre el caso (por ejemplo, no es lo mismo que aceptar la recomendación sea solo pinchar un botón mientras que modificar la puntuación lleve varios pasos).

En Bikolabs también hablan de las decisiones políticas previas al desarrollo, apuntando en este caso a las tasas aceptables de falsos positivos (cuando se establecen medidas policiales o legales ante un caso donde no habrá reincidencia) y falsos negativos (casos en los que las mujeres asesinadas no habían recibido una orden de protección porque el algoritmo no aprecia el riesgo o pronostica riesgo bajo). En VioGén se hace una apuesta porque la tasa de falsos negativos sea baja independientemente del aumento de falsos positivos. Pero esto no hace desaparecer los fallos que, en ocasiones, derivan en consecuencias graves. Eso fue lo que sucedió en 2018, cuando I. P. denunció a su marido, Ricardo Carrascosa. Agentes policiales anotaron la denuncia y pasaron sus respuestas por el sistema, que lanzó una calificación de riesgo “bajo”. El juez se apoyó en esto para denegar la orden de alejamiento. Siete meses más tarde, Carrascosa asesinó a las hijas que tenían en común, de seis y dos años.

Analizando los datos de septiembre de 2022, de 74.424 casos activos, el 42.39 por ciento recibió la puntuación de “no apreciado”, 42.38 por ciento de “bajo”, 14.25 por ciento de “medio”, 0.96 por ciento de “alto” y 0.02 por ciento de “extremo”. Llama la atención el elevado porcentaje de riesgo “no apreciado” o “bajo”. Y más si tenemos en cuenta que cuando una víctima recibe esta puntuación, esto crea una brecha entre cómo se autoevalúa y percibe su riesgo de revictimización de cara al futuro.

Ilustración: Señora Milton.

Los riesgos de la inteligencia artificial

VioGén actualmente utiliza modelos estadísticos basados en la suma ponderada de todas las respuestas según pesos preestablecidos en cada variable para inferir el riesgo futuro, pero no se trata de una inteligencia artificial basada en machine learning. Esto quiere decir que el sistema no está aprendiendo de casos anteriores para generar modelos automatizados, aunque es una de las evoluciones de futuro que se están barajando. Un paso que conllevaría muchos riesgos, dado que al depender en gran medida de los datos históricos, puede contribuir a perpetuar los sesgos y las desigualdades estructurales. Un ejemplo de esto es que analizaría solo los casos que son denunciados. Teniendo en cuenta que según la Macroencuesta de Violencia contra las Mujeres hecha en 2019, solo el 21,7 por ciento de las mayores de 16 años denunciaron a su agresor, la tecnología se estaría quedando únicamente con la punta del iceberg. En cualquier caso, tal y como indica Eticas en su auditoría, si surge el debate, no debe ser a puerta cerrada y sin tener en cuenta, al menos, el punto de vista de las afectadas, que son las grandes olvidadas en este sistema, dado que no se ha contado con sus experiencias ni los conocimientos de las organizaciones para el diseño y seguimiento del mismo. Sin embargo, tal y como señalan desde Bikolabs, luego este tipo de herramientas sí se están probando en capas de clase social donde la capacidad de respuesta va a ser mínima.

El algoritmo vasco

La investigadora del Oxford Internet Institute Ana Valdivia García ha analizado en un estudio, junto al magistrado de la Audiencia Provincial de Gipuzkoa Julián García-Marcos y la investigadora del King’s College London Cari Hyde-Vaamonde, la herramienta EPV-R, integrada en los tribunales del País Vasco y muy similar a VioGén. Este sistema, implementado en 2008 para ayudar a la Ertzaintza durante la evaluación de casos de violencias machistas, también se incorporó para asistir en la toma de decisiones en los juzgados. Volvemos a encontrarnos con un formulario de 20 ítems que se completa en el momento de la denuncia pero que cuenta con preguntas del tipo “¿Es el agresor o la víctima migrante?” (puntuando más alto el riesgo en caso afirmativo) o con otras ambiguas como son la “Percepción de peligro de muerte de la víctima en el último mes”. Con base en eso, el algoritmo asigna un riesgo de incidencia (“bajo”, “moderado” o “alto”). Esta puntuación se remite al juzgado junto con un informe elaborado por la Ertzaintza para que se determinen qué medidas de protección aplicar. Aparte de las problemáticas ya relatadas respecto a VioGén, en el estudio se muestra otra adicional: en este sistema hay más falsos negativos. Como indica Valdivia, se busca un equilibrio entre falsos negativos y falsos positivos, lo que es un error de concepto, porque no implica contraponer feminicidios a personas inocentes en la cárcel, sino más bien feminicidios a falta de medidas de protección, es decir, recursos y financiación.

Los sistemas digitales nos atraviesan en nuestro día a día y están modelando, una vez más, el mundo con base en lo “estándar” (entendido lo estándar como los privilegios). Si a esto le sumamos que en muchas ocasiones se tratan de cajas negras sin acceso a su código fuente, con alto impacto sobre nuestras vidas y financiados con fondos públicos, es inaceptable su falta de transparencia, de interseccionalidad o de auditorías externas. Aunque la responsabilidad algorítmica en sí misma no puede lograr la justicia social, arroja luz sobre el desempeño de la tecnología y puede prevenir algunos de sus riesgos. Los algoritmos hace tiempo que no predicen el futuro. Causan el futuro.

Este reportaje fue publicado inicialmente en la edición en papel del El Salto.