Innovar entre temores: los riesgos del uso de la IA en la justicia

"Una computadora nunca puede ser considerada responsable. Por lo tanto, una computadora nunca debe tomar una decisión de gestión". IBM, 1979.

Debemos ser cuidadosos y conscientes al adoptar nuevas tecnologías.

Imagen creada con inteligencia artificial

Desde las primeras computadoras personales hasta la inteligencia artificial (IA), el temor en torno a los riesgos asociados al uso de estos avances tecnológicos ha sido una constante. El avance de la IA y su potencial aplicación en el ámbito de la justicia es un buen ejemplo de esta discusión. Imaginemos un mundo en el que las decisiones judiciales puedan ser más rápidas, equitativas y con menos errores humanos. Suena bárbaro ¿no? Pero es cierto que supone algunos riesgos que pueden ser bastante serios.

A finales de los 70, IBM ya advertía sobre los riesgos de ceder el control de decisiones importantes a computadoras. Lo mismo sucedió cuando Google se popularizó: muchos se preguntaban si la empresa sabría demasiado sobre nuestras vidas y si eso no comprometía nuestra privacidad. La desconfianza acerca de que las máquinas conozcan nuestros intereses y ubicaciones, y hasta el temor de que las decisiones importantes comiencen a ser desplazadas por algoritmos, no es algo nuevo. Y si bien estos miedos nunca se materializaron de una manera apocalíptica, como algunas personas esperaban, sí nos dejaron una lección importante: debemos ser cuidadosos y conscientes al adoptar nuevas tecnologías.

Esto mismo es lo que hoy está ocurriendo con la IA, que plantea riesgos significativos en muchos ámbitos. En la justicia estos riesgos son aún más críticos. Por un lado, el manejo de datos sensibles en las decisiones judiciales debe ser tratado con el mayor cuidado para evitar violaciones a la privacidad. Por otro lado, la falta de transparencia en los algoritmos dificulta entender cómo se toman ciertas decisiones, generando desconfianza sobre su funcionamiento. Finalmente, uno de los mayores peligros es que los algoritmos perpetúen sesgos preexistentes, replicando estereotipos o desigualdades ya presentes en los datos con los que fueron entrenados. Un peligro que va en doble sentido: los sesgos se reproducen en los resultados de la máquina, y también pueden retroalimentar e impactar en las percepciones humanas, reforzando prejuicios y afectando negativamente a las personas involucradas.

A pesar de estos riesgos, existen muchas iniciativas en nuestro país que ya demuestran cómo es posible integrar esta tecnología en el sistema judicial. Por ejemplo, herramientas como Judicial Minion o Relmo, mediante la interfaz de chat GPT, permiten analizar documentos judiciales y colaborar en la redacción de sentencias. También hay buscadores de jurisprudencia como DoctIA, que recomienda fallos relevantes de la Corte Suprema de Argentina, o ThemisIA para los de la Corte Interamericana de Derechos Humanos. Otras como AymurAI y una impulsado por la Red Internacional de Justicia Abierta (RIJA) anonimizan sentencias para proteger la privacidad. Y sistemas como Prometea y Hodor automatizan tareas repetitivas en tribunales, liberando tiempo valioso para los operadores de justicia. Estas iniciativas muestran que el uso ético y eficiente de la IA no es un ideal lejano, sino una realidad que ya está empezando a transformar el funcionamiento de la justicia en nuestro país.

Pero los miedos persisten. El manejo de datos sensibles, la falta de transparencia en los algoritmos y el riesgo de replicar sesgos estructurales son preocupaciones legítimas. Respecto al manejo de datos sensibles en la justicia, es aún más relevante que en otros ámbitos: no solo está en juego la privacidad, sino también la forma en que estos datos son recolectados y utilizados, frecuentemente sin el consentimiento de las personas y en algunos casos de manera poco ética haciendo que un uso indebido sea especialmente problemático.

En cuanto a la falta de transparencia, es importante distinguir dos aspectos. Por un lado, está la opacidad sobre el funcionamiento general de estos sistemas: cómo están compuestos, cómo recolectan datos y qué uso hacen de ellos. Este punto plantea grandes consideraciones sobre el uso ético y legal de los datos disponibles en internet, que en muchos casos ya han sido utilizados para entrenar modelos sin consentimiento. Por otro lado, incluso sabiendo cómo están diseñados, eso no garantiza que comprendamos completamente su funcionamiento. Este se conoce como el problema de la explicabilidad de los modelos: hay un punto en donde a pesar de conocer su diseño, no siempre es posible desentrañar por completo el proceso detrás de cada resultado.

Respecto al riesgo de replicar sesgos estructurales, el problema no radica únicamente en la capacidad de las herramientas de IA para reproducir estos sesgos: estas decisiones automatizadas pueden influir en las decisiones de otros y, potencialmente, reforzar los sesgos ya existentes de quienes las utilizan. En síntesis, hay riesgos, son serios, e incluso hay algunos sectores dentro de la amplia esfera judicial que plantean la exclusión de la tecnología en la justicia, argumentando que la posibilidad de errores o de deshumanización de las decisiones es demasiado alto. Estos argumentos merecen ser considerados con seriedad, pero el camino no es frenar el avance de la IA en la justicia, sino establecer controles éticos más rigurosos.

¿Cómo lo podemos hacer? De hecho ya hay instituciones que reconocen esta necesidad. La National Center for State Courts (NCSC), por ejemplo, ha señalado la importancia de que las cortes desarrollen una política interna sobre el uso de la IA que garantice su utilización responsable y ética. Esta política no sólo debe minimizar los riesgos, sino también permitir a las cortes aprender y beneficiarse de las ventajas de la IA. Se trata de encontrar un balance entre proteger derechos y aprovechar las oportunidades que estas herramientas nos brindan.

Existen varias estrategias para enfrentar estos riesgos, y ninguna debe descartarse a priori. Algunas propuestas incluyen la creación de autoridades independientes que supervisen el uso de la IA, regulando su implementación y estableciendo límites claros. Otras sugieren que la clave está en la capacitación, asegurando que jueces, fiscales y abogados entiendan tanto las capacidades como las limitaciones de la IA. También hay quienes piensan que guías de uso bien definidas son cruciales para garantizar que las herramientas tecnológicas se utilicen de manera ética y transparente. Lo fundamental es que la gran mayoría de estas alternativas no busca detener el avance de la tecnología, sino guiar su integración de manera responsable.

Entonces, para abordar esos riesgos, la clave está en adoptar las tecnologías con responsabilidad. Debemos asegurarnos de que las herramientas de IA se utilicen de forma transparente y clara, con salvaguardas que garanticen que los derechos fundamentales no se vean comprometidos.

En definitiva, el futuro de la IA en ámbitos decisivos como la justicia dependerá de la capacidad de actores clave, desde el ámbito judicial hasta el académico y las organizaciones de la sociedad civil, de sobreponerse a los temores y ser capaces de crear un entorno que minimice estos riesgos. El temor a lo desconocido es natural, pero no debe ser un freno para adoptar nuevas tecnologías. Al contrario, es necesario abrir una conversación pública liderada por estos sectores, que se centre en cómo aprovechar las oportunidades que ofrece la IA, sin ignorar los riesgos que conlleva. Lo importante es que demos cuanto antes esta discusión de una manera abierta y sin prejuicios, considerando las diferentes alternativas que existen y se proponen, pero con la certeza de que el objetivo común debe ser un uso responsable y ético de la IA, especialmente en ámbitos tan sensibles como la justicia.

Ninguna tecnología es neutral: lo sabíamos, pero la revolución digital vino a desafiar, tal vez como nunca antes, nuestra capacidad de poner en práctica este aprendizaje. Como lo advertía IBM en 1979, “una computadora nunca debe tomar una decisión de gestión” porque, en última instancia, no puede asumir responsabilidad alguna. Esto no se trata sólo de la inteligencia artificial o de su capacidad para tomar decisiones en soledad, sino de nuestro papel en no delegar decisiones importantes a sistemas automáticos sin cuestionarlos. La verdadera pregunta es si nosotros, como sociedad, decidimos validar los resultados de un algoritmo, inteligente o no, sin la supervisión y el criterio humano. Por eso, debemos dejar de pensar en la IA como una amenaza y comenzar a verla como lo que realmente es: una herramienta. Una herramienta que, como cualquier otra, puede ser usada para bien o para mal, dependiendo de cómo decidamos implementarla. El camino no es retroceder, sino avanzar con responsabilidad.

Analista del área de Justicia de Fundar.