Los peligros de la IA aplicada al sistema judicial

Rodrigo Poyanco Bugueño

Ultimos publicados:

• Los peligros de la IA aplicada al sistema judicial
• "Bots" y libertad de expresión
• Controversia entre Ejecutivo, Fiscalía y FACh: el punto de vista constitucional

Hace poco se desarrolló en Punta Arenas un seminario sobre Teoría del Derecho, organizado por la Universidad de Magallanes y el programa de Derecho Administrativo de la UC. Entre los interesantes paneles que se presentaron, uno abordó un tema de creciente relevancia: el posible uso de la inteligencia artificial (IA) por abogados, fiscales y -¡sí, también!- jueces en varios países, en el ejercicio de sus funciones.

Los expositores, todos destacados especialistas, coincidieron en algo inquietante: cada vez es más frecuente que el abogado, el fiscal o el juez que redacta un escrito jurídico o una sentencia recurran a la IA para elaborar el texto o buscar información, particularmente doctrina o sentencias relevantes. Y este simple hecho plantea la urgente necesidad de regular el uso de estas herramientas por los riesgos que implica, los que suelen olvidarse ante la versatilidad de sus aplicaciones y la fascinación que provoca su rapidez de respuesta y aparente infalibilidad. Los peligros son diversos, aunque suelen destacarse tres.

Primero, el sesgo algorítmico. La IA puede arrojar resultados que discriminan sistemáticamente a ciertos grupos o que omiten información relevante, reflejando las inclinaciones, debilidades o intereses de sus desarrolladores (que, no lo olvidemos, suelen ser empresas privadas o, en el caso de DeepSeek, un gobierno). Al final, todo algoritmo es una creación humana, y por tanto, inevitablemente arrastra parte de nuestras propias imperfecciones. La misma DeepSeek, por ejemplo, omite sistemáticamente referencias a la masacre de Tiananmén de 1989, perpetrada por el gobierno comunista contra estudiantes que se manifestaban por la democracia.

Segundo, las llamadas "alucinaciones" de la IA. Son situaciones en que la máquina inventa información o entrega datos falsos con apariencia de veracidad. El problema es que las nociones morales de "verdadero" o "falso" son categorías que aplica el ser humano, pero para la IA, la coherencia interna de su respuesta basta. Recordemos el ya célebre caso de una abogada estadounidense sancionada por presentar un escrito basado en jurisprudencia inventada por el propio sistema. Su error, confesó, fue confiar ciegamente en el resultado que le ofreció la máquina. Advirtamos lo que podría suceder si es un juez el que redacta una sentencia confiando en la IA, como de hecho ya ha sucedido en Colombia.

Tercero, la llamada "caja negra". Todos hablamos con soltura de "algoritmos", pero pocos saben realmente cómo funcionan. Salvo las empresas que los desarrollan -y algunos discuten que incluso ni los propios creadores están seguros de ello- , nadie conoce a ciencia cierta cómo la IA procesa los datos o elige una respuesta frente a una consulta. Esta opacidad de la lógica interna de estos programas agrava los riesgos anteriores y explica, entre otras cosas, la extrema variabilidad de respuestas que puede ofrecer una determinada IA ante la misma pregunta, si esta se formula más de una vez.

Frente a esto, no estoy seguro de que, al menos por ahora, la respuesta sea simplemente regular el uso de la IA en el ámbito jurídico. Tal vez -especialmente en el caso de los jueces que las usan para redactar sentencias- la opción más prudente sea, derechamente, prohibirlo. Después de todo, para eso pagamos impuestos.