Los recientes casos de alucinación de la inteligencia artificial se han convertido en un fenómeno preocupante en el campo de la tecnología y el derecho. Este término, hace referencia a situaciones en las cuales los sistemas de inteligencia artificial generan información o resultados que no están respaldados por datos reales o fidedignos, lo que puede tener consecuencias significativas en diversos ámbitos, incluido el ámbito legal.
En el ejercicio de la profesión, la alucinación de la inteligencia artificial puede manifestarse de varias formas, desde la generación de jurisprudencia falsa hasta la distorsión de datos, o la toma de decisiones sesgadas.
En esta oportunidad, ha trascendido un nuevo caso alarmante en el que se ha sancionado a una letrada que incorporó jurisprudencia falsa en una demanda creada por herramientas de inteligencia artificial generativa.
Darlene Smith v. Matthew Farwell – Massachusetts (Estados Unidos)
Una abogada en Massachusetts (Estados Unidos) utilizó inteligencia artificial para la elaboración de una demanda, que contenía múltiples fallos “inventados” que se incorporaban al texto como precedentes citados. La letrada alegó que fue “culpa” de una alucinación de la herramienta de inteligencia artificial generativa y que ella no tenía intenciones de engañar al tribunal, reconociendo en el mismo acto su falta de diligencia para revisar el texto antes de ser presentado a la corte.
El tribunal advirtió de los precedentes falsos citados por la letrada y luego de requerirle que explique de dónde los obtuvo, la letrada respondió que había sido realizada por “internos” del estudio jurídico, aunque posteriormente presentó una carta a la Corte en la cual reconoció el uso de inteligencia artificial para buscar precedentes, lo que derivó en la incorporación de fallos falsos creados por la IA, razón por la cual se disculpó con el tribunal por su incorporación y fallar en el control del escrito antes de ser incorporado.
Finalmente, se sancionó con una multa de U$S 2.000 por haber fallado en tener las precauciones básicas que hubieran identificado los falsos precedentes citados y el fallo concluye que: “Las alucinaciones generativas de IA pueden ser muy engañosas y difíciles de discernir. La información ficticia a menudo tiene todas las características de los datos veraces y sólo puede descubrirse como falsa mediante un escrutinio cuidadoso. Por ejemplo, como se demostró en este caso, la IA puede generar citas de decisiones judiciales totalmente inventadas que llevan nombres aparentemente reales, con referencias de reporteros, volúmenes y páginas aparentemente reales, y fechas de decisiones aparentemente reales”.
¿Cuáles son las principales causas de la alucinación de herramientas de inteligencia artificial generativa?
Las alucinaciones de la IA se producen a través de la utilización de redes neuronales artificiales, que son sistemas informáticos diseñados para imitar el cerebro humano. Estas redes neuronales utilizan algoritmos de aprendizaje automático para analizar grandes cantidades de datos y aprender de ellos. A medida que una IA aprende más, su capacidad para hacer predicciones y generar información se vuelve más sofisticada.
Estas alucinaciones en inteligencia artificial puede tener diversas causas, pero fundamentalmente se incluyen las siguientes.
- Sesgo en los datos de entrenamiento
Si los datos utilizados para entrenar el modelo contienen sesgos o representan de manera incompleta la realidad, el modelo puede generar resultados distorsionados o incorrectos.
- Prompts ambiguos
Las instrucciones dadas a la IA necesitan ser claras y detalladas. Si los prompts son ambiguos o carecen de especificidad, la IA tiene mayor libertad para “imaginar” o “deducir”, lo que puede llevar a respuestas que no están alineadas con las expectativas del usuario.
- Contextos ficticios
Preguntar a la IA sobre escenarios hipotéticos o totalmente ficticios es una invitación abierta a las alucinaciones. Para generar respuestas coherentes y fiables, la IA se basa en hechos y datos concretos. Cuando se le presentan situaciones inventadas, su capacidad para proporcionar respuestas precisas se reduce significativamente.
- Complejidad del problema
En situaciones complejas o ambiguas, los modelos de inteligencia artificial pueden interpretar erróneamente la información y generar resultados inexactos.
- Limitaciones del modelo
Los modelos de IA tienen limitaciones inherentes en su capacidad para comprender el contexto y el significado de la información, lo que puede llevar a interpretaciones incorrectas.
- Falta de supervisión adecuada
Si no se supervisa correctamente el rendimiento del modelo y se realizan ajustes necesarios, pueden surgir alucinaciones o resultados incorrectos.
- Cambios en el entorno
Los modelos de IA pueden alucinar si se enfrentan a situaciones o entornos diferentes a los que fueron entrenados, ya que pueden tener dificultades para adaptarse a nuevas circunstancias.
Estas causas dejan en evidencia la importancia de la comprensión y la gestión cuidadosa de los riesgos asociados con la alucinación en la inteligencia artificial, así como la necesidad de desarrollar técnicas de mitigación y evaluación adecuadas.
Principales recomendaciones para evitar alucinaciones en modelos de inteligencia artificial.
Con práctica y técnica humana se pueden minimizar las alucinaciones de los modelos de inteligencia artificial. En primer lugar, el desarrollador debe tener cuidado con los datos que use para el proceso de entrenamiento y de validación del sistema, es decir, el paso en el que se comprueba que se realizó de forma óptima.
Por otra parte, para reducir las alucinaciones de la IA, es recomendable usar técnicas de explicabilidad, para que el humano pueda entender cómo toma decisiones la red neuronal del sistema y qué características de los datos de entrada son más importantes para su proceso de aprendizaje. De esta forma, podría reconocer las causas de las alucinaciones y corregirlas.
Además, se puede desarrollar la IA con un sistema de conducción autónoma lo que le permitirá al modelo detectar con precisión los datos del entorno y así tomar las decisiones correctas. Estas técnicas de aprendizaje por refuerzo ya se están implementando en las pruebas de las grandes compañías para brindar un sistema que aprende de manera repetitiva a partir de la retroalimentación que recibe.
Consideraciones
La integración de herramientas de inteligencia artificial generativa en el ejercicio profesional nos presenta desafíos significativos para los letrados, ya que el riesgo de generar jurisprudencia falsa y datos erróneos puede existir a causa de la alucinación de esta herramienta. Es imperativo que los profesionales ejerzamos una diligencia extrema al emplear estas tecnologías, entendiendo sus limitaciones y verificando cuidadosamente los resultados.
Los múltiples casos de sanciones a letrados por el uso inadecuado e irresponsable de estas herramientas sirven como prueba de la importancia de un manejo ético y responsable de la inteligencia artificial en el ámbito legal. En este contexto, la capacitación continua, la supervisión rigurosa y el mantenimiento de altos estándares éticos son fundamentales para garantizar la integridad y la justicia en el ejercicio del derecho en la era de la inteligencia artificial.
FUENTES
Darlene Smith v. Matthew Farwell & others – Superior Court Civil Action No. 2282CV0119
https://aldiachile.microjuris.com/wp-content/uploads/2024/02/Vea-texto-del-fallo.-9.pdf
‘Corte Superior de Massachusetts sanciona a abogada por incluir jurisprudencia falsa creada con inteligencia artificial en una demanda’’ Microjuris (28.02.2024)
‘‘Si la IA alucina, la abogada controla’’ Diario Judicial (23.02.2024)
https://www.diariojudicial.com/news-97161-si-la-ia-alucina-la-abogada-controla
‘’$2000 Sanction in Another AI Hallucinated Citation Case’’ Reason (16.02.2024)
https://reason.com/volokh/2024/02/16/2000-sanction-in-another-ai-hallucinated-citation-case/
‘‘Qué son las alucinaciones de la IA y cómo prevenirlas o sacarles partido’’ Business Insider (10.03.2024)
https://www.businessinsider.es/alucinaciones-ia-como-prevenirlas-sacarles-partido-1370562
¿Qué son las alucinaciones de la inteligencia artificial? El Diario (21.04.2023) https://eldiario.com/2023/04/21/que-son-las-alucinaciones-de-la-inteligencia-artificial/
Autor: MILAGROS TALARICO
Alfaro Abogados
Fuente: www.abogados.com.ar