El sesgo algorítmico y desafíos de la IA en los sistemas judiciales: ¿puede la IA ser justa?
Los intentos por simular la inteligencia humana con las máquinas no es un tema actual, pero en los últimos años, el uso de la inteligencia artificial (IA) para la realización de actividades de diversa índole se ha puesto de moda en aplicaciones como Chat GPT, herramientas que se han hecho presentes incluso en los sistemas judiciales en casi todo el mundo. A medida que vamos abrazando esta transformación digital que sin duda aumenta la eficiencia en las tareas, surgen dilemas e interrogantes éticos y legales que no deben ser ignorados.
Para entender la influencia de la inteligencia artificial en los sistemas judiciales y las polémicas que genera, es necesario definir el algoritmo, base del funcionamiento de esta. Este puede ser considerado como “una serie de operaciones detalladas y no ambiguas para ejecutar paso a paso, que conducen a la resolución de un problema, y se representan mediante una herramienta o técnica”[1], es decir, instrucciones definidas que se le da a un sistema para que realice una determinada tarea, debiendo cumplir con una serie de características como son la precisión, la definición y la finitud y es precisamente en estas donde encontramos una problemática, la del sesgo algorítmico.
Los algoritmos, objetivos precisos y definidos, en teoría son construidos por seres humanos que tienen sus propias perspectivas y prejuicios, de manera que la discriminación en nuestra sociedad se puede infiltrar fácilmente en estas poderosas herramientas, perpetuando y amplificando las injusticias existentes, ya que pueden exacerbar la marginación contra ciertos grupos, socavando los principios fundamentales de equidad y justicia, así como minando los derechos fundamentales.
El sesgo algorítmico ocurre cuando los sistemas de IA o los algoritmos utilizados para decisiones automatizadas terminan discriminando de forma indirecta o involuntaria a ciertas personas o grupos, lo cual nos lleva a preguntarnos si estamos sacrificando la imparcialidad en pos de la eficiencia, ya que este responderá a los prejuicios humanos que sean incorporados al sistema. En este sentido, si un sistema de IA se entrena con datos que reflejan una mayor incidencia de delitos cometidos por personas de un grupo étnico específico, es probable que el sistema desarrolle sesgos y comience a discriminar a ese grupo.
Un ejemplo de este tipo de sesgo vinculado con el derecho a la igualdad y la no discriminación en razón de género dentro del ámbito laboral, lo podemos ver en un caso de la reconocida empresa Amazon, la cual en el año 2014 desarrolló un algoritmo para la contratación de empleados, basado en los perfiles de los trabajadores más exitosos que había tenido. Dado que la mayoría de estos empleados eran ingenieros hombres, el algoritmo concluyó que los mejores candidatos debían ser hombres y, sistemáticamente, comenzó a rechazar hojas de vida que contenían la palabra mujer. Debido al escándalo, Amazon decidió discontinuar esta metodología de selección de personal, ya que el algoritmo replicaba los sesgos de género presentes en la empresa [2].
La UNESCO se ha pronunciado respecto del sesgo algorítmico en el sentido que:
“(…) suscitan preocupaciones éticas fundamentales, por ejemplo, en relación con los sesgos que pueden incorporar y exacerbar, lo que puede llegar a provocar discriminación, desigualdad (…) exclusión y suponer una amenaza para la diversidad cultural, social (…) su posible impacto en, entre otros, la dignidad humana, los derechos humanos y las libertades fundamentales, la igualdad de género, la democracia, los procesos sociales, económicos, políticos y culturales, las prácticas científicas y de ingeniería, el bienestar animal y el medio ambiente y los ecosistemas” [3].
La implementación de la inteligencia artificial mejora sin lugar a dudas la eficiencia y reduce la carga de trabajo de los Tribunales que presentan alta mora judicial, sin embargo el sesgo algorítmico plantea desafíos significativos que pueden poner en juego la equidad y la imparcialidad en la administración de justicia.
Ya existen algunos países que han iniciado a usar la inteligencia artificial para la elaboración de decisiones judiciales y para predecir un determinado fallo, como el caso de Estados Unidos con Watson, sistema desarrollado por IBM en el Tribunal de Menores del condado de Montgomery y Argentina con PROMETEA, aplicada en el Ministerio Público Fiscal, de la ciudad de Buenos Aires [4].
En el mismo caso de Estados Unidos, algunos estados como Wisconsin utilizan herramientas de evaluación de riesgos basadas en IA, como COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), para ayudar a los jueces a decidir sobre la libertad bajo fianza y sentencias. Sin embargo, el uso de COMPAS ha sido controvertido debido a preocupaciones sobre sesgos y transparencia. En los tribunales de Hangzhou, Beijing y Guangzhou en China utilizan IA para manejar casos de comercio electrónico, propiedad intelectual y disputas relacionadas con el internet. En resumidas cuentas, la IA ayuda en la gestión de casos, generación de informes y, en algunos casos, en la redacción de borradores de decisiones judiciales.
De igual manera, en el Sistema de Justicia Administrativa en Quebec, Canadá, la plataforma de justicia predictiva llamada "JusticeBot" se ha utilizado para ayudar a las personas a predecir los resultados de sus casos basándose en datos históricos. Aunque no toma decisiones judiciales, ayuda a los litigantes a entender mejor sus probabilidades de éxito. En el Tribunal de Justicia de Pernambuco de Brasil, se ha implementado el uso de un sistema de IA llamado "VICTORIA" para ayudar en la tramitación de casos, especialmente en la clasificación y priorización de documentos judiciales.
Estos ejemplos ilustran cómo diferentes países están adoptando tecnologías de IA en sus sistemas judiciales, aunque la implementación y el alcance varían ampliamente. En todos estos casos, la IA se utiliza principalmente como una herramienta de apoyo para los jueces y el personal judicial.
Un sistema de IA podría utilizarse para apoyar decisiones judiciales, proporcionando recomendaciones basadas en el análisis de datos y patrones algorítmicos, como por ejemplo en la resolución de custodia infantil en la que podría analizar la capacidad de ambos padres para proporcionar un entorno estable y seguro para el menor y recomendaría otorgar la custodia principal a la madre, con visitas regulares y supervisadas para el padre, o en un caso penal, en el que luego de revisar el historial delictivo del acusado y su comportamiento durante la reclusión, el sistema de IA recomienda otorgar la libertad condicional bajo estricta supervisión.
De igual manera, los algoritmos podrían sugerir decisiones basadas en datos que discriminan a cierto grupo social, por género, color de piel, educación, entre otros. Por tanto, para abordar los desafíos que implica la aplicación de la IA en el sector judicial, es imperativo adoptar un enfoque multidimensional que combine la experiencia legal con la competencia tecnológica. Esto implica, no solo comprender los mecanismos subyacentes de los algoritmos, sino también cuestionar críticamente sus supuestos y resultados. La diversidad y la inclusión deben ser los pilares de cualquier desarrollo tecnológico en el ámbito legal, asegurando que los sistemas sean sensibles a las diferencias culturales y sociales.
La necesidad de regular la inteligencia artificial ha sido tomada en cuenta por la Unión Europea, con la primera ley de inteligencia artificial en el mundo. El numeral 42 de esta establece que:
“En consonancia con la presunción de inocencia, las personas físicas de la Unión siempre deben ser juzgadas basándose en el comportamiento real. Las personas físicas nunca deben ser juzgadas a partir de comportamientos predichos por una IA basados únicamente en la elaboración de sus perfiles, en los rasgos o características de su personalidad, como la nacionalidad, el lugar de nacimiento, el lugar de residencia, el número de hijos, el nivel de endeudamiento o el tipo de vehículo, sin una valoración humana y sin que exista una sospecha razonable, basada en hechos objetivos comprobables (…)” [5].
De igual manera establece en su numeral 61 que:
“Deben clasificarse como de alto riesgo determinados sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de hacer frente al riesgo de posibles sesgos, errores y opacidades, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. (…) La utilización de herramientas de IA puede apoyar el poder de decisión de los jueces o la independencia judicial, pero no debe substituirlas: la toma de decisiones finales debe seguir siendo una actividad humana” [6].
La ley de inteligencia artificial resalta las ventajas y oportunidades de esta tecnología, pero también sus riesgos, buscando un equilibrio, sin afectar el derecho a la igualdad y sin fomentar la desigualdad, mediante la clasificación de la IA según su nivel de riesgo, determinando que los sistemas de este tipo destinados a administrar justicia pueden repercutir negativamente en los derechos humanos, como la igualdad y en la tutela judicial efectiva, si no se aplican adecuadamente.
La Constitución de la República Dominicana establece en el artículo 39 sobre el derecho a la igualdad que “todas las personas nacen libres e iguales ante la ley, reciben la misma protección y trato de las instituciones, autoridades y demás personas y gozan de los mismos derechos, libertades y oportunidades, sin ninguna discriminación (…)” [7]. Existen principios y normas internacionales relacionadas con la igualdad y la no discriminación como la Declaración Universal de Derechos Humanos, adoptada por la Asamblea General de las Naciones Unidas en 1948, la cual establece en su artículo 7 que "todos son iguales ante la ley y tienen, sin distinción, derecho a igual protección de la ley" [8].
Los Estados parte en estos tratados están obligados a respetar, proteger y garantizar estos derechos en sus respectivos territorios, por lo tanto, los algoritmos utilizados en los tribunales deben ser sujetos a escrutinio público y auditorías independientes para garantizar que cumplan con los más altos estándares éticos y legales. Solo a través de un compromiso continuo con estos principios podemos aspirar a una justicia digital verdaderamente equitativa.
El sesgo algorítmico representa un desafío existencial para los sistemas judiciales en la era digital. Sin embargo, también ofrece una oportunidad única para reexaminar y mejorar nuestras prácticas y políticas legales. Al abordar este desafío con determinación y visión, podemos forjar un camino hacia una justicia digital que refleje verdaderamente los valores fundamentales de equidad, imparcialidad y dignidad humana. En última instancia, la justicia no puede ser reducida a ceros y unos; es, y siempre debe ser, un acto de empatía y comprensión.
Fuentes bibliográficas
[1] PINALES, Francisco y VELÁZQUEZ, César. Problemario de algoritmos resueltos con diagrama de flujo y pseudocódigo. Textos Universitarios. Departamento Editorial de la Dirección General de Difusión y vinculación de la Universidad Autónoma de Aguascalientes, primera edición, 2014, pág. 15 Disponible en: https://editorial.uaa.mx/docs/algoritmos.pdf
[2] LANG IRRAZÁBAL, María Celestina. La Inteligencia artificial en la administración de justicia. Ediciones Universidad de Salamanca, 2022. EISSN: 2340-5155. Disponible en: https://gredos.usal.es/bitstream/handle/10366/152373/Inteligencia_Artificial_en_la_Administra.pdf?sequence=1&isAllowed=y
[3] UNESCO. Recomendación sobre la ética de la inteligencia artificial, 2021. Disponible en: https://unesdoc.unesco.org/ark:/48223/pf0000380455_spa
[4] UNESCO. IA aplicada a sentencias judiciales. Disponible en: https://unescochair.cs.uns.edu.ar/actividades/investigacion/etica-en-servicios-publicos-digitales/escenarios/inteligencia-artificial-aplicada-en-sentencias-judiciales/
[5] PARLAMENTO EUROPEO. Reglamento de inteligencia artificial, corrigendum, 2024, numeral 44. Disponible en: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138-FNL-COR01_ES.pdf
[6] Idem, pág. 61.
[7] Constitución de la República Dominicana, 2015, publicada en la Gaceta Oficial número 10805 del 10 de julio de 2015.
[8] Declaración Universal de Derechos Humanos: Adoptada por la Asamblea General de las Naciones Unidas en 1948.
Otras fuentes
WILLIAMS, Nikki. Sentence by Numbers: The Scary Truth Behind Risk Assessment Algorithms. Digital Ethics & Policy. Loyola University, 2018. Disponible en: https://www.luc.edu/digitalethics/researchinitiatives/essays/archive/2018/sentencebynumbersthescarytruthbehindriskassessmentalgorithms/
ZHABINA, Alena. How China's AI is automating the legal system. DW, 2023. Disponible en: https://www.dw.com/en/how-chinas-ai-is-automating-the-legal-system/a-64465988#:~:text=In%20China%2C%20people%20can%20use,can%20even%20calculate%20legal%20costs.