Por qué los Sesgos de la IA son relevantes en la industria legal

Imagina que tomas una foto de una bicicleta y le preguntas a una IA cuánto vale. Ahora imagina que en esa misma foto apareces tú. Dependiendo del color de tu piel, la IA podría dar precios completamente diferentes: $1,000 si eres de tez clara, $200 si eres de tez morena. La misma bicicleta, diferentes precios, basados únicamente en quién aparece en la foto.

Este no es un ejemplo hipotético. Es un experimento real realizado en Stanford por Alejandro Salinas de León que demuestra cómo los sistemas de IA, supuestamente objetivos, pueden reproducir y amplificar prejuicios sociales existentes. La IA no fue programada para discriminar - simplemente aprendió de datos que reflejan desigualdades económicas y sociales del mundo real.

extracto de la entrevista en el Legal AI Week de Lawgic

Da click si quieres ver el contenido completo

¿Por qué debería importarte como abogado?

Porque tus clientes corporativos no se quieren quedar atrás y están implementando IA a diestra y siniestra. No es moda, es competitividad, y esto solo va a aumentar - estamos apenas en el comienzo.

Un ejemplo claro es el caso de Amazon, que en 2014 desarrolló un sistema de IA para revolucionar sus procesos de contratación. La idea parecía perfecta: analizar automáticamente currículums para identificar a los mejores candidatos, eliminando sesgos humanos y ahorrando tiempo y recursos en el proceso. Amazon alimentó el sistema con 10 años de currículums recibidos, esperando que la IA aprendiera a identificar patrones de candidatos exitosos.

Sin embargo, el resultado fue alarmante. El sistema comenzó a discriminar sistemáticamente contra las mujeres candidatas de formas sorprendentemente sofisticadas. Penalizaba currículums que incluían la palabra "mujeres" en cualquier contexto - por ejemplo, "capitana del equipo de ajedrez de mujeres" o "vicepresidenta de la sociedad de mujeres en ingeniería".

Los ingenieros de Amazon intentaron "arreglar" el sistema eliminando términos explícitamente relacionados con género. Pero la IA, demostrando una capacidad inquietante para encontrar patrones ocultos, comenzó a usar otros indicadores como proxy para identificar género. Por ejemplo, verbos comúnmente usados en currículums de mujeres ("participó", "facilitó", "organizó") se convirtieron en factores negativos. Incluso el estilo de escritura y formato del currículum podían llevar a una discriminación no intencionada.

Lo más revelador fue que el sistema no estaba "defectuoso" - estaba funcionando exactamente como se esperaba, identificando patrones en los datos históricos.

El problema era que esos datos reflejaban décadas de prácticas de contratación sesgadas en la industria tecnológica. Amazon eventualmente abandonó el proyecto en 2017, pero el caso ilustra perfectamente cómo los sesgos históricos pueden infiltrarse y amplificarse en sistemas de IA aparentemente objetivos.

Este tipo de situaciones expone a las empresas a responsabilidades legales significativas. Como asesor legal, necesitas entender estos riesgos para poder guiar a tus clientes en la implementación responsable de IA, o para defender sus intereses cuando estos sistemas generen resultados discriminatorios.

Conceptos clave: ¿De qué hablamos cuando hablamos de sesgos?

Conceptos clave que necesitas conocer para navegar el mundo de la IA y sus implicaciones legales

Sesgo algorítmico : Tendencia sistemática de un modelo de IA para favorecer ciertos resultados, generalmente reflejando prejuicios presentes en los datos de entrenamiento.

• Sesgo algorítmico : Tendencia sistemática de un modelo de IA para favorecer ciertos resultados, generalmente reflejando prejuicios presentes en los datos de entrenamiento.

Sesgo de representación : Distorsión que ocurre cuando ciertos grupos o características están sub o sobrerrepresentados en los datos de entrenamiento. Discriminación algorítmica : Cuando un sistema de IA produce resultados que tratan de manera sistemáticamente diferente a distintos grupos demográficos. Proxies discriminatorios : Variables aparentemente neutrales que el modelo usa para inferir características protegidas (como raza o género) y potencialmente discriminar basándose en ellas. Lobotomización neuronal : Técnica experimental para mitigar sesgos mediante la desactivación selectiva de "neuronas" específicas en el modelo que exhiben comportamiento sesgado. Representación axiológica : Sistema de valores y pesos que el modelo asigna a diferentes características durante su proceso de toma de decisiones. Disparate treatment vs. Disparate impact : Distinción entre discriminación intencional en el diseño del sistema versus impactos discriminatorios no intencionales en sus resultados. Auditoría algorítmica : Proceso sistemático para evaluar sesgos y discriminación en sistemas de IA, incluyendo pruebas de equidad y análisis de impacto. Efecto de la caja negra : La opacidad inherente en cómo los modelos de IA, especialmente los más complejos, llegan a sus conclusiones, dificultando la detección y corrección de sesgos.

• Sesgo de representación : Distorsión que ocurre cuando ciertos grupos o características están sub o sobrerrepresentados en los datos de entrenamiento.
• Discriminación algorítmica : Cuando un sistema de IA produce resultados que tratan de manera sistemáticamente diferente a distintos grupos demográficos.
• Proxies discriminatorios : Variables aparentemente neutrales que el modelo usa para inferir características protegidas (como raza o género) y potencialmente discriminar basándose en ellas.
• Lobotomización neuronal : Técnica experimental para mitigar sesgos mediante la desactivación selectiva de "neuronas" específicas en el modelo que exhiben comportamiento sesgado.
• Representación axiológica : Sistema de valores y pesos que el modelo asigna a diferentes características durante su proceso de toma de decisiones.
• Disparate treatment vs. Disparate impact : Distinción entre discriminación intencional en el diseño del sistema versus impactos discriminatorios no intencionales en sus resultados.
• Auditoría algorítmica : Proceso sistemático para evaluar sesgos y discriminación en sistemas de IA, incluyendo pruebas de equidad y análisis de impacto.
• Efecto de la caja negra : La opacidad inherente en cómo los modelos de IA, especialmente los más complejos, llegan a sus conclusiones, dificultando la detección y corrección de sesgos.

Recuerda que cada modelo de IA tiene un entrenamiento único y, por tanto, sesgos potenciales diferentes. Por ejemplo, GPT-4 y GPT-3.5 pueden dar respuestas distintas ante la misma pregunta.

Las auditorías algorítmicas ayudan a identificar estos sesgos específicos, y aunque existen herramientas técnicas como el ajuste de 'temperatura' (que controla qué tan creativo o conservador es el modelo) y técnicas de prompting engineering que pueden mitigar parcialmente estos problemas, ninguna solución es definitiva.

La clave está en entender que trabajamos con diferentes modelos que requieren diferentes estrategias de mitigación de sesgos.