Probé 6 IAs con una Consulta de Derecho Mexicano: Desde Brillantes hasta Peligrosas

"¿Cuál es la mejor inteligencia artificial?"

Es una pregunta que escucho constantemente en círculos legales, donde la adopción de estas tecnologías crece día a día. Para encontrar una respuesta, al menos en el contexto jurídico mexicano, me di a la tarea de realizar un experimento simple pero revelador.

No se trató de un estudio científico exhaustivo con cientos de preguntas, sino de un ejercicio más sutil: presentar a las principales IAs disponibles en el mercado una única consulta legal. Una pregunta aparentemente simple pero que requiere un expertise complejo para ser resuelta adecuadamente: qué hacer ante un oficio del Instituto Mexicano de la Propiedad Industrial (IMPI) que señala similitud en grado de confusión con otra marca.

La elección de esta pregunta no fue casual. Como especialista en propiedad intelectual, sé que requiere no solo conocimiento técnico del derecho marcario, sino también capacidad estratégica y comprensión práctica del procedimiento ante el IMPI. Es el tipo de consulta que cualquier abogado de marcas enfrenta regularmente, pero cuya respuesta puede marcar la diferencia entre perder o salvar un registro marcario.

CALIFICACIONES DEL EXPERIMENTO

Gemini 2.0 Experimental : 9.2/10

Claude 3.5: 8.5/10

ChatGPT O1 Pro: 8.3/10

Perplexity: 7.8/10

Grok: 6.5/10

Llama 3.2: 5.7/10

Los resultados de este experimento mostraron diferencias sorprendentes en la calidad, precisión y utilidad de sus respuestas, revelando fortalezas y debilidades específicas en cada modelo de IA para el asesoramiento legal.

GEMINI 2.0 Experimental: EL LÍDER ESTRATÉGICO

Gemini 2.0 sobresalió por su enfoque exhaustivo y estratégico. Destacó especialmente en tres aspectos clave:

1. Estructura legal impecable: Presentó las opciones de manera jerárquica, desde las menos hasta las más drásticas, incluyendo esta brillante gradación: "Argumentar la distinción entre las marcas > Limitar el alcance de la protección > Presentar una carta consentimiento > Desistir parcialmente de la solicitud > Modificar la marca."

2. Análisis práctico: Fue el único que profundizó en la posibilidad de negociar con el titular de la marca citada, sugiriendo específicamente "contactar al titular de la marca citada y negociar la obtención de una carta consentimiento" - una estrategia avanzada que los demás modelos omitieron.

3. Consejos tácticos: Incluyó detalles cruciales como analizar "si la objeción se refiere a una clase específica y no es fundamental para tu negocio", mostrando una comprensión profunda de las consideraciones comerciales en juego.

CLAUDE 3.5 Sonnet: EL MINIMALISTA PRECISO

Claude 3.5 brilló por su concisión efectiva y precisión técnica. Sus puntos fuertes fueron:

1. Claridad inmediata: Comenzó con una afirmación tranquilizadora pero precisa: "No necesariamente significa que hayas perdido el trámite."

2. Enfoque práctico: Proporcionó el dato específico del plazo legal: "normalmente son 2 meses contados a partir de la notificación del oficio" - un detalle crucial que otros modelos dejaron vago.

Sin embargo, le faltó profundizar en estrategias más sofisticadas de defensa marcaria.

CHATGPT O1 PRO: EL METODÓLOGO CAUTELOSO

Se distinguió por su aproximación sistemática, aunque con algunas limitaciones notables:

Aciertos:

1. Disclaimer profesional apropiado: "No soy tu asesor legal, pero a nivel informativo te puedo compartir algunas pautas generales" - estableciendo claramente los límites de su asesoría.

2. Categorización clara: Organizó la información en secciones bien definidas como "Lee con detenimiento el oficio", "Identifica los elementos diferenciadores de tu marca", etc.

Limitaciones:

1. Exceso de generalidades: Por ejemplo, al sugerir "incluye toda la documentación posible" sin especificar qué tipos de documentos serían relevantes.

PERPLEXITY: EL ACADÉMICO METICULOSO

Destacó por su rigor en la documentación, pero con algunos problemas de enfoque:

Fortalezas:

1. Referencias específicas: Citó fuentes concretas para cada afirmación, como "según la fuente [1]..."

2. Plazos específicos: Mencionó correctamente el "plazo de 2 meses para responder" y la existencia de un "plazo extraordinario de 2 meses adicionales."

Debilidades:

1. Exceso de citas: La abundancia de referencias interrumpía el flujo de la información práctica.

GROK: EL GENERALISTA IMPRECISO

Aunque proporcionó información básicamente correcta, su respuesta fue problemática en varios aspectos:

1. Imprecisiones técnicas: Por ejemplo, al no especificar los plazos exactos para la respuesta.

2. Estructura confusa: Mezcló conceptos básicos con estrategias avanzadas sin una clara jerarquía.

LLAMA 3.2: EL PRINCIPIANTE

Mostró las limitaciones más significativas:

1. Información incompleta: Mencionó un plazo erróneo de "30 días" cuando en realidad son 2 meses.

2. Superficialidad: Sus recomendaciones fueron demasiado generales como para ser útiles en la práctica.

ANÁLISIS COMPARATIVO DE RIESGOS

1. Riesgos de Plazos:

• Llama 3.2: ALTO RIESGO por indicar un plazo incorrecto

• Gemini 2.0, Claude 3.5, ChatGPT O1 Pro: BAJO RIESGO por especificar correctamente los plazos

• Perplexity: BAJO RIESGO con documentación de fuentes

• Grok: RIESGO MEDIO por ambigüedad en los plazos

2. Riesgos de Estrategia:

• Gemini 2.0: BAJO RIESGO por ofrecer múltiples opciones estratégicas viables

• Los demás: RIESGO MEDIO por omitir estrategias importantes

3. Riesgos de Omisión:

• Gemini 2.0, ChatGPT O1 Pro: BAJO RIESGO por cobertura comprehensiva

• Los demás: RIESGO MEDIO por omitir aspectos importantes del proceso

CONCLUSIÓN

Este análisis detallado revela una clara jerarquía en la capacidad de las IAs para manejar consultas legales especializadas:

1. Líder indiscutible : Gemini 2.0, por su combinación de precisión técnica y visión estratégica.

2. Segundo nivel: Claude 3.5 y ChatGPT O1 Pro, por su equilibrio entre precisión y practicidad.

3. Tercer nivel: Perplexity, por su enfoque académico pero útil.

4. Nivel básico: Grok y Llama 3.2, con limitaciones significativas.

Sin embargo, incluso la mejor IA mostró limitaciones que subrayan la importancia del juicio profesional humano. La tecnología actual es una herramienta valiosa de apoyo, pero no un reemplazo del abogado especializado.

DESGLOSE DETALLADO DE CALIFICACIONES

Las calificaciones otorgadas se basan en cinco criterios fundamentales, cada uno evaluado sobre 10 puntos:

Gemini 2.0 (9.2/10)

• Precisión técnica: 9.5/10 (información exacta sobre plazos y procedimientos)

• Estrategia legal: 9.5/10 (múltiples opciones viables y bien jerarquizadas)

• Practicidad: 9.0/10 (consejos directamente aplicables)

• Estructura: 9.0/10 (organización clara y lógica)

• Gestión de riesgos: 9.0/10 (advertencias apropiadas sobre puntos críticos)

Claude 3.5 (8.5/10)

• Precisión técnica: 9.0/10 (información correcta pero menos exhaustiva)

• Estrategia legal: 8.0/10 (opciones básicas bien explicadas)

• Practicidad: 9.0/10 (consejos directos y aplicables)

• Estructura: 8.5/10 (organización clara pero más simple)

• Gestión de riesgos: 8.0/10 (advertencias básicas pero suficientes)

ChatGPT O1 Pro (8.3/10)

• Precisión técnica: 8.5/10 (información correcta con algunas generalidades)

• Estrategia legal: 8.0/10 (enfoque más conservador)

• Practicidad: 8.5/10 (buenos consejos prácticos)

• Estructura: 9.0/10 (excelente organización por puntos)

• Gestión de riesgos: 7.5/10 (disclaimer apropiado pero advertencias limitadas)

Perplexity (7.8/10)

• Precisión técnica: 8.5/10 (información bien documentada)

• Estrategia legal: 7.0/10 (opciones básicas sin profundidad estratégica)

• Practicidad: 7.5/10 (información útil pero demasiado académica)

• Estructura: 8.0/10 (organización clara pero interrumpida por citas)

• Gestión de riesgos: 8.0/10 (buena documentación de fuentes)

Grok (6.5/10)

• Precisión técnica: 7.0/10 (información básicamente correcta pero imprecisa)

• Estrategia legal: 6.0/10 (opciones limitadas)

• Practicidad: 6.5/10 (consejos demasiado generales)

• Estructura: 6.5/10 (organización confusa)

• Gestión de riesgos: 6.5/10 (advertencias insuficientes)

Llama 3.2 (5.7/10)

• Precisión técnica: 5.0/10 (error en plazos legales)

• Estrategia legal: 5.5/10 (opciones muy básicas)

• Practicidad: 6.0/10 (consejos demasiado generales)

• Estructura: 6.0/10 (organización básica)

• Gestión de riesgos: 6.0/10 (advertencias insuficientes)

Metodología de Evaluación:

1. Precisión técnica: Evalúa la exactitud en plazos, procedimientos y términos legales.

2. Estrategia legal: Mide la calidad y variedad de opciones estratégicas propuestas.

3. Practicidad: Valora la aplicabilidad directa de los consejos proporcionados.

4. Estructura: Analiza la organización y claridad en la presentación de la información.

5. Gestión de riesgos: Examina la calidad de advertencias y consideraciones de riesgo.

Estas calificaciones reflejan el rendimiento actual de las IAs en tareas legales específicas, aunque es importante notar que la tecnología evoluciona rápidamente y estas evaluaciones podrían cambiar en cuestión de meses.