La gobernanza de la inteligencia artificial no es un problema teórico.
Ya hoy es una cuestión de responsabilidad concreta, auditorías, verificaciones regulatorias y litigios.
Cada día emergen casos reales, decisiones erróneas, procesos no verificables, supervisión declarada pero no demostrable, que ponen de relieve un problema estructural:
las organizaciones a menudo no logran demostrar cómo y por qué se tomó una decisión.
En esta sección analizamos casos reales:
- sentencias y decisiones jurídicas
- incidentes operativos y errores empresariales
- escenarios de riesgo vinculados al uso de la IA
Cada caso se lee a través de una lente específica:
no qué ocurrió, sino qué habría sido necesario demostrar.
Porque hoy, en la gobernanza de la IA, la diferencia no está en los procesos declarados.
Está en la capacidad de producir evidencia verificable.
Explora la infraestructura del protocolo:
→ El Protocolo </AI>
→ De la decisión a la estructura defendible: cuando la supervisión se convierte en evidencia
→ Lee la especificación técnica pública
→ Verifica un código CWC en el registro público
→ EVIDE – Registro probatorio para contenidos y decisiones digitales
→ Política del registro CWC
→ Solicita un código oficial de verificación CWC
→ Framework documental para la gobernanza de IA
→ Guía de implementación: supervisión de IA verificable
→ Sesgo de supervisión: por qué el control humano puede fallar en los sistemas de IA
→ Decision Attestation Layer: el nivel probatorio faltante en la gobernanza de IA
→ AI Evidence Officer: cómo demostrar la supervisión humana en los sistemas de inteligencia artificial
→ El nivel probatorio en la gobernanza de IA
→ FAQ sobre el protocolo </AI>: preguntas y respuestas sobre el framework
Lecturas relacionadas:
→ AI Data Poisoning: el ataque que ningún antivirus puede detener
→ Human in the loop: por qué decir que hay supervisión humana no es suficiente
→ Casos reales de fallo en la gobernanza de la IA – y qué debería haberse demostrado
Trabaja con nosotros:
Casos reales de gobernanza
Índice :
- Reclamación denegada por el algoritmo — cuando la supervisión declarada no puede demostrarse
- Moffatt v. Air Canada – cuando una decisión de IA no es anchor-ready
- La automatización no es inmunidad – responsabilidad de los sistemas de IA en decisiones públicas
- Decisiones automatizadas y derecho a explicación – cuando una decisión no es defendible
- Despido por no verificar un correo fraudulento – el estándar de “diligencia debida”
2023 – 2025
U.S. District Court, E.D. California – Cigna PxDx | U.S. District Court, D. Minnesota – UnitedHealth nH Predict
Reclamación denegada por el algoritmo — cuando la supervisión declarada no puede demostrarse
Cigna denegó 300.000 reclamaciones en dos meses con 1,2 segundos de “revisión” por expediente. UnitedHealth utilizó un modelo con un 90% de tasa de error para denegar atención a pacientes ancianos. En ambos casos el problema no era la IA. Era la ausencia de cualquier estructura probatoria de supervisión humana.
Dos demandas colectivas separadas, iniciadas en 2023 y ya avanzadas procesalmente en 2025, han situado en el centro del debate jurídico la misma pregunta: ¿qué constituye efectivamente supervisión humana en un proceso de decisión asistido por IA? En el caso Cigna, el algoritmo PxDx procesaba miles de denegaciones al día mientras los médicos internos de la compañía dedicaban una media de 1,2 segundos por expediente, sin leer los historiales clínicos. En el caso UnitedHealth, el modelo nH Predict tenía una conocida tasa de error del 90%, pero se utilizaba para denegar cuidados rehabilitadores a pacientes ancianos en el régimen Medicare Advantage, anulando sistemáticamente las valoraciones de los médicos tratantes.
Los hechos
En julio de 2023, un grupo de pacientes demandó a Cigna Corporation ante el Tribunal Federal del Distrito Este de California, alegando que la compañía utilizaba el algoritmo PxDx para denegar automáticamente miles de reclamaciones sin revisión médica individual. Una investigación posterior de ProPublica documentó que los médicos de Cigna rechazaban expedientes sin abrir los historiales clínicos, con una media de 1,2 segundos por caso. El 31 de marzo de 2025 el tribunal permitió que la demanda colectiva prosiguiera.
En noviembre de 2023, familiares de dos pacientes fallecidos presentaron una demanda colectiva contra UnitedHealth ante el Tribunal Federal de Minnesota, impugnando el uso del modelo nH Predict para denegar cuidados rehabilitadores a pacientes ancianos. Las acusaciones indicaban que el sistema tenía una tasa de error del 90% y se utilizaba para anular las valoraciones de los médicos tratantes. El tribunal permitió que la demanda colectiva prosiguiera en febrero de 2025 por incumplimiento contractual y violación del principio de buena fe.
El principio jurídico emergente
Ambos procedimientos convergen en un principio que los tribunales están consolidando progresivamente: declarar la presencia de supervisión humana no equivale a demostrar su estructura. No basta con que un médico estuviera formalmente asignado a la revisión. Debe ser demostrable cómo operó esa revisión, contra qué criterio, con qué autoridad y con qué resultado documentado. Sin esta estructura, la “supervisión” es solo una etiqueta aplicada a un proceso que, en la práctica, era automático.
La Ley SB 1120 de California, en vigor desde el 1 de enero de 2025, ya ha cristalizado este principio en norma: cualquier denegación basada en necesidad médica debe ser revisada por un médico habilitado, con documentación individual por expediente. El algoritmo puede asistir. No puede decidir solo. Y la supervisión debe ser demostrable, no declarada.
La pregunta de gobernanza
Estos casos afectan a los seguros de salud en Estados Unidos. Pero el principio que están generando es universal y se aplica a cualquier compañía aseguradora que utilice IA en el proceso de liquidación, suscripción o scoring del riesgo:
Si una reclamación denegada por IA o una prima aumentada por IA llega a un proceso judicial, ¿qué puede demostrar realmente sobre la supervisión humana que gobernó esa decisión?
Aplicando la estructura EVIDE a los casos Cigna y UnitedHealth:
| Condición | Estado en los casos |
|---|---|
| Autoridad atribuible (revisor identificado) | ✘ Formal pero no real — 1,2 segundos por expediente no constituye revisión |
| Criterio documentado (taxonomy_reference) | ✘ Ausente — ninguna taxonomía clínica verificable anclada en el momento de la decisión |
| Umbral verificable (threshold_reference) | ✘ Ausente — el modelo operaba sin umbrales declarados y verificables externamente |
| Estado del umbral (threshold_status) | ✘ No registrado — ningún registro de met / not_met / not_defined por expediente individual |
| Consecuencia real sobre el paciente | ✔ Presente — atención denegada, daños económicos, en algunos casos muerte |
| Defendibilidad externa | ✘ No garantizada — las compañías no pudieron producir estructura probatoria |
El sistema no falló porque la IA se equivocó. Falló porque produjo consecuencias reales sobre pacientes a partir de decisiones que no cumplían ninguna de las condiciones necesarias para ser externalizadas como accountable.
La tasa de reversión en apelación — superior al 90% en el caso UnitedHealth — es la prueba de que el problema no estaba en el fondo clínico de los expedientes individuales. Estaba en la ausencia de estructura. La atención era a menudo adecuada. Faltaba la capacidad de demostrarlo.
Lo que debería haber sido demostrable
Para cada reclamación denegada o modificada con apoyo de IA, una estructura que documentara: la identidad y credenciales del revisor que realizó la supervisión, la taxonomía clínica activa en el momento de la decisión (taxonomy_reference), el umbral de admisibilidad aplicado (threshold_reference), el estado de la verificación respecto a ese umbral (threshold_status: met | not_met | not_defined), el razonamiento estructurado de cualquier anulación o confirmación, y la marca de tiempo de la revisión humana — no del output algorítmico.
No una declaración genérica de “supervisión médica.” Una estructura probatoria capaz de responder a la pregunta: en este caso específico, ¿la supervisión humana era real, estructurada y verificable externamente — o era simplemente una etiqueta aplicada a un proceso automático?
Este es exactamente el papel del Depósito Probatorio Externo EVIDE y del esquema EVIDE JSON 1.7: transformar cada decisión aseguradora asistida por IA en un registro con taxonomy_reference, threshold_reference y threshold_status anclados externamente en el momento de la revisión humana. No después. No a petición del tribunal. En el momento en que la decisión produce efectos sobre el cliente.
February 14, 2024
British Columbia Civil Resolution Tribunal – Moffatt v. Air Canada, 2024 BCCRT 149
Moffatt v. Air Canada – when an AI decision does not meet accountability conditions (anchor-ready)
A chatbot produced a decision with real-world consequences, without attributable authority, without structured reasoning, and without documented human oversight. This was not a technical failure. It was a decision maturity failure.
The Tribunal held Air Canada liable for incorrect information provided by its AI chatbot to a customer purchasing a ticket following a family bereavement. The chatbot stated that a bereavement discount could be claimed retroactively, contradicting the company’s official policy. Air Canada argued that the chatbot was a separate entity and not attributable to the company. The Tribunal rejected this argument entirely.
The facts
In November 2022, Jake Moffatt visited Air Canada’s website to purchase a ticket after the death of his grandmother. He interacted with the company’s chatbot, which informed him that he could apply for a bereavement discount retroactively within 90 days of travel. Moffatt purchased the ticket at full price and later requested a refund. Air Canada denied the request. In February 2024, the Tribunal ruled in favor of Moffatt.
Legal principle
The Tribunal established that Air Canada is responsible for all information presented on its website, regardless of whether it originates from static pages or a chatbot. The argument that the chatbot was a separate entity was rejected. The applied standard: organizations must take reasonable measures to ensure that information provided by AI systems is accurate and not misleading.
Governance question
Does your AI system produce decisions that meet the minimum conditions to be externally accountable?
Applying the Minimum Anchoring Contract:
| Condition | Status |
|---|---|
| Attributable authority | ✘ Absent |
| Structured rationale | ✘ Absent |
| Documented oversight | ✘ Absent |
| Real consequence | ✔ Present |
| External accountability | ✘ Not guaranteed |
The system did not fail because the chatbot made an error. It failed because a non anchor-ready decision was allowed to produce real-world consequences.
What should have been demonstrable
A system ensuring that each output with contractual impact is generated within defined authority, aligned with active policy, subject to human oversight, and fully traceable.
This is exactly the role of the Human Oversight Event and EVIDE.
2026
Corte de Apelación de Nueva Zelanda – Yorston v Attorney General [2026] NZCA 15
La automatización no es inmunidad – responsabilidad de los sistemas de IA en las decisiones públicas
Etiquetar un proceso como “automático” no lo sustrae al control judicial. La responsabilidad sigue al diseño del sistema.
La Corte estableció que las decisiones producidas por sistemas automatizados gubernamentales están sujetas a control judicial. La agencia pública que adopta e implementa un sistema automatizado sigue siendo plenamente responsable de los outputs, incluso cuando ningún ser humano haya intervenido directamente en la decisión individual.
Los hechos
El caso se refería a errores en un informe automatizado sobre el historial penal de una persona, generado por un sistema de gestión de casos del Ministerio de Justicia. El recurrente alegó que los errores no podían corregirse mediante control judicial por haber sido producidos por un sistema automatizado. La Corte de Apelación rechazó esta tesis.
El principio jurídico
La Corte aclaró que el sistema automatizado opera dentro del ámbito de los poderes ejecutivos del gobierno y que, por tanto, sus outputs están sujetos a control judicial. El punto central: la automatización no equivale a inmunidad. La responsabilidad por los errores derivados de la arquitectura del software, de la gestión de datos o de la lógica del sistema sigue recayendo en la agencia pública que adoptó e implementó el sistema.
La Corte indicó además que las futuras impugnaciones probablemente se centrarán menos en los outputs individuales y más en cómo los sistemas automatizados están diseñados, validados, monitorizados y corregidos.
La pregunta de gobernanza
Este caso no se refiere solo a agencias gubernamentales. Plantea una pregunta estructural para cualquier organización que utilice sistemas de IA en procesos de decisión que produzcan efectos sobre terceros:
Si su sistema de IA produce un output que afecta a los derechos o intereses de alguien, ¿es capaz de demostrar cómo ese sistema fue diseñado, validado y supervisado?
La Corte indicó tres áreas de gobernanza que toda organización debería cubrir:
- mapeo de los sistemas automatizados respecto a las funciones y responsabilidades institucionales
- mecanismos de detección de errores, corrección de outputs y explicabilidad de las modificaciones
- mantenimiento de la auditabilidad: lógica del sistema, fuentes de datos, actualizaciones y limitaciones conocidas
Sin esta estructura, la organización no está en condiciones de responder a una impugnación: no porque haya actuado incorrectamente, sino porque no puede demostrar que ha operado correctamente.
Este caso muestra un punto estructural: cuando la gobernanza no está respaldada por evidencia verificable, la responsabilidad se atribuye por presunción, no se demuestra.
Qué debería haber sido demostrable
Un registro estructurado que documentara: cómo fue diseñado el sistema y con qué criterios, qué datos alimentan las decisiones, quién validó la lógica del sistema, qué mecanismos de corrección están activos y quién es el responsable designado de la supervisión operativa.
No una descripción técnica genérica, sino una estructura probatoria capaz de responder a la pregunta: ¿de qué manera se ejerció la supervisión humana sobre este sistema y cuándo?
En ausencia de esta estructura, la decisión sigue siendo formalmente válida, pero pasa a ser sustancialmente no defendible.
Este es exactamente el papel del AI Evidence Officer y del framework documental: transformar la gobernanza de la IA de una intención declarada en una estructura probatoria defendible, verificable externamente y anclada a un registro público independiente.
27 de febrero de 2025
Tribunal de Justicia de la Unión Europea – C-203/22 (Dun & Bradstreet Austria)
Decisiones automatizadas y derecho a la explicación – cuando la decisión no es defendible
Una decisión que no puede explicarse de forma inteligible no puede defenderse.
El Tribunal estableció que, en las decisiones automatizadas basadas en perfilado, la persona afectada tiene derecho a recibir información significativa, comprensible y accesible sobre la lógica utilizada.
El problema de gobernanza: si una decisión automatizada no puede explicarse de manera verificable y comprensible, no puede defenderse. El Protocolo </AI> introduce el nivel que faltaba: transformar la lógica decisional en evidencia estructurada, trazable y atribuible.
Las alucinaciones de la IA no son, por sí mismas, un error. Pero presentar outputs como fiables sin una traza verificable de supervisión humana crea una brecha estructural de responsabilidad.
Los hechos
Se utilizó un sistema automatizado para evaluar la solvencia crediticia de una persona. La decisión resultante tuvo efectos significativos sobre esa persona, sin que fuera posible comprender claramente la lógica utilizada por el sistema.
El principio jurídico
El Tribunal aclaró que el derecho a la explicación previsto por el RGPD exige que la persona afectada pueda comprender los procedimientos y los criterios efectivamente aplicados en la decisión automatizada. No es necesario revelar algoritmos complejos o secretos industriales, pero sí es obligatorio proporcionar una explicación clara, inteligible y verificable de la lógica decisional.
La pregunta de gobernanza
Este caso no se refiere solo al crédito o al RGPD. Plantea una pregunta estructural sobre cualquier decisión adoptada o apoyada por sistemas inteligentes:
Si no puede explicar una decisión, ¿cómo puede demostrar que fue tomada correctamente?
En el contexto operativo real, la explicación no basta. Es necesario poder demostrar:
- qué datos se utilizaron
- qué reglas estaban activas
- quién validó el proceso
- en qué contexto se generó la decisión
Sin esta estructura, la decisión sigue siendo opaca, incluso cuando se explica formalmente.
Qué debería haber sido demostrable
Un sistema que registrase no solo el output, sino también las condiciones en las que la decisión fue posible: los datos de entrada, las restricciones aplicadas, las policies activas, el contexto operativo y la eventual supervisión humana.
No una explicación generada después, sino una estructura probatoria generada antes y durante el proceso decisional.
Este es exactamente el papel del Human Oversight Event y del Decision Attestation Layer: transformar la decisión de un resultado opaco en un proceso demostrable.
12 de febrero de 2024
Corte de Casación (Sala de lo Social) – Auto n. 3263/2024
Despido por falta de verificación de un correo fraudulento – el estándar de la “diligencia”
La diligencia no demostrada no ofrece ninguna protección.
La Corte confirmó el despido de una empleada que autorizó un pago tras recibir un correo de phishing, sin realizar las verificaciones necesarias. La decisión establece que la diligencia ordinaria exige verificaciones activas, incluso en ausencia de formación técnica específica.
Los hechos
Una empleada ordenó un pago a raíz de un correo fraudulento, BEC, Business Email Compromise, sin realizar las verificaciones necesarias antes de autorizar la transferencia. El empleador procedió al despido disciplinario. La Corte de Casación, mediante auto n. 3263 de 12 de febrero de 2026, confirmó la legitimidad del despido.
El principio jurídico
La Corte aclaró que, incluso en ausencia de formación específica, el trabajador tiene la obligación de actuar con diligencia ordinaria, realizando verificaciones y comprobaciones antes de autorizar un pago. El pasaje clave de la motivación: con un mínimo de diligencia, el fraude habría podido evitarse. La responsabilidad no es transferible únicamente al sistema informático o al correo fraudulento: corresponde a la persona que tomó la decisión demostrar que actuó con la cautela debida.
La pregunta de gobernanza
Este caso no se refiere solo al phishing bancario. Plantea una pregunta estructural que afecta a cualquier decisión operativa asistida por sistemas automatizados o inteligentes:
¿Cómo se demuestra que una decisión fue tomada con la diligencia debida?
En un litigio, no importa lo que la persona declare haber hecho. Importa lo que está documentado, trazable y verificable. En este caso concreto, la empleada no pudo demostrar que hubiera realizado verificaciones, no porque no las hubiese hecho, sino porque no existía ningún registro de cómo se tomó la decisión.
El principio se extiende directamente al uso de la IA en procesos operativos:
- un contrato aprobado sobre outputs de IA
- una respuesta automatizada a un cliente
- una decisión tomada sobre análisis generados por sistemas inteligentes
- un proceso interno basado en recomendaciones algorítmicas
En cada uno de estos casos, la pregunta de la Corte de Casación sigue siendo la misma: ¿quién decidió, qué evaluó, cuándo y sobre qué base?
Un registro estructurado del proceso decisional que documentara: la identidad de quien realizó la revisión, las fuentes consultadas en el momento de la decisión, las verificaciones efectuadas, el contexto operativo activo, la decisión final y su motivación. No una declaración posterior, sino una traza generada en el mismo momento en que se tomó la decisión. Esto es exactamente lo que produce el Human Oversight Event: no la prueba de que una persona estaba presente, sino la prueba de cómo esa persona ejerció su supervisión, en condiciones verificables y documentadas.
Esta documentación constituye un registro verificable y con timestamp de su estructura, sus conceptos y su implementación.