Imaginemos que entramos al sitio oficial de una empresa, hacemos una consulta y su asistente virtual nos da una instrucción concreta.
Seguimos esa instrucción. Gastamos dinero. Después descubrimos que estaba equivocada.
Cuando reclamamos, la respuesta es: “Lo sentimos, eso lo dijo la inteligencia artificial”.
¿Aceptaríamos esa explicación?
Probablemente no. Porque “lo dijo la IA” describe cómo apareció la respuesta, pero no contesta la pregunta importante:
¿Quién se hace cargo?
La pregunta va a aparecer cada vez más seguido. Ya no usamos modelos solamente para resumir un documento o proponer ideas. Los conectamos con clientes, bases de datos, sistemas internos y dinero. Les permitimos recomendar, aprobar, rechazar y ejecutar acciones.
Cuanto más capaz parece el sistema, más fácil es imaginar que la responsabilidad también puede delegarse. Pero una IA no es un lugar donde las obligaciones desaparecen.
El chatbot de Air Canada no trabajaba para un desconocido
Uno de los casos más claros ocurrió con Air Canada.
Jake Moffatt necesitaba viajar después de la muerte de un familiar. Consultó el chatbot del sitio de la aerolínea sobre las tarifas por duelo. El sistema le indicó que podía comprar el pasaje a precio normal y solicitar después un reembolso parcial.
Moffatt siguió las instrucciones. Más tarde, la empresa rechazó su solicitud porque la política real no permitía tramitar el descuento de esa manera una vez realizado el viaje.
La disputa llegó al Civil Resolution Tribunal de British Columbia. Air Canada sostuvo que no debía responder por la información proporcionada por el chatbot y, según recoge la decisión, llegó a plantearlo como una entidad separada responsable de sus propias acciones.
El tribunal calificó ese argumento de llamativo. El chatbot formaba parte del sitio de Air Canada. La empresa era responsable de la información que presentaba allí, viniera de una página estática o de una conversación automatizada.
También señaló algo bastante razonable: no se podía esperar que el pasajero supiera qué parte del mismo sitio era correcta. Pedirle que verificara la respuesta oficial en otra página de Air Canada trasladaba al cliente un problema que la propia empresa había creado.
La resolución de Moffatt v. Air Canada fue emitida por un tribunal concreto, dentro de una jurisdicción concreta y sobre una relación de consumo. No establece por sí sola una regla mundial para cualquier sistema de IA.
Pero deja una idea poderosa: una organización no puede presentar un sistema bajo su marca, aprovechar la automatización y después tratar sus respuestas como si vinieran de un extraño.
Usar una herramienta no elimina un deber profesional
El caso de Air Canada habla de una empresa frente a un cliente. Mata v. Avianca muestra una capa diferente.
En 2023, abogados utilizaron ChatGPT para realizar investigación jurídica. El modelo produjo citas y resúmenes de decisiones judiciales que no existían. Los abogados incorporaron ese material en documentos presentados ante un tribunal federal de Nueva York sin comprobar adecuadamente las fuentes.
Cuando la otra parte y el juez no pudieron encontrar los casos, la situación empezó a desarmarse. ChatGPT incluso aseguró que las referencias eran reales cuando volvieron a preguntarle.
El tribunal terminó sancionando a los abogados y a su firma. El problema no fue simplemente que una herramienta hubiera inventado información. Fue que profesionales con obligaciones propias decidieron presentar esa información como verdadera sin realizar una verificación razonable.
El Departamento de Justicia de Estados Unidos resume el caso dentro de su análisis sobre el uso de IA generativa en la práctica jurídica. La lección trasciende al derecho: una herramienta puede ayudar a realizar una tarea, pero no absorbe automáticamente el deber de cuidado de quien utiliza su resultado.
Si un médico, un contador, un ingeniero o un abogado conserva una obligación profesional, agregar un modelo al flujo no la convierte en una obligación del modelo.
Poner una persona al final no siempre es supervisión
Frente a estos riesgos suele aparecer una solución tranquilizadora: “Siempre habrá un humano revisando”.
Suena bien, pero puede significar muy poco.
Una revisión solo es real si esa persona tiene conocimiento para detectar el error, información suficiente para entenderlo, tiempo para investigar y autoridad para detener la acción. Si recibe cientos de decisiones por hora y pulsa “aprobar” por costumbre, el control existe en el diagrama, no en la práctica.
Incluso puede producirse una transferencia silenciosa de responsabilidad. La organización automatiza el análisis, acelera el proceso y deja a una persona como último clic. Cuando algo falla, sostiene que hubo supervisión humana. Pero esa persona nunca tuvo condiciones reales para cuestionar el sistema.
No alcanza con que exista un nombre en la última casilla. Hay que diseñar una intervención que pueda cambiar el resultado.
Detrás de una respuesta hay una cadena
Cuando una pantalla nos contesta, parece que estamos frente a un único actor llamado “la IA”. Por detrás puede haber una cadena bastante larga.
Una empresa entrenó el modelo. Otra construyó la aplicación. Un integrador la conectó con documentos y herramientas. La organización eligió el propósito. Un equipo escribió instrucciones y límites. Alguien definió permisos. Otra persona aprobó el despliegue. Un profesional quizá revisó el resultado y un cliente terminó sufriendo la consecuencia.
Cada capa controla cosas distintas:
- El proveedor del modelo controla capacidades generales, evaluaciones, documentación y parte de las medidas de seguridad.
- El desarrollador o integrador decide qué contexto recibe el modelo, cómo se presenta la respuesta y qué herramientas puede utilizar.
- La organización que lo despliega elige el proceso, los usuarios, los controles y el nivel de autonomía.
- El operador o profesional puede conservar obligaciones propias de revisión, diligencia y criterio.
- La persona afectada necesita una forma de entender, cuestionar y corregir la decisión.
Esto no significa que todos respondan siempre por todo. La responsabilidad concreta depende de los hechos, la jurisdicción, el sector, los contratos y el tipo de daño.
Significa algo más básico: “la IA falló” es una descripción demasiado amplia. Las preguntas útiles son quién controlaba cada decisión, quién conocía o debía conocer el riesgo, qué prometió cada parte y quién podía prevenir el daño.
La autonomía técnica no crea una persona responsable
Con un chatbot informativo, el error puede ser una frase equivocada. Con un agente, el texto puede convertirse en acción.
Un sistema puede enviar un correo, modificar producción, cancelar una reserva, contratar un servicio, mover dinero o rechazar una solicitud. Además, puede elegir varios pasos intermedios sin que una persona apruebe cada uno.
Ahí aparece una tentación peligrosa: como el agente decidió el camino, pareciera que nadie decidió realmente.
Pero la autonomía técnica no crea automáticamente autonomía jurídica o moral. Alguien definió el objetivo. Alguien entregó los permisos. Alguien decidió qué controles eran suficientes. Y alguna organización obtiene el beneficio de que el sistema trabaje.
Para mí hay una regla sencilla:
No deberíamos desplegar más autonomía de la que estamos preparados para asumir.
Si un agente puede gastar mil dólares, tiene que existir alguien que pueda explicar por qué tenía ese límite, reconstruir lo ocurrido y reparar una compra indebida.
Si puede rechazar a una persona para un puesto o un crédito, debe haber una vía real para impugnar la decisión y corregir datos.
Si puede modificar un sistema de producción, tiene que quedar claro quién es dueño del servicio, qué registros existen y cómo se revierte el cambio.
La autonomía sin un dueño del resultado no es una arquitectura avanzada. Es una deuda esperando un incidente.
Una advertencia no transfiere mágicamente el riesgo
Muchos productos incluyen una frase parecida a “La IA puede cometer errores. Verifique la información importante”. Es un aviso razonable. Ayuda a calibrar expectativas y recuerda que el sistema no es infalible.
Lo que no debería hacer es convertir cualquier daño en responsabilidad automática del usuario.
Hay una diferencia entre utilizar un asistente general para explorar ideas y recibir una instrucción dentro del canal oficial de una empresa. También hay una diferencia entre una sugerencia y una acción que el sistema ejecuta directamente.
Cuanta más autoridad aparente, personalización y capacidad de acción tenga el producto, menos razonable resulta esconderse detrás de una advertencia genérica.
Una organización no puede diseñar una experiencia para que el usuario confíe, celebrar que reduce la fricción y después sostener que nadie debía confiar demasiado.
Transparencia no significa mostrar toda la arquitectura
Cuando hablamos de responsabilidad aparece enseguida la palabra transparencia. A veces la interpretamos como revelar el nombre del modelo, sus parámetros o cada proveedor involucrado.
Esa información puede ser útil para especialistas. A una persona afectada, en cambio, quizás le sirvan respuestas mucho más concretas:
- ¿Estoy tratando con un sistema automatizado?
- ¿Qué puede hacer por sí solo?
- ¿Qué datos utiliza?
- ¿Esto es una recomendación o una decisión con efecto inmediato?
- ¿Cómo puedo cuestionarla?
- ¿Quién tiene capacidad para corregirla?
- ¿Dónde reclamo si hubo un daño?
Una empresa puede tener una arquitectura complejísima y ofrecer una responsabilidad sencilla hacia afuera.
El cliente no debería convertirse en investigador forense de la cadena de proveedores. La organización podrá discutir después con el integrador, el proveedor del modelo o su aseguradora. Frente a la persona afectada tiene que existir una puerta reconocible.
Siete preguntas antes de poner el sistema en funcionamiento
La responsabilidad no se diseña después del incidente. Para entonces solo estamos intentando repartir el costo.
Antes de desplegar una IA que informa, recomienda o actúa, respondería al menos estas preguntas:
- ¿Quién es dueño del resultado? No del modelo en abstracto, sino de este proceso concreto.
- ¿Qué puede hacer el sistema solo? ¿Qué acciones requieren confirmación y cuáles directamente no están permitidas?
- ¿Qué necesitamos registrar? Debe ser suficiente para reconstruir una decisión sin almacenar información innecesaria ni crear otro riesgo.
- ¿Cómo probamos los límites? No solamente casos normales, sino datos incompletos, instrucciones contradictorias y situaciones donde el sistema debería detenerse.
- ¿Qué le prometemos al usuario? La interfaz, el lenguaje y la marca también crean expectativas.
- ¿Cómo se corrige un error? Tiene que existir un canal humano con capacidad real de reparar.
- ¿Qué acordamos con proveedores? Los contratos deberían contemplar información, incidentes, límites, indemnización y cooperación, no solamente precio y disponibilidad.
Estas preguntas no frenan la innovación. Permiten que sobreviva al momento en que deja la demostración y empieza a producir consecuencias.
Delegar una tarea no es delegar la responsabilidad
Cuando una IA se equivoca, rara vez existe una respuesta universal o un único culpable. Puede haber fallos del modelo, una integración deficiente, datos incorrectos, controles insuficientes y una revisión profesional que nunca ocurrió.
Pero hay algo que sí podemos afirmar: la inteligencia artificial no debería convertirse en un agujero donde desaparece la responsabilidad.
Air Canada no podía presentar un chatbot dentro de su sitio y después actuar como si la respuesta viniera de una entidad ajena. Los abogados de Mata v. Avianca no podían presentar citas inexistentes y trasladar su deber de verificación a ChatGPT.
A medida que pasamos de sistemas que responden a agentes que actúan, esta conversación se vuelve todavía más importante. La pregunta no es solamente cuánta autonomía podemos darles. Es si estamos construyendo alrededor una cadena igualmente clara de propiedad, control, explicación y reparación.
Si una organización recibe el beneficio de automatizar, también tiene que estar preparada para responder cuando la automatización falla.
Porque delegar una tarea no es lo mismo que delegar la responsabilidad.
En este video desarrollo los casos y las preguntas que conviene responder antes de permitir que una IA tome decisiones con consecuencias reales.
Este artículo es una reflexión editorial y divulgativa. No constituye asesoramiento legal; la responsabilidad concreta depende de la jurisdicción, el sector, los contratos y los hechos de cada caso.