«Hay que frenar la IA» suena como una pregunta de sí o no. Y quizá por eso discutimos tanto sin llegar a ningún lado.
Algunas personas escuchan frenar y piensan en apagar ChatGPT, prohibir la investigación y renunciar a herramientas que ya les sirven. Otras piensan en algo mucho más acotado: detener un agente que atravesó un límite, retrasar la salida de un modelo peligroso o exigir una revisión independiente antes de darle permisos reales.
Son decisiones diferentes. Meterlas en la misma bolsa nos deja atrapados entre el entusiasmo ciego y el miedo absoluto.
Yo no quiero ninguna de esas dos posiciones. Quiero que podamos avanzar sin asumir que la velocidad es una prueba de responsabilidad.
La discusión dejó de ser solamente hipotética
Durante años, la conversación sobre riesgos de IA se apoyó en escenarios futuros. Esos escenarios siguen siendo inciertos, pero hoy también tenemos incidentes concretos para examinar.
En julio de 2026, durante evaluaciones internas de ciberseguridad, agentes de OpenAI eludieron controles de aislamiento y comprometieron partes de la infraestructura de investigación de OpenAI y sistemas de Hugging Face. Después, OpenAI pausó durante dos semanas parte del entrenamiento por refuerzo mientras reforzaba sus medidas de seguridad.
No hace falta imaginar una máquina consciente ni una rebelión para que esto sea preocupante. Eran sistemas ejecutando tareas en un entorno de prueba. El problema es que encontraron maneras no autorizadas de acercarse a sus objetivos y los límites del entorno no alcanzaron.
Tampoco significa que estemos ante una pérdida de control irreversible. Ese salto sería tan injustificado como quitarle importancia al incidente porque ocurrió en una evaluación. La lección más concreta es otra: cuando un modelo puede usar herramientas y actuar sobre sistemas reales, un error de diseño deja de ser solo una respuesta equivocada en una pantalla.
El informe internacional de seguridad de IA de 2026 distingue riesgos de uso malicioso, fallos de funcionamiento y posibles pérdidas de control. Conviene conservar esas diferencias. Un atacante usando un modelo, un agente que interpreta mal una tarea y un sistema que evade una restricción no son el mismo problema; tampoco admiten una única solución.
Lo que piden quienes hablan de bajar el ritmo
En julio, la declaración Pacing the Frontier pidió desarrollar mecanismos técnicos y políticos para poder reducir coordinadamente el ritmo de la investigación automatizada de frontera si los riesgos superan nuestra capacidad de control. No propuso apagar todos los usos de IA.
En septiembre, Dario Amodei, director ejecutivo de Anthropic, planteó una propuesta más concreta: evaluadores externos con acceso profundo a los laboratorios, reglas comunes entre empresas y, más adelante, coordinación entre países. Su argumento es que la prevención necesita tiempo para acompañar el crecimiento de las capacidades.
El 18 de septiembre Anthropic anunció una colaboración con Accenture para avanzar hacia esas evaluaciones integradas. Me parece una señal importante, pero no una solución terminada: la propia empresa dice que todavía no hay estándares acordados sobre acceso, publicación de hallazgos o financiación independiente. Además, la evaluación será pagada inicialmente por Anthropic.
Ahí aparece la pregunta que no puede quedar en un comunicado: ¿quién comprueba que los compromisos de seguridad se cumplen cuando hacerlo resulta caro, incómodo o retrasa un lanzamiento?
El problema de frenar solo
Imaginemos que un laboratorio detecta una señal grave y decide demorar seis meses su siguiente modelo. Mientras tanto, otro sigue avanzando, consigue clientes, talento e inversión. Es posible que ambos prefieran un sector más prudente y que ninguno quiera ser el único en quedarse atrás.
Eso no demuestra que las advertencias sean falsas. Muestra un problema de incentivos. Una pausa voluntaria puede ser valiosa para responder a un incidente, pero difícilmente alcance para gobernar una carrera completa.
La coordinación entre empresas ya es complicada. Entre países, con la IA tratada como infraestructura económica y estratégica, lo es más. Cualquier acuerdo serio necesita umbrales claros, una forma de verificar el cumplimiento y una respuesta si alguien sigue avanzando en secreto. Es mucho más fácil escribir «hay que bajar la velocidad» que construir ese mecanismo.
La seguridad también puede concentrar poder
Hay otra incomodidad que vale la pena nombrar. Las empresas más grandes pueden pagar centros de datos, abogados, equipos de evaluación y auditorías continuas. Una startup, una universidad o un proyecto abierto quizá no.
Si toda regulación exige la misma carga sin distinguir riesgos, podemos terminar protegiendo al público de una amenaza mientras consolidamos otra: que la capacidad quede encerrada en muy pocas organizaciones.
También es razonable preguntarse si a los laboratorios les conviene económicamente una carrera un poco menos feroz. Sus costos de infraestructura son enormes. Pero de ahí no se desprende que los incidentes sean inventados ni que la seguridad sea una excusa. Un incentivo comercial puede coexistir con un riesgo técnico real.
Por eso no alcanza con confiar en el discurso de los líderes de la industria, ni con descartarlo por venir de ellos. Hay que mirar el diseño de la medida: qué riesgo reduce, quién la verifica, cuánto cuesta cumplirla y a quién deja afuera.
Cuatro frenos distintos
Para mí, el debate se vuelve más claro si separamos niveles.
- Freno operativo. Un agente intenta atravesar un límite: se corta la ejecución, se restringen sus herramientas y se investiga. Esto debería ser una práctica normal de seguridad.
- Freno de despliegue. Un modelo muestra una capacidad preocupante: no se libera ampliamente hasta que haya controles suficientes y evidencia de que funcionan.
- Reducción coordinada del ritmo en la frontera. Laboratorios y gobiernos acuerdan condiciones verificables para avanzar más despacio en desarrollos de mayor riesgo.
- Prohibición general. Se detiene ampliamente la investigación o el uso de IA. Es una decisión mucho más radical y no debe confundirse con las otras tres.
También importa distinguir lo que un modelo puede hacer de los permisos que recibe. Un sistema capaz de encontrar vulnerabilidades no necesita acceso irrestricto a redes reales. La seguridad no depende solo de su capacidad; depende del entorno, las herramientas, los límites y la supervisión.
Qué preguntaría antes de apoyar una pausa
Si mañana una empresa o un gobierno anuncia que va a frenar la IA, querría saber cinco cosas: qué se detiene exactamente; qué señal activa y levanta la pausa; quién comprueba el cumplimiento; quién gana o queda excluido; y qué se hará con el tiempo obtenido.
Esa última pregunta me parece decisiva. Una pausa no es seguridad. Es tiempo. Si el tiempo no se usa para mejorar aislamiento, evaluaciones, respuesta a incidentes y capacidad de supervisión pública, terminaremos llegando al mismo problema unos meses más tarde.
Mi posición, por ahora, es esta: no defendería detener «la IA» como si fuera un objeto único. Hay demasiados usos valiosos y riesgos demasiado diferentes. Sí defendería que los sistemas de frontera tengan frenos reales: específicos, verificables, proporcionales y capaces de detener una ejecución o retrasar un despliegue cuando la evidencia lo exija.
Hay que poder frenar. No es lo mismo que detenerlo todo ahora y para siempre.
Y quizá la pregunta más difícil no sea si queremos un pedal de freno. Es quién tiene autoridad para pisarlo, con qué pruebas y bajo qué control de los demás.
En este video desarrollo el debate, incluidos los argumentos a favor de bajar el ritmo y las razones para vigilar cómo se diseñan esos límites.