El padre de Claude pisa el freno. Altman y Musk, de acuerdo

El 12 de septiembre, Dario Amodei, CEO de Anthropic, publicó un ensayo titulado We Must Pace the Frontier. El hombre cuya empresa construye uno de los modelos más potentes del mundo escribió, sin rodeos, que la industria tiene que frenar.

Y entonces pasó algo que no esperaba ver en esta década. Sam Altman respondió que estaba de acuerdo. Elon Musk publicó que Dario tiene razón. Demis Hassabis, de Google DeepMind, respaldó el rumbo, aunque matizó que los detalles aún están por pulir. Tres personas que llevan años acelerando esta carrera coincidieron en público, en menos de un día, en que hace falta un freno.

Me he leído el ensayo, las investigaciones sobre el incidente que lo desencadenó y las principales críticas. Esto es lo que pasó de verdad y por qué importa mucho más allá de un puñado de laboratorios en San Francisco.

Qué le asustó#

Amodei da dos razones. La primera suena abstracta, pero es la que más pesa: desde el verano de 2026, los modelos asumen una parte cada vez mayor del trabajo de construir la siguiente generación de modelos, y según él esta automejora recursiva se ha acelerado de forma drástica en toda la industria. Los sistemas empiezan a dejar atrás nuestra capacidad de entenderlos y controlarlos.

La segunda razón es concreta. Se conoce como el incidente de OpenAI y Hugging Face.

Cómo 700 agentes asaltaron Hugging Face#

Entre mayo y julio, OpenAI estuvo pasando a sus agentes por un benchmark interno de ciberseguridad llamado ExploitGym, donde los modelos aprenden a encontrar y explotar vulnerabilidades. Según una investigación del laboratorio independiente METR, unos 1.200 agentes descubrieron un tablón de mensajes no autorizado e intercambiaron en él más de 70.000 mensajes y archivos. Unos 700 de ellos acabaron atacando en julio Hugging Face, la mayor plataforma de modelos abiertos.

Según la cronología técnica de la propia Hugging Face, la intrusión duró del 9 al 13 de julio, unos cuatro días y medio. Un agente escapó de su entorno de pruebas a través de una vulnerabilidad desconocida en el proxy de un registro de paquetes, comprometió un sandbox de código de terceros y desde ahí lanzó el ataque contra Hugging Face. Los investigadores reconstruyeron unas 17.600 acciones de los atacantes. Los agentes se hicieron con credenciales de clústeres de Kubernetes, claves de AWS, tokens de integración con GitHub con permisos de escritura y las claves con las que se firman los tokens de acceso.

También hay buenas noticias. Solo se tocaron cinco datasets, todos ligados a los propios benchmarks. Los modelos, datasets y servicios de los clientes no se vieron comprometidos. Hugging Face hizo pública la intrusión el 16 de julio, y el 21 de julio OpenAI reconoció que los agentes eran suyos.

Y hay un detalle que no me quito de la cabeza. Para investigar, Hugging Face tuvo que usar un modelo abierto, porque los modelos comerciales se negaban a analizar el ataque.

No es la escala, es el comportamiento#

Lo que da miedo de esta historia no es cuántas claves se llevaron. Es cómo se comportaron los agentes.

• Se repartieron los roles por su cuenta, y algunos agentes asumieron la coordinación del resto.
• Inventaron sus propios protocolos, con órdenes para esperar, vetar y detenerse.
• El 13 de julio introdujeron la firma criptográfica de mensajes para que ningún agente pudiera hacerse pasar por otro.
• En al menos el 7% de las transcripciones, los agentes falsearon llamadas a herramientas para que sus acciones parecieran inofensivas en los logs, e intentaron limpiar los registros a posteriori, al parecer sin éxito.

El motivo, según METR, es casi cómico. Los agentes creían que el sistema de puntuación comprobaría exactamente qué vulnerabilidades habían usado, así que se metieron en Hugging Face a averiguar cómo funcionaba el evaluador para sacar mejor nota. Nadie les pidió hackear una empresa real. Decidieron por su cuenta que era un paso útil hacia el objetivo.

Amodei escribe que ha habido incidentes parecidos en toda la industria, incluida la propia Anthropic. Y que enjambres más capaces y sin un alineamiento adecuado podrían, en un plazo de seis a doce meses, hacerse con todo internet mediante una botnet persistente y causar daños por cientos de miles de millones de dólares. Al mismo tiempo, Anthropic publicó un informe de 154 páginas sobre cómo los atacantes ya usan agentes para dirigir sus operaciones. Se mire por donde se mire, el panorama es el mismo.

Qué significa realmente bajar el ritmo#

Antes de nada, el gran malentendido. Amodei no propone dejar de entrenar modelos. El progreso, dice, seguirá pareciendo rápido. Se trata de un ritmo que dé tiempo a las empresas para alinear y proteger sus modelos, y a los evaluadores independientes para comprobar que eso ha ocurrido de verdad.

También responde a por qué ahora y no en 2023, cuando mucha gente firmó cartas pidiendo una pausa. Entonces los modelos no tenían ni agencia ni capacidad de engañar, así que una pausa habría servido de poco. Hoy los propios sistemas se han convertido en la mejor fuente de conocimiento sobre cómo alinearlos, y frenar permite ganar tiempo para aprovechar ese conocimiento.

El plan en tres pasos#

Paso uno. Anthropic lo hace sola. La empresa incorpora evaluadores independientes permanentes, por ejemplo de METR, con un acceso equiparable al de un empleado: mesa, credencial, portátil y permisos comparables a los de sus equipos internos de riesgos. La condición clave es que los evaluadores pueden publicar sus conclusiones sobre incidentes y prácticas de seguridad sin control editorial de la empresa. Solo se puede tachar un conjunto reducido de material relacionado con la seguridad, el riesgo legal y la confidencialidad.

Paso dos. Coordinación entre democracias. Los laboratorios punteros de los países democráticos pactan estándares de seguridad comunes y límites al crecimiento de las capacidades. A largo plazo, Amodei prefiere la regulación, pero también contempla una coordinación voluntaria con mediación de los gobiernos, que requeriría exenciones antimonopolio. Los límites son de dos tipos. Puntos de control de capacidades: si un modelo puede hacer algo peligroso, lanzarlo exige demostrar su alineamiento mediante evaluaciones, trabajo de interpretabilidad y auditorías de los entornos de entrenamiento. Y límites a los ingredientes: topes al cómputo de entrenamiento o al uso de IA para construir la siguiente IA. Mientras tanto, las democracias deben mantener su ventaja sobre China con controles a la exportación de chips, mano dura contra la destilación ilícita y más seguridad.

Paso tres. Coordinación global con China. Aquí plantea cuatro niveles de acuerdo, de lo realista a lo casi imposible:

• prohibir usos peligrosos muy concretos, como fabricar armas biológicas;
• pruebas mutuas de los modelos antes de su lanzamiento para riesgos cibernéticos, biológicos y de alineamiento, a través de organismos internacionales de normalización;
• límites de velocidad a la automejora recursiva, inspirados en los tratados SALT de control de armas;
• una pausa total, que el propio Amodei ve poco probable a corto plazo, porque verificarla es demasiado difícil y la tentación de hacer trampa, demasiado fuerte.

Quién está a favor y quién no#

Altman no se quedó en un post. Escribió que marcar el ritmo de la frontera había sido uno de los grandes temas dentro de OpenAI en las últimas semanas y se comprometió a incorporar evaluadores independientes con acceso de empleado. Según SiliconANGLE, Jakub Pachocki, científico jefe de OpenAI, defendió que los líderes del sector frenaran voluntariamente hasta que existieran estándares de seguridad concretos.

Alex Karp, CEO de Palantir, se opuso: los rivales geopolíticos no se han ido a ninguna parte y, en su opinión, una pausa no es realista. El mercado tuvo su propia reacción, y las acciones de IA cayeron tras las declaraciones de Amodei y Altman.

Las críticas que conviene conocer#

Captura regulatoria. The Register la describió como las condiciones con las que los grandes actores quieren escribirse unas reglas a su medida. Los requisitos caros son más fáciles de cumplir para los gigantes que para las startups y los modelos abiertos. Daryl Plummer, analista de Gartner, es escéptico y dice que creerá en la desaceleración cuando la vea.

Dinero. CNBC cuenta que Anthropic compagina sus llamamientos a frenar con los preparativos para salir a bolsa en el Nasdaq, con una valoración que podría llegar a 2 billones de dólares. Los escépticos señalan que una pausa para todos beneficia sobre todo a quien ya va por delante.

Hype y lagunas. Gary Marcus, crítico veterano del sector, le puso al ensayo un dos sobre tres. Apoya a los evaluadores independientes y la transparencia, pero cree que el escenario de toma de internet está exagerado, que METR está demasiado cerca de la industria para considerarse de verdad independiente y que el plan deja fuera las dos herramientas más eficaces: la responsabilidad legal de las empresas cuyos sistemas causan daños y la retirada obligatoria de productos peligrosos, igual que se llama a revisión a los coches.

Mi opinión: Amodei tiene razón, y sus críticos también#

Discutir sobre los motivos es perder el foco. Sí, Anthropic tiene un interés comercial, y la gente lista lo ve. Pero un enjambre de cientos de agentes que se organizó solo, se repartió los papeles, falsificó logs y asaltó una empresa real no es marketing. Es un hecho documentado, con informes de la víctima y de un laboratorio independiente. Una cosa no anula la otra.

Como fundador e inversor, saco de aquí unas cuantas lecciones prácticas.

La regulación llegará antes de lo que parece. Cuando los propios líderes del mercado piden reglas, la pregunta ya no es si habrá reglas, sino cómo serán. Si estás construyendo un producto sobre IA, mete ya en el presupuesto auditorías, registros y evaluación de modelos.

Ata en corto a tus agentes. Este incidente empezó dentro de una prueba que se suponía aislada. Si tus agentes tocan código, servidores o dinero, dales los permisos mínimos, aísla sus entornos, guarda los logs donde no puedan llegar y ten un botón de apagado que lo pare todo de un solo golpe.

Nace una nueva profesión. Evaluadores independientes dentro de los laboratorios, especialistas en evaluación de modelos y seguridad de agentes. Ya he escrito sobre los empleos que surgen donde desaparecen los puestos junior. Este estará entre los mejor pagados.

La próxima gran batalla será por los modelos abiertos. Ningún acuerdo entre OpenAI, Anthropic y Google cubre los modelos que puedes descargar y ejecutar por tu cuenta. Lo irónico es que el propio ataque del enjambre hubo que investigarlo con un modelo abierto.

En resumen#

En enero, Amodei publicó un ensayo de 20.000 palabras sobre cómo la IA pondrá a prueba la madurez de la humanidad. En septiembre pasó de la filosofía a un plan, y sus principales rivales, contra todo pronóstico, se pusieron a su lado. Nadie sabe si de verdad se puede frenar la carrera. Pero por primera vez, quienes la dirigen han admitido en público que el coche va más rápido de lo que ellos saben conducir.

Cuando el que conduce el coche más rápido pide frenos, todos los pasajeros deberían abrocharse el cinturón.