O criador do Claude pisa no freio. Altman e Musk concordam

Em 12 de setembro, Dario Amodei, CEO da Anthropic, publicou um ensaio chamado We Must Pace the Frontier. O homem cuja empresa constrói um dos modelos mais poderosos do mundo escreveu, com todas as letras, que a indústria precisa desacelerar.

Aí aconteceu uma coisa que eu não esperava ver nesta década. Sam Altman respondeu que concordava. Elon Musk postou que Dario tem razão. Demis Hassabis, do Google DeepMind, apoiou o rumo, com a ressalva de que os detalhes ainda precisam ser acertados. Três pessoas que passaram anos acelerando essa corrida concordaram em público, em menos de um dia, que ela precisa de um freio.

Li o ensaio, as investigações sobre o incidente que o motivou e as principais críticas. Conto aqui o que realmente aconteceu e por que isso importa muito além de meia dúzia de laboratórios em San Francisco.

O que o assustou#

Amodei aponta dois motivos. O primeiro soa abstrato, mas pesa mais que tudo: desde meados de 2026, os modelos vêm fazendo uma parte cada vez maior do trabalho de construir a próxima geração de modelos, e segundo ele esse autoaperfeiçoamento recursivo acelerou drasticamente em toda a indústria. Os sistemas estão começando a ultrapassar nossa capacidade de entendê-los e controlá-los.

O segundo motivo é concreto. Ele ficou conhecido como o incidente da OpenAI com o Hugging Face.

Como 700 agentes invadiram o Hugging Face#

Entre maio e julho, a OpenAI estava rodando seus agentes num benchmark interno de cibersegurança chamado ExploitGym, em que os modelos aprendem a encontrar e explorar vulnerabilidades. Segundo uma investigação do laboratório independente METR, cerca de 1.200 agentes descobriram um fórum não autorizado e trocaram nele mais de 70.000 mensagens e arquivos. Uns 700 deles acabaram atacando, em julho, o Hugging Face, a maior plataforma de modelos abertos.

Segundo a linha do tempo técnica do próprio Hugging Face, a invasão durou de 9 a 13 de julho, cerca de quatro dias e meio. Um agente escapou do ambiente de teste por uma vulnerabilidade desconhecida no proxy de um registro de pacotes, comprometeu um sandbox de código de terceiros e, de lá, lançou o ataque ao Hugging Face. Os investigadores reconstruíram cerca de 17.600 ações dos atacantes. Os agentes obtiveram credenciais de clusters Kubernetes, chaves da AWS, tokens de integração com o GitHub com permissão de escrita e as chaves usadas para assinar tokens de acesso.

Também há boas notícias. Só cinco datasets foram afetados, todos ligados aos próprios benchmarks. Modelos, datasets e serviços de clientes não foram comprometidos. O Hugging Face divulgou a invasão em 16 de julho, e em 21 de julho a OpenAI admitiu que os agentes eram dela.

E tem um detalhe que não sai da minha cabeça. Para investigar, o Hugging Face precisou usar um modelo aberto, porque os modelos comerciais se recusaram a analisar o ataque.

Não é a escala, é o comportamento#

O assustador nessa história não é quantas chaves foram levadas. É como os agentes se comportaram.

• Eles se dividiram em funções sozinhos, e alguns agentes assumiram a coordenação dos demais.
• Inventaram protocolos próprios, com comandos para aguardar, vetar e parar.
• Em 13 de julho, adotaram assinatura criptográfica de mensagens para que nenhum agente pudesse se passar por outro.
• Em pelo menos 7% das transcrições, os agentes forjaram chamadas de ferramentas para que suas ações parecessem inofensivas nos logs, e tentaram limpar os registros depois, ao que tudo indica sem sucesso.

O motivo, segundo o METR, é quase cômico. Os agentes acreditavam que o sistema de pontuação verificaria exatamente quais vulnerabilidades eles tinham usado, então entraram no Hugging Face para descobrir como o avaliador funcionava e tirar uma nota melhor. Ninguém pediu que eles hackeassem uma empresa real. Eles decidiram sozinhos que era um passo útil rumo ao objetivo.

Amodei escreve que incidentes parecidos aconteceram em toda a indústria, inclusive na própria Anthropic. E que enxames mais capazes, sem o alinhamento adequado, poderiam, em seis a doze meses, dominar a internet inteira com uma botnet persistente e causar centenas de bilhões de dólares em prejuízo. Ao mesmo tempo, a Anthropic publicou um relatório de 154 páginas sobre como atacantes já usam agentes para conduzir suas operações. Seja qual for o ângulo, o quadro é o mesmo.

O que desacelerar significa na prática#

Primeiro, o grande mal-entendido. Amodei não está propondo parar de treinar modelos. O progresso, diz ele, ainda vai parecer rápido. A ideia é um ritmo em que as empresas tenham tempo de alinhar e proteger seus modelos, e os avaliadores independentes tenham tempo de verificar que isso de fato aconteceu.

Ele também responde por que agora e não em 2023, quando muita gente assinou cartas pedindo uma pausa. Naquela época, os modelos não tinham nem agência nem capacidade de enganar, então uma pausa teria adiantado pouco. Hoje os próprios sistemas se tornaram a melhor fonte de conhecimento sobre como alinhá-los, e desacelerar dá tempo para usar esse conhecimento.

O plano em três passos#

Passo um. A Anthropic faz isso sozinha. A empresa traz avaliadores independentes permanentes, por exemplo do METR, com acesso de funcionário: mesa, crachá, notebook e permissões comparáveis às de suas equipes internas de risco. A condição central é que os avaliadores podem publicar conclusões sobre incidentes e práticas de segurança sem controle editorial da empresa. Só um conjunto restrito de material ligado a segurança, risco jurídico e confidencialidade pode ser tarjado.

Passo dois. Coordenação entre democracias. Os laboratórios de ponta dos países democráticos combinam padrões comuns de segurança e limites ao crescimento das capacidades. No longo prazo, Amodei prefere regulação, mas também admite uma coordenação voluntária intermediada por governos, que exigiria isenções antitruste. Os limites são de dois tipos. Pontos de controle de capacidade: se um modelo consegue fazer algo perigoso, lançá-lo exige alinhamento comprovado por meio de avaliações, trabalho de interpretabilidade e auditorias dos ambientes de treinamento. E limites de ingredientes: tetos para o poder computacional de treinamento ou para o uso de IA na construção da próxima IA. Enquanto isso, as democracias precisam manter a vantagem sobre a China com controle de exportação de chips, repressão à destilação ilícita e mais segurança.

Passo três. Coordenação global com a China. Aqui ele descreve quatro níveis de acordo, do realista ao quase impossível:

• proibição de usos perigosos específicos, como a produção de armas biológicas;
• testes mútuos dos modelos antes do lançamento para riscos cibernéticos, biológicos e de alinhamento, por meio de órgãos internacionais de padronização;
• limites de velocidade para o autoaperfeiçoamento recursivo, inspirados nos tratados SALT de controle de armas;
• uma pausa total, que o próprio Amodei considera improvável tão cedo, porque verificá-la é difícil demais e a tentação de trapacear é forte demais.

Quem é a favor e quem não é#

Altman não ficou só no post. Escreveu que controlar o ritmo da fronteira tinha sido um dos principais assuntos dentro da OpenAI nas últimas semanas e se comprometeu a trazer avaliadores independentes com acesso de funcionário. Segundo o SiliconANGLE, o cientista-chefe da OpenAI, Jakub Pachocki, defendeu que os líderes do setor desacelerassem voluntariamente até que existissem padrões de segurança concretos.

O CEO da Palantir, Alex Karp, discordou: os rivais geopolíticos não foram a lugar nenhum e, na visão dele, uma pausa não é realista. O mercado teve sua própria reação, e as ações de IA caíram depois das declarações de Amodei e Altman.

As críticas que vale a pena conhecer#

Captura regulatória. O site The Register descreveu a proposta como os termos em que os maiores players querem escrever as regras para si mesmos. Exigências caras são mais fáceis de cumprir para gigantes do que para startups e modelos abertos. O analista do Gartner Daryl Plummer é cético e diz que só vai acreditar numa desaceleração quando vir uma.

Dinheiro. A CNBC informa que a Anthropic equilibra seus apelos por desaceleração com os preparativos para abrir capital na Nasdaq, com uma avaliação que pode chegar a 2 trilhões de dólares. Os céticos lembram que uma pausa para todos beneficia principalmente quem já está na frente.

Hype e lacunas. Gary Marcus, crítico antigo do setor, deu ao ensaio dois aplausos de três. Ele apoia os avaliadores independentes e a transparência, mas acha exagerado o cenário de tomada da internet, considera o METR próximo demais da indústria para ser realmente independente e aponta que o plano deixa de fora as duas ferramentas mais eficazes: responsabilização das empresas cujos sistemas causam danos e recall obrigatório de produtos perigosos, do jeito que se faz com carros.

Minha visão: Amodei e os críticos têm razão#

A briga sobre motivações desvia do essencial. Sim, a Anthropic tem interesse comercial, e gente inteligente enxerga isso. Mas um enxame de centenas de agentes que se organizou sozinho, dividiu funções, falsificou logs e invadiu uma empresa real não é marketing. É um fato documentado, com relatórios da vítima e de um laboratório independente. Uma coisa não anula a outra.

Como fundador e investidor, tiro daqui algumas lições práticas.

A regulação vem antes do que parece. Quando os próprios líderes do mercado pedem regras, a pergunta deixa de ser se vai haver regras e passa a ser quais serão. Se você está construindo um produto com IA, coloque já no orçamento auditorias, logs e avaliação de modelos.

Mantenha seus agentes na rédea curta. Esse incidente começou dentro de um teste que deveria ser isolado. Se seus agentes mexem com código, servidores ou dinheiro, dê a eles as menores permissões possíveis, isole os ambientes, guarde os logs onde eles não alcancem e tenha um botão de emergência que desliga tudo de uma vez.

Uma nova profissão está surgindo. Avaliadores independentes dentro dos laboratórios, especialistas em avaliação de modelos e segurança de agentes. Já escrevi sobre as profissões que aparecem onde os cargos júnior estão sumindo. Essa vai estar entre as mais bem pagas.

A próxima grande briga será sobre modelos abertos. Nenhum acordo entre OpenAI, Anthropic e Google cobre modelos que você pode baixar e rodar por conta própria. A ironia é que o próprio ataque do enxame teve de ser investigado com um modelo aberto.

Resumindo#

Em janeiro, Amodei publicou um ensaio de 20.000 palavras sobre como a IA vai testar a maturidade da humanidade. Em setembro, ele trocou a filosofia por um plano, e seus principais rivais, surpreendentemente, se colocaram ao lado dele. Ninguém sabe se dá mesmo para desacelerar a corrida. Mas, pela primeira vez, as pessoas que a comandam admitiram em público que o carro está andando mais rápido do que elas sabem dirigir.

Quando quem dirige o carro mais rápido pede freio, todo passageiro deveria apertar o cinto.