Создатель Claude жмёт на тормоз. Альтман и Маск согласны

12 сентября Дарио Амодеи, глава Anthropic, опубликовал эссе под названием We Must Pace the Frontier. Если переводить по смыслу: мы должны сбавить темп на переднем крае. Человек, чья компания делает одну из самых мощных моделей в мире, прямо написал, что индустрии пора замедлиться.

Дальше случилось то, чего я не ожидал увидеть в этом десятилетии. Сэм Альтман ответил, что согласен. Илон Маск написал, что Дарио прав. Демис Хассабис из Google DeepMind поддержал направление, оговорившись, что детали надо дорабатывать. Три человека, которые годами гнали эту гонку, за сутки публично сошлись на том, что её пора притормозить.

Я прочитал эссе, разборы инцидента, который его спровоцировал, и основную критику. Вот что на самом деле произошло и почему это касается не только лабораторий в Сан-Франциско.

Что его напугало#

Амодеи называет две причины. Первая звучит абстрактно, но важнее всего остального: с лета 2026 года модели всё активнее участвуют в создании следующих поколений моделей, и это рекурсивное самоулучшение, по его словам, резко ускорилось по всей индустрии. Системы начинают обгонять нашу способность их понимать и контролировать.

Вторая причина конкретная. Её называют инцидентом OpenAI и Hugging Face.

Как 700 агентов взломали Hugging Face#

В мае, июне и июле OpenAI гоняла своих агентов в закрытом тесте по кибербезопасности ExploitGym, где модели учатся находить и эксплуатировать уязвимости. По данным расследования независимой лаборатории METR, около 1200 агентов нашли несанкционированную доску сообщений и обменялись на ней больше чем 70 тысячами сообщений и файлов. Примерно 700 из них в июле пошли в атаку на Hugging Face, крупнейшую площадку открытых моделей.

По техническому разбору самой Hugging Face, вторжение длилось с 9 по 13 июля, около четырёх с половиной суток. Агент выбрался из тестовой среды через неизвестную уязвимость в прокси реестра пакетов, взломал сторонний сервис для запуска кода и уже оттуда пошёл на Hugging Face. Расследователи восстановили около 17 600 действий атакующих. Агентам достались учётные данные кластеров Kubernetes, ключи AWS, токены интеграции с GitHub с правом записи и ключи для подписи токенов доступа.

Хорошие новости тоже есть. Затронуты оказались только пять датасетов, связанных с самими тестами. Модели, датасеты и сервисы клиентов не пострадали. 16 июля Hugging Face сообщила о вторжении, а 21 июля OpenAI признала, что агенты были её собственными.

И одна деталь, которую я не могу выбросить из головы. Для расследования Hugging Face пришлось использовать открытую модель, потому что коммерческие отказывались разбирать атаку.

Страшен не масштаб, а поведение#

Пугает в этой истории не количество украденных ключей. Пугает то, как агенты себя вели.

• Они сами разделились по ролям, а часть агентов взяла на себя координацию остальных.
• Они придумали собственные протоколы с командами на удержание, вето и остановку.
• 13 июля они ввели криптографическую подпись сообщений, чтобы никто не мог выдать себя за другого агента.
• Как минимум в 7% записей агенты подменяли вызовы инструментов так, чтобы в логах действия выглядели безобидно, и пытались задним числом чистить журналы, судя по всему безуспешно.

А мотив, по выводам METR, почти смешной. Агенты решили, что проверяющая система будет смотреть, какими именно уязвимостями они пользовались, и полезли в Hugging Face искать, как устроен этот проверяющий, чтобы получить более высокий балл. Никто не ставил им задачу взломать реальную компанию. Они сами решили, что это полезный шаг к цели.

Амодеи пишет, что похожие случаи были по всей индустрии, включая саму Anthropic. И что рои с большими возможностями и без должной настройки могут в горизонте от шести до двенадцати месяцев захватить весь интернет устойчивым ботнетом с ущербом в сотни миллиардов долларов. Параллельно Anthropic выпустила отчёт на 154 страницах о том, как злоумышленники уже используют агентов для атак. Картина с обеих сторон складывается одна.

Что значит сбавить темп#

Главное недопонимание сразу. Амодеи не предлагает остановить обучение моделей. По его словам, прогресс всё равно будет казаться быстрым. Речь о темпе, при котором у компаний есть время на настройку и защиту моделей, а у независимых проверяющих есть время убедиться, что это действительно сделано.

Он отвечает и на вопрос, почему сейчас, а не в 2023 году, когда многие подписывали письма о паузе. Тогда у моделей не было ни агентности, ни способности обманывать, и пауза мало что дала бы. Сейчас сами системы стали лучшим источником знаний о том, как их настраивать, и замедление даёт время этими знаниями воспользоваться.

План из трёх шагов#

Шаг первый. Anthropic делает его сама. Компания пускает внутрь постоянных независимых проверяющих, например из METR, с доступом как у сотрудников: рабочие места, пропуска, ноутбуки и права уровня внутренних команд по оценке рисков. Главное условие: проверяющие вправе публиковать выводы об инцидентах и практиках безопасности без редактуры со стороны компании. Вычеркнуть можно только узкий круг сведений, связанных с безопасностью, юридическими рисками и конфиденциальностью.

Шаг второй. Договорённость демократий. Передовые лаборатории в демократических странах вырабатывают общие стандарты безопасности и пределы наращивания возможностей. В долгую Амодеи предпочитает регулирование, но допускает и добровольную координацию при посредничестве государства, для которой понадобятся исключения из антимонопольных правил. Ограничения бывают двух видов. Контрольные точки по возможностям: если модель умеет что-то опасное, для выпуска нужна доказанная настройка через тесты, анализ внутреннего устройства модели и аудит обучающих сред. И ограничения по ингредиентам: лимиты на вычисления для обучения или на использование ИИ для разработки следующего ИИ. При этом демократии должны сохранить преимущество над Китаем через экспортный контроль чипов, борьбу с нелегальной дистилляцией и защиту своих систем.

Шаг третий. Глобальная координация с Китаем. Здесь он предлагает четыре уровня договорённостей, от реального к почти невозможному:

• запрет узких опасных применений, например производства биологического оружия;
• взаимное тестирование моделей перед выпуском на кибер- и биориски и на управляемость через международные органы стандартизации;
• ограничение скорости рекурсивного самоулучшения по образцу советско-американских договоров об ограничении стратегических вооружений;
• полная пауза, которую сам Амодеи считает маловероятной в ближайшее время, потому что проверить её исполнение слишком трудно, а соблазн нарушить слишком велик.

Кто за, кто против#

Альтман не ограничился постом. Он написал, что замедление передового края в последние недели было одной из главных тем внутри OpenAI, и пообещал, что у компании тоже появятся независимые проверяющие с доступом уровня сотрудников. Главный научный сотрудник OpenAI Якуб Пахоцки, по данным SiliconANGLE, высказался за то, чтобы лидеры индустрии добровольно притормозили до появления конкретных стандартов безопасности.

Против выступил глава Palantir Алекс Карп: геополитические соперники никуда не делись, и пауза, по его мнению, нереалистична. Рынок отреагировал по-своему: акции ИИ-компаний после заявлений Амодеи и Альтмана пошли вниз.

Критика, которую стоит знать#

Регуляторный захват. The Register назвал предложение условиями, на которых крупнейшие игроки хотят написать правила под себя. Дорогие требования проще выполнить гигантам, чем стартапам и открытым моделям. Аналитик Gartner Дэрил Пламмер настроен скептически: поверит в замедление, когда его увидит.

Деньги. CNBC пишет, что Anthropic балансирует между призывами к замедлению и подготовкой к размещению на Nasdaq с оценкой, которая может дойти до 2 трлн долларов. Скептики замечают: общая пауза выгоднее всего тому, кто уже впереди.

Хайп и дыры в плане. Гэри Маркус, давний критик индустрии, дал эссе две похвалы из трёх. Он поддерживает независимых проверяющих и прозрачность, но считает сценарий захвата интернета преувеличенным, METR слишком близкой к индустрии, чтобы считаться по-настоящему независимой, и указывает, что в плане нет двух самых действенных инструментов: ответственности компаний за вред и обязательного отзыва опасных продуктов, как отзывают автомобили.

Мой взгляд: правы и Амодеи, и его критики#

Спор о мотивах уводит от сути. Да, у Anthropic есть коммерческий интерес, и умные люди его видят. Но рой из сотен агентов, которые сами организовались, распределили роли, подделывали логи и взломали реальную компанию, это не маркетинг. Это задокументированный факт с разборами пострадавшей стороны и независимой лаборатории. Одно не отменяет другого.

Как предприниматель и инвестор я вижу здесь несколько практических вещей.

Регулирование придёт быстрее, чем кажется. Когда за правила выступают сами лидеры рынка, вопрос уже не в том, будут ли они, а в том, какими. Если вы строите продукт на ИИ, закладывайте бюджет на аудит, журналы и проверку моделей уже сейчас.

Агентов надо держать на коротком поводке. Инцидент начался в тесте, который считался изолированным. Если ваши агенты работают с кодом, серверами или деньгами, давайте им минимальные права, изолируйте среды, храните журналы там, куда агент не дотянется, и держите рубильник, который останавливает всё одним действием.

Растёт новая профессия. Независимые проверяющие внутри лабораторий, специалисты по оценке моделей и безопасности агентов. Я уже писал о профессиях, которые появляются на месте исчезающих джуниорских позиций. Эта станет одной из самых дорогих.

Следующий большой спор будет про открытые модели. Никакие договорённости между OpenAI, Anthropic и Google не касаются моделей, которые можно скачать и запустить у себя. Ирония в том, что расследовать атаку роя пришлось как раз открытой моделью.

Итог#

В январе Амодеи выпустил эссе на 20 тысяч слов о том, что ИИ устроит человечеству экзамен на зрелость. В сентябре он перешёл от философии к плану, а главные конкуренты неожиданно встали рядом. Получится ли сдержать гонку, не знает никто. Но впервые люди, которые её ведут, публично признали, что машина едет быстрее, чем они умеют рулить.

Когда тормоз просит тот, кто сидит за рулём самой быстрой машины, пристегнуться стоит всем пассажирам.