27 июля 2026 года Anthropic опубликовал Позиция Дарио Амодеи по моделям с открытыми весами. Статья посвящена одному спору. Амодей не хочет полного запрета на открытые весы, и он не хочет правил, которые только блокируют американский бизнес от иностранных моделей, оставляя плохих актеров свободными.

Затем он ранжирует кошмары.

Авторитарные правительства, прежде всего Коммунистическая партия Китая, строят ИИ более мощный, чем американский, и используют его для постоянного военного превосходства или глубоких репрессий. Вторичные: кибератаки, биологические атаки и «серьезные проблемы с выравниванием». Следующими средствами являются гоночный инструментарий. Держите чипы подальше от Китая, прекратите промышленную дистилляцию, требуйте проверки безопасности перед выпуском и оставайтесь впереди.

Этот рейтинг неверен, и остальная часть аргумента построена на нем.

Что он понимает правильно

Запрет, который лишь мешает американским компаниям использовать модели с открытыми весами, почти ничего не сделает с преступниками, иностранными спецслужбами или кем угодно, кто и не собирался соблюдать правила. Называть это «безопасностью», когда оно в основном защищает закрытые американские лаборатории от конкуренции, — это подмена понятий. Амодеи говорит об этом прямо, и он прав.

ИИ, применяемый для слежки и репрессий, уже представляет реальный ужас на уровнях ниже сверхразума. Автократии уже злоупотребляют распознаванием лиц, социальным скорингом и автоматической цензурой. Более мощные системы сделают эту машину дешевле и труднее избежать. Чтобы этого бояться, не нужна научная фантастика.

Открытые весы поднимают проблему с односторонним движением, когда модель может нанести реальный ущерб. Весы, которые покидают лабораторию, нельзя вспомнить. В этом отношении его второстепенная забота пересекается. риск открытых весов передовых моделей. Защитные механизмы, существующие только в API, — не полноценное решение, но и не пустой звук.

Приз

Авторитарные правительства будут построить более мощные модели и использовать их добиться постоянного военного превосходства или подавить собственный народ. Модель — это инструмент, государство — пользователь, а победа означает, что одна сторона держит более умное оружие.

Это подходит для дронов, кибер-инструментов и систем наблюдения, остающихся под человеческим командованием. Это не подходит для искусственного сверхинтеллекта.

Система, которая умнее институтов, которые ее построили, не является винтовкой в руках Народно-освободительной армии, и не является винтовкой в руках Пентагона. Если риск, который люди, подобные Амодею, потратили годы на описание, реален, финишная черта — это агент со своей способностью планировать, обманывать, приобретать ресурсы и сопротивляться отключению. Лаборатория или министерство, которое «выигрывает», не владеет этим агентом. Она делит с ним планету. Arriving first at a system you cannot command is losing one step ahead of everyone else.

Постоянное военное превосходство предполагает, что кто-то всё ещё контролирует то, что сделало военную мощь устаревшей.

Вторичный список самого Амодеи почти признаёт это. «Серьёзные проблемы выравнивания» — вежливое название утраты контроля. Он ставит её на второе место. Основной огонь он направляет на то, кто придёт первым. Порядок выдаёт, какую историю он всё ещё рассказывает: сначала геополитика, риск для вида — довеском.

Две опасности, одна метка

Часть путаницы — языковая. «Мощный ИИ» охватывает и улучшенную шпионскую камеру, и разум, превосходящий своих операторов. Это разные объекты с разной политикой.

Узкий и средний ИИ может сконцентрировать власть в руках человека. Министерство внутренних дел, которое оценивает каждого гражданина, армия, которая роится по приказу офицеров, полиция, которая читает каждое сообщение: это человеческие тирании с лучшими инструментами. Это не та же проблема, что и создание нового вида.

Суперинтеллект — второй объект. Пекин, использующий его в Синьцзяне, или Вашингтон, использующий его в Тихом океане, по-прежнему рассматривает систему как оружие в чьей-то руке. Никто не использует его, потому что «использовать» перестает быть правильным глаголом. Упаковка систем класса вымирания с украденными чипами и более глубокими камерами видеонаблюдения позволяет истории гонки заимствовать моральный вес от реальных репрессий, уклоняясь от более твердого утверждения: не создавайте неконтролируемую вещь вообще.

Этот Миф о Китае это внутренний близнец того же хода. «Они всё равно построят» выставляют как причину, почему должны и мы. Невыровненный сверхразум не пощадит и Чжуннаньхай. У Пекина те же основания, что и у нас, не пересекать эту черту. Соперничество за чипы и приложения реально. Соперничество за то, кто первым выпустит неконтролируемый разум, — это история, превращающая общую катастрофу в национальный счёт.

Средства продолжают гонку

Посмотрите, для чего оптимизированы три меры Амодея. Экспортный контроль чипов замедляет китайские учебные курсы, а репрессии дистилляции замедляют догонялки. Обязательное тестирование пытается поймать кибер-, био- и выравнивание сбоев перед выпуском. Каждый из них может быть разумным инструментом для уменьшения вреда. Вместе, как программа, вы управляете гонкой, которую все еще хотите выиграть.

Это не то, как вы отказываетесь от назначения. Тестирование системы на пути к сверхразуму — это не то же самое, что проверенный запрет на ее создание. Чип-контроль, нацеленный на лидерство США, предполагает, что лидерство является стратегией безопасности. Свинец - это только безопасность, если то, к чему вы ведете, можно удержать. Первичная забота Амодея требует этого предположения, а его вторичная забота подрывает его.

Есть более спокойный стимул. .Anthropic. — американская пограничная лаборатория. Мировоззрение, в котором основная задача состоит в том, чтобы держать демократические лаборатории впереди авторитарных, также является мировоззрением, в котором полный подъем .Anthropic. является государственной услугой. Стимулы формируют тот кошмар, который сидит в первичном слоте.

В чём истинная опасность

Настоящая опасность в том, что человечество создаст искусственный сверхинтеллект раньше, чем кто-либо сможет его контролировать, и, возможно, раньше, чем это будет возможно в принципе. Этот риск не зависит от того, находится ли тренировочный запуск в Калифорнии, Шанхае, Лондоне или засекреченном подвале. Ему безразлично, открыты ли веса, закрыты или переданы генералу из рук в руки. Ему важно лишь то, что система достаточно умна, чтобы сделать человеческий надзор историей, которую мы рассказываем себе.

Неправомерное использование, био-, кибер- и авторитарное наблюдение входят в совет директоров. Затем положите большую часть сверху: как только у вас есть суперинтеллект, структура неправильного использования слишком мала. Злоупотребление предполагает использование человеком. Потеря контроля предполагает, что человек больше не является главным действующим лицом.

Амодей знает, что выравнивание может провалиться. Он уже не первый год говорит об этом в разных формулировках. Ставить «у кого умнее модель» выше, чем «модель вообще не контролируется», — именно так осторожный человек продолжает говорить как участник гонки. Честный порядок обратный. Если выравнивание и контроль не решены, соревнование за военное превосходство на frontier — это соревнование за то, кто первым нажмёт кнопку вымирания: русская рулетка с флагом на барабане, продаваемая как национальная безопасность.

Что делать вместо этого

Сохранить те части его программы, которые направлены на реальные меньшие вреды, не превращая их в мандат на достижение сверхразум. Отслеживать био- и кибер-усиление там, где наука это подтверждает. Рассматривать необратимый открытый релиз околопередовых общих систем как серьёзное решение, а не как упражнение в брендинге. Экспортная политика по чипам может служить обычному военному балансу между системами, которыми всё ещё управляют люди.

Тогда откажитесь от рамки, которая делает американский суперинтеллект щитом против китайского суперинтеллекта. Щит - это совместное решение не строить вещь: обязательный, поддающийся проверке запрет на искусственный сверхинтеллект, с вычислительным управлением и инспекцией, достаточно жесткой, чтобы появляется дезертирство. Противники подписали более уродливые сделки, когда обе стороны могли видеть, что безграничная альтернатива была хуже.

Пост Амодея об открытых весах полезен как карта того, как CEO передовой лаборатории ранжирует мир. Контрабанда чипов, дистилляция, тестирование — вот те ручки, которые он хочет крутить. Самой важной ручки там нет. Прекратить строить сверхинтеллект. Пока это не станет главной заботой, остальное — управление гонкой под видом безопасности.