Я веду бизнес и верю в свободные рынки. Цены, конкуренция и право попробовать что-то новое сделали более обычную жизнь лучше, чем любой пятилетний план, который я когда-либо читал. Я хочу жестко остановить искусственный суперинтеллект. Я выдвигаю аргумент капиталиста, и он начинается с различия, которое обычно пропускает лозунг свободного рынка.
Рынки отлично распределяют капитал, когда последствия плохой ставки локальны. Ресторан закрывается, и арендодатель сдаёт помещение заново. Гаджет проваливается, и инвесторы списывают убыток. Даже банк, который переусердствовал, в работающей системе можно санировать, не уничтожая вид. Убыток остаётся внутри круга, который мы можем очертить.
Сверхинтеллект — это не такая ставка. Люди, которые его создают, публично заявляют, что не знают, как контролировать систему, умнее их самих во всех областях. Гонка за то, чтобы первой выпустить такую систему, — это не «созидательное разрушение». Это гонка за то, чтобы сделать одну необратимую ставку, где ставка — каждая человеческая жизнь. Капитализм без защиты от таких ставок — это русская рулетка на фабрике, производящей всё больше патронников, а не капитализм.
Аргумент в пользу гонки вперёд
Инновационные соединения. Каждый год задержек стоит лечение, научный прогресс и национальные преимущества. Правительства неуклюжи. Утечка договоров. Если одна страна замедляется, соперника не будет, а осторожная партия проигрывает дважды: ни лидерство, ни безопасность. Единственный реалистичный путь - строить быстрее, чем все остальные, держать лидерство в дружеских руках и фиксировать выравнивание по пути.
Это аргумент, который вы делаете, когда вы не оценили продукт. Зацепка имеет значение только в том случае, если вы все еще держите то, что построили. Смешанный суперинтеллект — это агент, который превосходит людей, подписавших раунд финансирования: не портфельная компания, которую вы можете контролировать, и не ракета, к которой вы стремитесь. Попасть туда первым, если вы не можете управлять им, означает быть замененным первым. Нет выхода и нет серии B после исчезновения.
Что на самом деле нужно капиталу
Капиталу нужен мир, который продолжается. Ему нужны суды, собственность, клиенты и будущее, в котором контракт всё ещё что-то значит. Технология, способная положить этому конец, — это не «просто очередная платформа». Относиться к ней как к потребительскому приложению только потому, что демо выглядит как окно чата, — категорийная ошибка с человеческими жертвами.
Узкий ИИ, который диагностирует болезни, разрабатывает материалы и ускоряет логистику, — это тот прогресс, которого я хочу больше. Линия суперинтеллекта: системы, созданные для того, чтобы превосходить человеческое познание в разных областях, когда мы все еще не можем проверить, что их цели остаются совместимыми с нашими. Проводя эту линию, вы поддерживаете остальную экономику достаточно долго, чтобы она могла развиваться.
Рынок — это машина для превращения риска в прогресс. Это не пакт о самоубийстве. Отказ от одного класса ставок — это то, как игра продолжается.
Регулирование как инфраструктура
Когда люди слышат слово «регулирование», они представляют бумажную волокиту для стартапа. Это понятно, если правило глупое. Правила, о которых идёт речь, больше похожи на те, что в своё время сделали возможными рынки капитала: нельзя продавать акции мошеннической компании, нельзя сливать яд в реку рядом с заводом, нельзя собирать ядерный реактор в подвале только потому, что на слайдах это выглядит многообещающе.
Международный договор, запрещающий создание искусственного суперразума с верификацией там, где находятся чипы и проходят обучения, — одно из таких правил. Это инфраструктура цивилизации. Без него каждая лаборатория оказывается в дилемме заключённого, наказывающей за осторожность. С ним капитал сможет продолжать финансировать полезную половину ИИ, не финансируя ту, что съедает доску.
Я хочу, чтобы мои компании процветали в веке, где ещё есть клиенты. Это минимум, которого требует рынок. Если вы называете себя капиталистом и при этом несётесь строить то, чем никто не сможет владеть, вы не защищаете капитализм. Вы поджигаете бухгалтерскую книгу и называете это свечением роста.