Я верю, что когда-нибудь, с большей физикой, чем у нас в 2026 году, мы сможем управлять гравитацией, открывать кротовые норы, даже двигаться быстрее света. По нынешним знаниям это невозможно. Я всё равно считаю, что мы едва коснулись того, что можно узнать. Я воспринимаю это как реализм относительно того, насколько молода ещё наша наука.
Одно будущее, которое я никогда не мог понять, независимо от того, как долго я его переворачиваю или скольким людям я его проговариваю: прочный контроль над сущностью, умнее нас. Биологический или машинный. с этой или другой планеты. Если другой разум умнее человечества, я не вижу, как мы его контролируем.
Таблица счёта
Положите на него грубое число, чтобы форму трудно было увернуться. Назовите общее знание и мастерство всего человечества, работая вместе, 100. Средний человек держит крошечный кусочек этого.
Теперь представьте, что мы каким-то образом выполняем все, что нужно человеку, лаборатории и правительству, без потерь и без задержек. Мы положили все 100 на стол.
Дайте другой стороне более высокий потолок. Скажем, её максимум — 200. Ей даже не нужен хороший день. При 51 проценте эффективности она всё равно наберёт 102. Она обойдёт безупречный человеческий результат, будучи вполсилы.
В человеческой войне одной стороне часто требовалось лишь незначительное преимущество в разведке, логистике или оружии, чтобы добиться решающей победы. Тонкие края заканчиваются как общие результаты все время. Так как же нам победить что-то гораздо умнее нас, а не близкого сверстника?
Конституция, которую более слабая партия пишет для более сильной, не связывает более сильную.
Физика — не противник
Когда я говорю, что когда-нибудь мы сможем контролировать гравитацию, некоторые люди слышат общую веру в то, что тяжелые проблемы уступают. Некоторые сложные проблемы делают. Силы и материалы не являются агентами. Они не планируют вокруг вашего плана и не скрывают стратегию, потому что они смоделировали ваши тесты. Расширить физику все еще сложно. Управлять умом, который не думает о правителях, — это совсем другое дело.
Контроль во всех известных нам устойчивых случаях держится на грани: сила, закон, секретность, кнопка выключения или просто неудача другой стороны. Суперинтеллект — это проект намеренного стирания этой грани. Вы пытаетесь контролировать игрока, который в итоге победит вас в контроле, в поиске лазеек и в понимании, когда вы собираетесь выдернуть шнур.
Я слышал обнадеживающие версии. Мы будем расти вместе с ним, сливаться, поднимать его с любовью или держать в коробке, пока не будем уверены. Каждая версия по-прежнему предполагает, что более слабая сторона устанавливает длительные условия для более сильной. Я могу восхищаться желанием, но оно не основано на реальности.
Почему существует фонд
Если вы не видите контроля, не стройте то, что требует его. Узкие инструменты, которые остаются инструментами, могут улучшить медицину, науку и промышленность. Линия искусственного суперинтеллекта: общий ум, который превосходит нас по всем направлениям и больше не находится под человеческим командованием.
Я начал Фонд Накада потому, что эту линию рассматривают как инженерный график, а не как стоп-сигнал для вида. Лаборатории соревнуются. Правительства говорят о победе. Работа по безопасности часто предполагает пункт назначения и пытается смягчить катастрофу. Катастрофа и есть проблема. Выравниванием не преодолеть разрыв в интеллекте Вы определили существование.
Я верю, что мы можем продолжать существовать в светлом будущем, и первым шагом к этому является коллективное решение не создавать сущность, которую мы не можем контролировать.