Open Philanthropy, 80,000 Hours и исследовательская линия, прошедшая через Future of Humanity Institute, сделали то, от чего большинство институтов до сих пор отказываются. Они отнеслись к искусственному сверхинтеллекту как к правдоподобному концу человеческой истории и направили на это реальные деньги и таланты. В отношении самого риска они были первыми и оказались правы.
Ошибка портфеля — в следующем шаге. Из тезиса «это может навсегда оборвать будущее человечества» доминирующий долгосрочный ответ стал таким: финансировать технические исследования выравнивания, финансировать управление сверхразум, которое замедляет или направляет фронтир, и сохранять возможность строить системы, когда они покажутся безопаснее. Это также неверный план для риска, который они верно назвали.
Почему выравнивание выглядело как рычаг
Масштаб, neglectedness и tractability по-прежнему важны. Не согласованный суперинтеллект может повлиять на каждого живущего человека и на все последующие поколения. Годами почти никто из обладающих властью не рассматривал это как реальную возможность. Техническая работа над неправильной спецификацией целей, обманом и надзором выглядела одним из немногих рычагов, способных повысить шансы на хороший исход, если мощные системы всё-таки появятся. Односторонние остановки лабораторий казались безнадёжными в условиях конкуренции. Поэтому ответственный портфель включал науку выравнивания, политику, покупающую время, и осторожное влияние внутри лабораторий и правительств, которые в любом случае будут строить эти системы.
Недостатком является цивилизованность, и тема была проигнорирована. Некоторые работы по технической безопасности на системах, которые мы все еще можем осмотреть и отключить, являются обычными инженерными работами. Конкурирующие лаборатории и конкурирующие государства делают «одну компанию» слабой стратегией.
Где ломается вывод
Суть в тихом предположении, что конечная точка уже задана. Если сверхинтеллект всё равно придёт, то остаётся лишь одна задача — сделать его появление менее смертельным. Финансирование выравнивания, оценки и «ответственное масштабирование» имеют смысл только при таком допущении. Они становятся главным моральным проектом поколения, которое считает, что не может выбрать конечное состояние. Большая часть денег и престижа по-прежнему уходит на то, чтобы сделать гонку безопаснее, а не на то, чтобы остановить гонку к сверхразум.
Мы можем выбрать пункт назначения. У ядерного оружия, химии озона и клонирования человека были моменты, когда правительства решали, что некоторые конечные государства не стоят остаточного риска. Суперинтеллект постоянно входит в этот список. Суперинтеллект не может контролироваться людьми.
Как только вы отказываетесь от предположения неизбежности, портфель выглядит иначе. Ограниченный капитал безопасности, потраченный на то, чтобы гонка казалась управляемой, — это капитал, не потраченный на прекращение гонки. Управление, которое лишь замедляет фронтир, чтобы лаборатории могли «догнать по безопасности», по-прежнему считает создание неконтролируемого разума планом. Работа по выравниванию, предполагающая, что мы создадим вид-преемник, а потом его обуздаем, путает исследовательскую программу со стратегией выживания.
Они правильно вели бухгалтерскую книгу, но ошиблись с пунктом назначения.
Исследования после остановки, а не вместо неё
Работа, которая делает сегодняшние системы более прозрачными, более трудными для неправильного использования или более легкими для отключения, все еще может иметь значение. После проверенной остановки на пути к суперинтеллекту, исследования по управлению мощным ИИ могут продолжаться без коммерческого секундомера, привязанного к риску исчезновения.
Что не работает — это считать техническое согласование главным ответом, пока передовые лаборатории продолжают масштабирование по тому же календарю. Это перевёрнутая постановка проблемы. Когда вы не можете контролировать негативные последствия, а негативные последствия касаются всех, ответственный шаг перестать строить опасную вещь. Суперинтеллект невозможно контролировать. Узкий ИИ продолжает развиваться. Узкий класс систем, способных превзойти человеческий интеллект во всех областях, — не продолжает.
Временное замедление, чтобы безопасность могла наверстать упущенное, - это ставка на график, которая предполагает, что кто-то изобретет проверенный способ контролировать ум, умнее своих создателей, вовремя, под конкурентным давлением. Ни у кого нет такого метода, ни в малых масштабах, ни в больших. Ведущие лаборатории говорят об этом публично.
Люди часто подают профилактику под «паузой». Пауза — это несколько лет передышки, а затем возобновление. Мы хотим, чтобы правительства Предотвращение искусственного сверхразума и постоянно его предотвращать. Суперинтеллект нельзя контролировать. Договор - это выход из гонки.
Что вместо этого должны делать деньги
Переместить кучу согласования для сверхразум к работе, которая делает несоздание подлежащим исполнению: проектирование и проверка договоров, компьютерное управление на уровне чипов, которое может быть проверено, публичное производство дел, которое сохраняет цель разборчивой, осведомитель и прозрачность работы, которая повышает стоимость тихих скачков возможностей, и политическая организация, поэтому законодатели слышат от избирателей, а не только от лабораторных лоббистов. Финансирование решения не строить его.
Долгосрочный подход заслужил похвалу за то, что назвал риск, который большинство элит по-прежнему рассматривают как научную фантастику. Кредит на диагноз не запирается в рецепте. Один и тот же риск, другой план: предотвратить суперинтеллект в соответствии с законом и сохранить инструменты, которые помогают людям. Оставьте мечту о боге на полке, пока мир не согласится построить ее в темноте.