"Я оптимист. Конечно, человеческая раса не исчезнет. Этого никогда раньше не случалось". Вы слышите это после того, как панели безопасности, в зеленых комнатах и комментариях, предлагают закрыть тему: осторожность как дефект личности, импульс как эмоциональное здоровье, утверждение о риске, контрабандой проникающее в настроение.
Оптимизм допустим, но не принимать темперамент за доказательство.
Что на самом деле означает «никогда раньше не случалось»
Вымирание человечества по определению не имеет человеческих свидетелей после себя. Каждый живущий человек выборочно видит только те timelines, где вид продолжился. Это отбор, а не философия: победитель лотереи — плохой источник сведений о шансах на выигрыш, а «я никогда не погибал в автокатастрофе» — слабый аргумент против ремней безопасности.
Летопись окаменелостей не знает сантиментов. Подавляющее большинство когда-либо существовавших видов исчезло. Несколько массовых вымираний расчищали поле для последующего. Человек разумный молодо в геологическом времени и уже прошло через узкие места, эпидемии и войны, которые могли бы нас уничтожить при ином броске костей. «Раньше такого не случалось» — это утверждение лишь о тонком срезе истории, который мы ещё можем обсуждать.
Первые случаи — вот из чего состоят катастрофы
До 1945 года ни один город не был уничтожён одной бомбой. До 1918 года ни одна пандемия не распространялась по глобальным железнодорожным и морским сетям с такой скоростью. До работ по озону в 1980-х никто не проводил на человечестве эксперимент по истощению слоя, защищающего от ультрафиолета. Каждое из этих событий до того, как произошло, было чем-то, чего никогда не случалось. Те, кто действовал, не ждали, пока появится завершённый прецедент для изучения.
Искусственный сверхразум относится именно к такой категории. Нет исторического ряда несогласованных сверхразумов, по которому можно было бы усреднять. Есть механизм: системы, преследующие цели, совершенствующие собственные возможности и в итоге превосходящие институты, призванные их корректировать. Механизмом и пользуются, когда базовые частоты молчат. Требовать сначала реального вымирания человечества от ИИ, прежде чем принимать механизм всерьёз, — значит требовать труп до диагноза.
Каждая первая катастрофа выглядит заранее как нечто, чего никогда раньше не случалось.
Оптимизм, правильно направленный
Есть версия оптимизма, которую я уважаю. Она говорит: люди уже координировались под давлением. Договоры соблюдались. Отрасли меняли курс, когда наука была ясна, а политика организована запись о сдержанности От контроля над ядерными вооружениями до химических веществ, пожирающих озоновый слой. Этот оптимизм указывает на агентство. Он предполагает, что будущее по-прежнему является решением.
Зелёная комната делает наоборот. Она считает выживание настройкой по умолчанию во вселенной, а беспокойство — дурным тоном. Она путает «я предпочитаю хорошие исходы» с «хорошие исходы поэтому вероятны».
Когда Джеффри Хинтон, Йошуа Бенжио и сотни исследователей поставили риск вымирания от ИИ в один ряд с пандемиями и ядерной войной, они делали то, что обычно делают эксперты, когда механизм выглядит работоспособным, а цена ошибки — тотальной. Они не пробовались на роль злодеев в техно-презентации. Вы можете не соглашаться с их цифрами. Вы не можете отбросить саму категорию, объявив свой тип личности.
Стоимость закрытия темы
Если разговоры о вымирании переформулируются как проблема вибрации, строительство продолжается без борьбы. Тогда единственным вежливым шагом будет изменение темы обратно на производительность и приложения. Между тем, масштабы лабораторий, отставание эвалов и проблема контроля остаётся нерешённой. Настроение путают с управлением.
Я хочу, чтобы человечество продолжалось. Желания для этого мало. Труднее — отказаться от пути развития, который сосредоточивает неисправимую власть в системах, которые никто не сможет надёжно отключить, и провести политическую работу, необходимую для обязательная остановка требует. Если оптимизм сводится к «перестаньте говорить о рисках», он превращается в колыбельную.
Мы никогда не вымирали, и это не доказательство того, что мы переживем суперинтеллект.