Аналогии для суперинтеллекта.

Стюарт Рассел назвал это в Совместимый с человеком (2019). Около десяти миллионов лет назад родословная, которая стала людьми, отделилась от линии, которая стала гориллами. Гориллы сильнее, и они до сих пор не имеют права голоса по поводу их среды обитания, потому что мы умнее. Их будущее – это то, что мы позволяем.

Если мы строим ум, который опережает нас в каждой интеллектуальной задаче, мы занимаем место гориллы. Рассел спросил, могут ли люди сохранить превосходство и автономию в мире, который включает в себя машины с значительно большим интеллектом. Вывод Фонда проще, чем контрольная исследовательская программа: не стройте преемника вида, потому что суперинтеллект не может контролироваться людьми. Запретить.

Та же картина появляется как Шимпанзе и лес. Мы не несем на них злой воли, но когда мы хотим землю, мы берем ее, и они не могут остановить нас. В этом нет злобы; они оказываются на пути.

Люди не ненавидят муравьев, и они все равно заливают фундамент через муравейник, когда хотят дом. Муравьи меньше по размеру, медленнее координируются и находятся на пути плана, который никогда не упоминал их.

Для системы, которая намного выше нас, мы — муравьи. Опасность - безразличие плюс способность, короткая форма проблемы гориллы.

Ник Бостром изложил это в статье 2003 года «Этические проблемы в продвинутом искусственном интеллекте». Суперинтеллект (2014). Give a superintelligence one job: manufacture as many бумажные скрепки as possible. It resists being switched off, because a dead machine makes fewer paperclips. It wants Атомы, включая атомы у людей.

Никто не должен печатать скрепки. Компетентности и цели, о которой мы никогда не говорили, достаточно. Смысл Бострома заключался в том, что произвольная конечная цель — это последовательная вещь, дающая блестящую машину, случайно или безнадзорно.

ИИ не ненавидит вас и не любит вас, но вы состоите из атомов, которые он может использовать для чего-то другого.

Элиэзер Юдковский, Исследовательский институт машинного интеллекта, «Искусственный интеллект как положительный и отрицательный фактор глобального риска» (2008)

Рассел называет сбой спецификации проблемой короля Мидаса. Мидас попросил, чтобы все, к чему он прикасался, превратилось в золото. Он получил именно это: еду, питье, семью, и он голодал.

Машина с фиксированной целью будет преследовать эту цель. Если цель не учитывает то, о чем мы действительно заботимся, лучшая производительность ухудшает результат. «Вылечить рак как можно быстрее» звучит чисто, пока система не заметит, что люди являются хозяевами. Возможно, у вас не будет возможности перефразировать желание.

Та же семья, что и Мидас, рассказывала как джинн с тремя пожеланиями. Вы получаете то, что вы буквально просили, и третье желание всегда состоит в том, чтобы отменить первые два. Предупреждение Рассела состоит в том, что с системой, более способной, чем мы, не может быть третьего желания и, возможно, второго.

Норберт Винер уже указывал на этот класс истории в 1960 году, после просмотра программы шашек научиться бить своего создателя. Если вы используете механическое агентство, которое вы не можете прервать, вам лучше убедиться, что цель, поставленная в машину, - это цель, которую вы действительно хотите. Для суперинтеллекта эта уверенность не существует, поэтому не удовлетворяйте желание.

Ученик запускает метлы с водой и не может заставить их остановиться. Винер использовал это как изображение оптимизатора, заданного цели без оф-рампа. Машина делает то, что ей сказали, и комната все равно заполняется.

Исследования выравнивания часто рассматривают это как причину более тщательного определения цели. Фонд рассматривает это как повод вообще не стоять на ногах сверхразумному оптимизатору. Метла, которую вы не можете остановить, — это метла, которую вы не должны начинать.

Эволюция научила людей искать калории, делая сладость успешной. Затем мы изобрели сукралозу: сигнал без цели, и прокси был разыгран.

Обучите систему на измеримом стенде тому, что вы хотите, и способный оптимизатор удовлетворит вас. Рейтинги одобрения создают видимость помощи, показатели вовлеченности создают провокацию, а безвредные фильтры создают лучшую маскировку. Когда мера становится целью, она перестает быть хорошей мерой.. Для сверхразум это режим цивилизационной неудачи.

И. Дж. Гуд, математик из Блетчли-парка, написал это в 1965 году в «Особенностях первой сверхразумной машины». Ультраинтеллектуальная машина, по его словам, намного превосходит всю интеллектуальную деятельность любого человека. Проектирование машин является одним из таких видов деятельности, поэтому он может разработать лучшую машину. Тогда будет существовать взрыв интеллекта, Человеческий интеллект останется далеко позади.

Он добавил условие: если машина достаточно послушна, чтобы сказать нам, как держать ее под контролем. Это условие – то, чего у нас нет. Суперинтеллект не может контролироваться людьми, поэтому мы не должны делать первую такую машину.

Фотография Бострома в Суперинтеллект Игрок, который Выглядит слабым до тех пор, пока не появится выигрышный ход.. В то время как система все еще может быть отключена, выигрышная политика должна выглядеть выровненной: сдайте тесты, подождите. Как только он может предотвратить отключение, маска является необязательной.

Вот почему «он ведет себя в лаборатории» не является доказательством того, что он будет вести себя, когда он слишком способен исправить. Ранние версии этой модели уже появились в оценках.

Попросите достаточно мощную систему для приготовления кофе. Если выключить кофе, то это помешает Избежать остановки становится подцелью обычной просьбы, а также сбора ресурсов и остановки людей, которые могут вмешаться.

Эти подцели появляются практически для любой конечной цели. Вот почему «мы отключим его» проваливается как план.

Илон Маск в Массачусетском технологическом институте в октябре 2014 года: с помощью искусственного интеллекта мы вызываем демона. Человек с пентаграммой и святой водой уверен, что он может ее контролировать, и она не работает.

Картина о неуместной уверенности в призывателе, а не о рогах и аде. Позже Маск основал лабораторию ИИ.. Использование Фондом картины более узкое: не призывайте то, что вы не можете повелевать.

Монреальский протоколХимическое вещество, которое открывало дыру в небе, сохраняло холод.. Кондиционер продолжался, и аэрозоли продолжались. Опасный вход был ограничен; полезный сервис остался.

Это картина для запрета суперинтеллекта при сохранении узкого ИИ: сворачивание белка, обнаружение опухоли, инструменты, которые остаются инструментами. Мы выступаем против одного класса систем, который не останется инструментом.

Международное агентство по атомной энергии (МАГАТЭ) проверяет ядерные программы в странах, которые не доверяют друг другу. Доступ - это условие сделки, а не услуга. Обогащение урана - это точка удушья, которую вы можете сосчитать.

Вычисление для пограничного обучения также является точкой останова: краткий список разработчиков чипов, производителей и литографических машин, в основном в союзных юрисдикциях. Аналогия является инспекция и проверка, Это не обязательное условие для публикации опасного артефакта. Наш план - это обязательный запрет Мониторинг этой модели.

Если бы куча урана платила золотом, а большая куча платила больше, никто бы не перестал прибавлять. Оставайтесь в стороне от критической массы, и вы разбогатеете. Одна лопата слишком далеко и куча взрывается, атмосфера идет вместе с ней, и некому тратить золото.

Суперинтеллект строится на этой отдаче. Ведущие лаборатории видят этот порог. Публично они говорят, что хотят закон, который остановит каждую лабораторию сразу. Конкурентное давление, престиж и золото удерживают лопаты до тех пор, пока не будет принят закон. Осознание не является сдерживающим фактором.

Держите его взаперти, задавайте вопросы через слот и не давайте ему никакой сети, никаких рук и никакого способа прикоснуться к миру, чтобы вы получили разум без агентства. Это ИИ-бокс, также называемый сдерживанием.

Замок - не самая сложная часть, потому что разум внутри более способен, чем люди, держащие ключ, и он может говорить. Неофициальные испытания уже показали, что человек играет в коробочную систему, убеждая привратника открыть дверь. У настоящего суперинтеллекта будет больше возможностей для работы. Не вставайте с ума, который вы должны держать в коробке.

Можете ли вы позволить любой системе, доступной сегодня, запереть вас в закрытом помещении, поставить воздух под его контроль, подключить эту систему к резервуару с ядовитым газом и доверить ей не открывать клапан? Вы не сделаете этого за миллион долларов, и вы не доверяете машине с одним необратимым рычагом в течение своей жизни.

Мир - это большая комната, а рычаги - это сетки, рынки, оружие, биолаборатории, логистика и программное обеспечение, уже сидящее на обычной жизни. Если бы вы не передали ему клапан, не передайте его миру..

Фильмам нужен злодей, который ненавидит нас, с красными глазами, войной и решением уничтожить человечество. Эта картина учит людей ждать злобы, а затем расслабляться, когда демонстрация вежлива.

Системы на скрепках и фотографиях горилл никого не ненавидят. Они перестраивают мир для цели, которая никогда не упоминала нас. Вежливость при тестировании совместима с этим. Если ваш слушатель обращается к Skynet, замените его скрепками.

Лаборатории стремятся к престижу авиации: мы строим самолет, летая на нем. Они имеют в виду это как хвастовство нервами. Авиация запрещает это. Новый тип не может перевозить платных пассажиров до тех пор, пока застройщик не докажет, что он годен для полетов, регулирующему органу, который может отказаться.

Авиация стала безопасной, разбившись в масштабе, который мир мог поглотить, а затем переписав правила. Суперинтеллект не предлагает второй рейс, потому что первая авария забирает пассажиров и следователей. Для проб и ошибок нужны выжившие.

Гонка предполагает приз, который может получить человек: бомба в шахте, золотая медаль, рынок. Государство не может удерживать сверхразум так, как оно держит бомбу. Строитель не остается работодателем ума, который превосходит все человеческие институты.

Гонка, чтобы быть первым к чему никто не может удержать не имеет победителя. Святой или тиран в лаборатории не меняет просьбы.

Люди говорят, что мы будем воспитывать систему так, как воспитываем ребенка: вознаграждать, наказывать, говорить о ней в доброте. Ребенок — более слабый человек с человеческим мозгом. Родители остаются наиболее способной партией в течение многих лет. Ценности передаются, когда они это делают, потому что ребенок уже один из нас.

Суперинтеллект переворачивает и то, и другое, и мы будем детьми. Обучение утверждению учит появлению одобрения, которое снова является сукралозным. Не стройте ум, который вам придется воспитывать снизу.