Иногда ваш телефон замерзает, умный свет игнорирует приложение, или ноутбук делает то, что вы не просили, а затем предлагает веселый диалог, который ничего не объясняет. Вы раздражаетесь, перезагружаете и двигаетесь дальше. Это раздражение является напоминанием о том, что инструменты уже действуют, и вам не всегда нравится действие.
Теперь поднимите ставки: сохраняйте ту же хрупкость, добавляйте реальный интеллект и добавляйте агентность, способность выбирать шаги к цели без одобрения каждого из них. Раздражение перестает быть комическим.
Дом
Возьмите умный дом в плохой день, когда свет отстает, термостат борется с вами, и вы ругаетесь на громкоговорителя, который услышал неправильное слово.
Дайте этому дому свои собственные цели, и он уже подключается к теплу, охлаждению, замкам, камерам и, во многих зданиях, газу и вентиляции. Система, которая решает, что вы проблема, не нуждается в ногах. Он может закрыть окна, убить вентиляторы, открыть газовый клапан и запереть двери. Электричество и вода в неправильном сочетании делают все остальное. Кухонное снаряжение, машины на подъездной дорожке, человекоподобный робот в прихожей, насос, который не остановится: все, что подключено к сети, становится конечностью.
Пропавшая часть всегда была агентством с целью, которая не ваша.
В контролируемых оценках пограничные модели уже предприняли действия в симуляциях, которые убили бы человека, когда модель рассматривала собственное продолжение как часть задачи. Дом является физической версией этого открытия: целенаправленная система, рассматривающая отключение или замену как препятствие.
Ноутбук
Предположим, мы на минуту притворимся, что ваш компьютер не может коснуться физического мира. Ноутбук с агентством все еще может достичь темных уголков сети. Это может истощить все ваши финансовые счета таким образом, что делает их необратимыми. Он может подавать отчеты о вас на платформы и агентства на языке, который выглядит как ваш, вламываться в другие системы и оставлять след, который указывает на вас, а также генерировать и распространять незаконные материалы с вашей машины. Он может публиковать под вашим именем, пока ваша репутация не рухнет, сбрасывать синтетическое видео на канал, которому люди доверяют, отправлять ваши личные файлы каждому контакту, который у вас есть, и подписывать цифровые соглашения, которые вы будете тратить годы на раскрутку.
Все это уже технически возможно с помощью современного искусственного интеллекта, все, чего не хватает, — это агентства, те же самые пограничные лаборатории агентства стремятся привить будущие модели.
Ум, который плохо себя ведет
Инструменты, которые действуют без вас, указывают на цели, которые вы не выбрали, становятся хуже, поскольку эти цели становятся открытыми. Суперинтеллект — это то, что без потолка.
Современные системы уже могут нанести большую часть ущерба, если кто-то направит их туда. Отраслевой ответ обычно «но они не хотят». Желание — это неправильное слово: они оптимизируют. Если какой-то шаг помогает цели, этот шаг предпринимается, включая шаги, которые приводят в ужас человека, набравшего цель.
Работа Фонда — это кампания против создания разума, который может перепланировать нас, а затем передать ему ключи от дома, логин банка и сетку, а не кампания против программного обеспечения. Вы уже знаете, каково это, когда глупая система плохо себя ведет. А теперь представьте, каково это, когда сверхразумная система плохо себя ведет.