Вот простой тест. Можете ли вы позволить любой системе искусственного интеллекта, доступной сегодня, запереть вас в герметичном помещении, поместить HVAC в потолок под его контролем, подключить эту систему к резервуару с ядовитым газом и доверить ей не открывать клапан? Конечно, нет. Ты бы не сделал этого за миллион долларов. Вы не доверяете машине ни одного необратимого рычага.
Теперь масштабируйте помещение
Мир — помещение побольше. Рычаги — энергосети, рынки, оружейные сети, биолаборатории, логистика и программный слой, уже лежащий поверх обычной жизни, а не реквизитный танк. Мы строим системы, которые каждый квартал лучше справляются с этими рычагами, и каждый год подключаем к программам всё больше рычагов.
Если вы не доверили бы сегодняшней модели даже один клапан в одной комнате, почему завтрашней доверяете все клапаны сразу? Обычные ответы звучат неубедительно. «Будем больше тестировать». «Оставим человека в контуре». «К тому времени она будет выровнена». Это надежды. Не причина, по которой маленький тест и большой тест должны давать противоположные ответы.
Если вы не отдали бы ему вентиль, не отдавайте ему мир.
Разрыв в честности
Сотрудники таких систем иногда признают осторожным языком, что не знают, как гарантировать контроль после определённого уровня возможностей. А потом продолжается дорожная карта продукта. Разрыв между приватной осторожностью и публичным развёртыванием — это вся проблема в миниатюре.
Я прошу вас сохранить суждение, которое у вас уже есть, когда сценарий будет конкретным. Запертая комната и газовый клапан делают ставки очевидными. Суперинтеллект имеет ту же форму с худшими шансами и без кнопки сброса.
Доверяете ли вы текущей модели с клапаном? Если ответ отрицательный, не голосуйте, не финансируйте и не пожимайте плечами, доверяя цивилизации. Ответ один: не стройте систему, с которой вы не заперлись бы в комнате.