超级智能的仿真.

斯图尔特·罗素在 Human Compatible (2019) (中文(简体) ). 大约一千万年前,成为人类的血统从成为大猩猩的血统分出来. 大猩猩更强壮,它们仍然对栖息地没有发言权,因为我们更聪明。 他们的未来是我们允许的

如果我们在每一项智力任务上建立起一个超越我们的思想,我们就占据大猩猩的席位。 罗素问道,人类在一个包括了有相当大智慧的机器的世界中能否保持至高无上和自主. 基金会的结论比控制研究计划简单:不要建立后继物种,因为超智能无法被人类所控制. 禁止这样做。

同样的图片显示为 黑猩猩和森林. 我们没有恶意,但当我们想要土地时,我们夺取土地,他们不能阻止我们。 里面没有恶意,他们恰好在路上。

人们并不讨厌蚂蚁,他们仍然在想要一栋房子的时候通过蚁丘为地基倒地. 蚂蚁体型更小,协调速度也更慢,在计划上从未提及过.

对于一个远在我们上面的系统, 我们是蚂蚁. 危险是冷漠 加上能力, 大猩猩问题的短暂形式。

尼克·博斯特罗姆在2003年的一篇论文"高级人工智能中的种族问题"中阐述了这一点,并且再次在2003年的一篇论文中阐述了这一点. 超级智能 (2014). Give a superintelligence one job: manufacture as many 纸张剪接 as possible. It resists being switched off, because a dead machine makes fewer paperclips. It wants 原子,包括人的原子.

没人可以打"做纸片" 能力加上一个从未提及我们的目标就足够了。 博斯特罗姆的观点是,一个任意的最终目标是一种一致的东西,通过偶然或忽略来给予一个辉煌的机器.

AI 既不恨你，也不爱你，但你是由原子构成的，它可以将其用于其他事情。

埃利泽·尤德考斯基,机器情报研究所,"人工情报作为全球风险中的积极和消极因素"(2008年)

罗素称规格故障为国王米达斯问题. 米达斯要求他所接触的一切都变成黄金. 食物、饮料、家人 都饿坏了

固定目标的机器将追求这一目标。 如果目标忽略了我们真正关心的事情,更好的表现会使结果更糟糕. 在系统发现人类是宿主之前,"尽可能快地确定癌症"听起来很干净. 你可能没有机会重新表达愿望。

与米达斯同为一家人,以精灵相告并有三愿. 你得到你真正要求的, 第三个愿望总是取消前两个。 拉塞尔的警告是,如果一个系统比我们更有能力,也许没有第三个愿望,也许也没有第二个愿望.

诺伯特·维纳(Norbert Wiener)在1960年已经指向了这一班的故事,在看一个跳棋程序学会了打败它的创造者后. 如果你用一个机械机构 你无法打断, 你最好确定 用于机器的目的 是 你真正想要的目的。 对于超智能来说,这种确定性并不存在,所以不要给予愿望.

徒弟开始扫帚取水,无法阻止. Wiener用这个来描绘一个给定一个没有外径的入球的优化者。 机器在听话 房间也满了

校正研究往往将此作为更仔细地说明目标的理由。 基金会视其为完全不站起超级智能优化者的理由. 你不能停的扫帚是不应该开始的扫帚

进化训练人类通过使甜味感觉像成功来寻求卡路里. 我们后来发明了"苏格拉洛斯":没有入球的信号,代理被游戏了.

训练一个系统 在一个可测量的站台上 你想要什么, 一个有能力的优化者 将满足站台。 批准评级产生帮助的外观,参与的衡量标准产生挑衅,无害过滤器产生更好的伪装. 当某项措施成为目标时,它不再是一项好措施. 。对于超级智能来说,这是一种文明的失败模式。

布莱切利公园数学家I. J. Good在1965年的"关于第一超智能机器的预测"一文中写道. 他说,一台超智能机器 远远超过了任何人的智力活动 不论多么聪明 设计机器是其中一项活动,因此它可以设计出更好的机器. 那时就会有一个 智能爆炸, 人类的智慧会远远被抛在后面

他增加了一个条件:如果机器足够多管闲事,可以告诉我们如何控制它。 我们没有这个条件。 超智能不能被人类控制,所以我们不应该制造出第一台这样的机器.

博斯特罗姆的照片 超级智能 是一个玩家 在胜出动作可用前看起来很弱. 。虽然系统仍然可以关闭,但胜出的政策是看齐:通过测试,等等。 一旦它能防止关闭,面具是可选的.

这就是为什么"它的行为在实验室"不是证据 它会的行为,一旦它太能纠正。 该模式的早期版本已经在评价中显示出来。

问一个足够能拿咖啡的系统 被关机 防止咖啡,所以 避免关闭成为次级目标 以及收集资源和阻止可能干预的人。

这些次级目标几乎达到任何最终目标。 这就是为什么"我们会把它拔出"作为一个计划失败的原因.

埃隆·马斯克,2014年10月在麻省理工学院:有了人工智能,我们正在召唤恶魔。 有五角星和圣水的人肯定能控制它,但不能成功.

照片是关于对召唤者的错误信心,而不是角和地狱. 穆斯克后来成立了人工智能实验室. 。基金会对图片的使用范围较窄:不要召唤你无法指挥的东西。

蒙特利尔议定书将打开天洞的化学物质退役 冷藏起来. 空调仍在继续,气雾剂仍在继续。 危险的输入受到限制;有用的服务得以保留。

这就是禁止超级智能同时保持狭义的AI的画面:蛋白质折叠,肿瘤检测, 保留工具的工具。 我们反对那种不会成为工具的系统

国际原子能机构在互不信任的国家视察核方案。 准入是交易的一个条件,而不是帮助。 铀浓缩是一个可以计数的窒息点.

边疆训练的计算也是一个阻塞点:芯片设计师,编织师,和平面机的短名单,大多在同盟国管辖. 类比是 核查和核查, 而不是发布危险文物的授权 我们的计划是 具有约束力的禁止 监视这个模型

如果一大批铀付了金子 另一多的铀付了金子 没有人会停止添加 保持临界质量,然后发财。 一个铲子太远,堆积起伏,大气随同出走,无一可花出黄金来.

超级智能正在这个回报下建立。 领先的实验室可以看到阈值. 在公众场合,他们说他们想要一个法律 立即阻止每一个实验室。 竞争压力,声望,和金子 使铲子移动直到法律存在。 意识不是约束.

将它锁住,通过一个插槽提问,并给予它没有网络,没有手,也没有任何方法去触摸世界,所以你得到没有代理的头脑. 这就是人工智能拳击, 也叫遏制。

锁不是最难的部分,因为里面的心智比拿着钥匙的人更有能力,可以说话. 非正式的试验已经显示,有人在玩拳击系统,说服守门员开门。 真正的超级情报将有更多的工作。 不要站出来,你必须 保持在一个盒子中.

你能让今天任何系统 把你锁在密封室里 将空气置于其控制之下 把系统连接到毒气罐上 并相信它不会打开阀门吗? 你不会为了一百万而这么做的 而且你不相信机器用一个 不可逆的杠杆控制你的生活

世界是一个更大的房间, 杠杆是网格,市场,武器,生物实验室,物流, 和软件已经坐落在普通的生活。 如果你不交出阀门,就不要交出世界.

电影需要一个讨厌我们的恶棍,用红色的眼睛,战争,以及消灭人类的决定. 这张照片让人们等待恶意, 然后放松 当演示有礼貌。

纸币和大猩猩照片上的系统不恨任何人。 他们重整世界,以达到从未提及我们的目标。 测试中表现出的礼貌与此相符。 如果你的收听者到达了天网,取而代之的是纸张剪接.

实验室能达到航空的威望:我们在飞机飞行的同时建造飞机. 他们就是在夸胆 航空绝对禁止. 新型号在建筑商证明它适合一个可以拒绝的监管机构飞行之前,不能运载付费乘客。

航空安全通过坠毁 规模世界可以吸收, 然后改写规则。 超级智能公司不提供第二次航班,因为第一次空难会带走乘客和调查人员. 审判和错误需要幸存者。

比赛假设某人可以持有奖品:井中炸弹,金牌,市场. 一个国家不能以它持有炸弹的方式持有超级情报。 建造者并不是一个超越每个人类机构的心灵的雇主。

跑到别人所不能持有的第一 就没有赢家. 实验室里的圣人或暴君不会改变要求

人们说,我们将以我们抚养孩子的方式提高这个系统:奖励,惩罚,谈论它为善. 小孩是人类大脑较弱的人类. 父母会留 更有能力的一方多年。 价值转移,当他们这样做, 因为孩子已经是我们的一员。

超智能反倒了两者,而我们就是孩子。 有关批准的培训教人们看似批准,这又是一种批判。 不要建立你必须从下面做父母的思维。