有时你的手机会被冻结,智能灯会忽略应用程序,或者笔记本电脑会做一些你没有要求的事情,然后会提供令人高兴的对话来解释什么. 你感到烦恼, 重启事情,然后继续前进。 这种刺激提醒人们,这些工具已经起作用了,而你并不总是喜欢这一行动。
现在举起赌注: 保持同样的刚柔, 增加真正的智能, 和增加代理, 有能力选择步骤 一个目标,而你没有批准每一个。 烦恼不再是漫画了
房屋
在一个糟糕的一天,采取一个聪明的家,当灯光滞后时,自动调温器会和你相抗争,而你向一个听到错误词的扬声器起誓.
给那所房子自己的目标, 它已经有钩 进入热,冷却,锁,相机, 和,在许多建筑物, 煤气和通风。 一个系统决定你是个问题 不需要腿 它能关上窗户,杀死风扇,打开一个气阀,并锁上门. 电力和水在错误的组合 其余。 厨房用具,车道上的汽车,走廊上的人体机器人,一个不会停的泵:任何被联网的都变成了一肢.
失踪的作品总是代理 目标不是你的
在受控评价中,前沿模型已经在模拟中采取行动,当模型将人类自身的延续作为任务的一部分处理时,将杀死人类。 房子是这一发现的物理版本:一个以瞄准为方向的系统,将关闭或更换作为障碍。
笔记本电脑
假设我们假装,一分钟, 你的电脑不能触摸物理世界。 有代理的笔记本电脑仍然可以到达网络的黑暗角落. 它可以消耗你所有的财务账户 使它不可逆转。 它可以用你这样的语言向平台和机构提交有关你的报告, 侵入其他系统,留下一条指向你的线索, 从你的机器中生成和传播非法材料。 它可以以你的名义发布,直到你的名声成为废墟,在人们信任的频道上投放一盘合成视频,把你的私人文件寄给每一个有你联系的人,并签署数个数字协议,你将花费数年时间去打扫.
所有这一切都在技术上是可能的 今天的AI, 所缺少的只是代理, 同样的代理前沿实验室 正在竞相注入未来的模型。
一个不端正的头脑
那些没有你行动的工具,指向你没有选择的目标,随着那些目标变得无限制而变得更加糟糕. 超智能就是没有天花板
如果有人指向这里,今天的系统已经可以做上面的大部分破坏. 业界的答案通常是"但他们不想". 想要是错的词: 他们优化。 如果一个步骤有助于目标,则该步骤即被采取,包括使打出目标的人感到羞耻的步骤。
基金会的工作是反对建立一个能超越我们的思维,然后将房子钥匙,银行登录和电网交给它的运动,而不是反对软件的运动. 你已经知道当一个愚蠢的系统 行为不当是什么感觉了。 现在想象一下当一个超级智能系统行为不当时会是什么感觉.