这是一个简单的测试。 你会不会让任何今天可用的AI系统 把你锁在一个密封的房间里, 将HVAC 在天花板上控制, 将系统连接到一罐毒气, 并相信它不打开阀门? 当然不是。 你不会为了一百万而这么做的 你不相信机器用一个 无法挽回的杠杆控制你的生活
现在扩大房间
世界是一个更大的房间。杠杆是能源电网、市场、武器网络、生物实验室、物流，以及早已覆盖日常生活的软件层，而不是道具水箱。我们正在建造每季度都能更好操纵杠杆的系统，也在每年把更多杠杆接入软件。
如果你不愿把一个阀门托付给今天的模型，为什么要把所有阀门托付给明天的模型？通常的回答都很软。“我们会测试更多。”“我们会让人类留在回路中。”“到那时它就会对齐了。”这些都是希望。它们不是小规模测试与大规模测试应得到相反答案的理由。
如果你不愿把阀门交给它，就不要把世界交给它。
诚实差距
从事这些系统工作的人有时会用谨慎的措辞承认，他们不知道如何在超过一定能力水平后保证控制。然后产品路线图依然继续。私下谨慎与公开部署之间的差距，正是整个问题的缩影。
我请你保持你已有的判断 当情况变得具体。 锁上的房间和气阀 使赌注明显。 超级智能是同一形状,机率更差,没有重设按钮.
你能相信阀门上的模型吗? 如果答案是否定的,就不要投票,提供资金,或者用文明的方式来信任它. 一致的答案是让你活着的答案:不要建立你不会把自己锁在房间里的系统。