Open Philanthropy、80,000 Hours，以及贯穿未来人类研究所的研究脉络，做到了大多数机构仍拒绝做的事。他们把人工超级智能视为人类故事可能的终结，并为此投入了真金白银和人才。在风险本身上，他们早早行动，而且是对的。
投资组合出错的地方在于接下来的推断。从“这可能永久终结人类的未来”出发，主流的长期主义回答变成了：资助技术对齐研究，资助超级智能治理以减缓或引导前沿，并保留一条在系统看起来更安全后继续建造的路径。这同样不是针对他们正确指出的风险的正确方案。
为什么对齐看起来像杠杆
规模、被忽视程度和可 tractability 仍然重要。一个失调的超级智能可能影响每一个活着的人以及之后每一代人。多年来，几乎没有掌权者把这当作真实的可能性。关于目标 misspecification、欺骗和监督的技术工作，看起来像是如果强大系统无论如何都会到来时，能提高良好结果几率的少数杠杆之一。在竞争下，单方面关闭实验室看起来毫无希望。因此，负责任的组合包括对齐科学、购买时间的政策，以及在无论如何都会建造这些系统的实验室和政府内部的谨慎影响。
缺点是文明的,这个话题被忽略了。 一些技术安全工作 系统,我们仍然可以检查和关闭 是普通的工程。 里瓦尔实验室和敌对的州将"一家公司退出"作为软弱的策略.
推理断裂之处
断裂在于默认目的地已固定。如果超级智能无论如何都会到来，那么唯一剩下的工作就是让它的到来少一些致命。对齐资助、评估和“负责任扩展”在这一假设下都有意义。它们成为相信无法选择终态的一代人的主要道德工程。大部分资金和声望仍流向让竞赛更安全，而非结束通往超级智能的竞赛。
我们可以选择目的地 核武器、臭氧化学和人的克隆都有政府决定某些最终国家不值得承担剩余风险的时刻。 超级情报永远属于这个名单。 超级智能无法被人类所控制.
一旦放弃必然性假设，组合策略就会不同。用于让竞赛显得可控的稀缺安全资本，无法用于结束竞赛。仅放缓前沿以便实验室“赶上安全”的治理，仍然将构建不可控的心智视为计划。假设我们会创造后继物种然后加以束缚的对齐工作，混淆了研究项目与生存策略。
他们记对了账本，却走错了方向。
停止之后的研究，而非取而代之
使今天的系统更加透明、更难被滥用或更容易被关闭的工作仍然很重要。 在经过核实的超智能路径停止后,对控制强力AI的研究可以继续进行,而无需商业停站表被磁带到灭绝风险.
失败之处在于：前沿实验室按同一日程推进的同时，却将技术对齐视为首要答案。这颠倒了问题。当你无法控制下行风险，而下行风险涉及所有人时，负责任的做法是 停止建造危险的东西. 。超级智能无法被控制。窄AI会继续发展。而那个在所有领域超越人类智能的窄类系统则不会。
暂时的减速,这样安全就能赶上, 也就是一个定时赌注,假设有人会发明一种经过验证的方法来控制一个比其制造者更聪明的心灵, 及时,在竞争压力下。 没有人有这种方法,不是小规模的,也不是一般的。 领头实验室在公众场合也是这么说的.
人们经常在"暂停"下提交预防. 暂停是几年的呼吸室,然后恢复。 我们希望各国政府 防止人工超级智能 永远阻止它。 超级智能无法控制. 条约是赛事的禁区
资金应该用来做什么来代替
将“超级智能”的组合推向非创建可执行的工作:条约设计和核查、可以检查的芯片级计算治理、保持目标清晰度的公开立案工作、提高静静能力跳跃成本的吹哨人和透明度工作、政治组织,使立法者能够听到选民而不是仅仅来自实验室游说者的声音。 资助不建设的决定.
长期主义为将大多数精英阶层仍被视为科幻小说的风险命名赢得了声誉。 诊断的功劳不在处方中。 同样的风险,不同的计划:依法防止超级智能,并保留帮助人类的工具. 把一个小心翼翼地被引导的神的梦想留在架上,直到世界同意不在黑暗中建造一个.