結論をタイトルに明記する本は少ない。 誰かが作れば、みんな死ぬ, 2025年にMachine Intelligence Research Instituteのエリーザー・ユドコウスキーとネイト・ソアレスによって出版されたこの本は、まさにそれを行う。主張は、今日のような方法で超知能AIを構築するグループがあれば、その結果は最悪の場合ではなく、デフォルトで人類絶滅だという。これは分野で最も妥協のない立場を一般読者向けに提示したものであり、議論を主流に押し上げた。
この本は理解する価値がある。悲観論をこれほど明快に述べたものは他にないからだ。
3つの動きによる論証
本書は三部構成である。
まず、危険の場合です。私たちは人間よりもはるかに優れた能力を備えた AI の構築に向けて順調に進んでいます。私たちはそのようなシステムに人類の生存と繁栄に真に一致する目標を与える方法を知りません。そしてデフォルトでは、現在指定できるほとんどすべての目標を追求する超知性システムは人類を障害物または資源として扱うでしょう。著者らは同じメカニズムに頼っています。つまり、能力は善意を意味するものではなく、有能なオプティマイザは修正に抵抗し、システムが実際に何を望んでいるのかを検証することはできないということです。彼らの特徴的な主張は、これらの問題は解決に近づいておらず、失敗は単なる悪いことではなく致命的であるという確信を持っていることです。
第二に、具体的な物語。危険を抽象的に残さず、本書は超人的AIが権力を握り、人間の制御を終わらせる具体的なシナリオを語る。著者らは、どの物語も細部ではありそうにないことを明言している。目的は抽象的なメカニズムを鮮明にすることだ。
第三に、何をすべきか。彼らの処方箋は診断と同じくらい率直だ。超知能AIの開発を国際的に停止し、真剣に執行する。フロンティアシステムの訓練に必要なコンピューティングハードウェアの管理を含め、永久に維持する。超知能は人間によって制御されるものではなく、ただ希望するだけのものである。
本書の核心的主張は、現在の道筋では失敗が当然予想され、失敗とは全員が犠牲になることであり、AIが失敗するかもしれないということではない。
確実
最もよくある反論は、その確実性に向けられる。批評家たちはAIリスクが現実的かつ深刻であることは認めつつ、絶滅がほぼ不可避であるという点は退け、能力がどれだけ速く伸びるか、アライメントがどれだけ困難か、乗っ取りがどのように進むかといった争点のある前提を、証拠が裏付ける以上に自信たっぷりに扱っていると主張する。また、書籍が示すよりもアライメントの進展は有望だと主張する人や、暗い見通しが逆効果で、人々を行動ではなく運命論に追いやると指摘する人もいる。
この本の自信こそが、最も議論の余地のある特徴である。確実性が誇張されており、議論が依然として不安に満ちていることがわかります。なぜなら、苦情のほとんどは、リスクが現実であるかどうかではなく、私たちがどの程度確信を持っているべきかを攻撃しているからです。
Foundationの立場
私たちは本の中心的な確信を共有しています。つまり、超知能をどうやってアライメントするかわからないこと、現在の軌道でそれを構築するのは容認できない賭けであること、そして問題が解決するまで停止することが責任ある対応だということです。私たち自身の執筆ではなぜ アライメントは解決不可能かもしれない と理由 非アライメントの超知能は良い未来をもたらさない.
我々が異なるのは、強調点とトーンである。本書は、整列問題が時間内に解決できるかどうかについて、ほぼ絶望に近い。われわれは本書自身が支持する解決策、すなわち国際的な拘束力のある停止の実現可能性に重きを置き、それを希望の薄い望みではなく、実際の前例を持つ具体的な政治・法的プロジェクトとして扱う。 超知能に関する声明, この分野の創設者たち自身が多く署名したものは、停止を求める声が主流になったことを示している。 のすべての主張を受け入れる必要はない。 誰かが作れば、みんな死ぬ その処方は正気のものであると結論付けるためです。の 期待値の場合 著者たちが持っている自信よりはるかに低い確信度でもそこに到達します。その処方を現実にするのは 具体的な政治的および法的プロジェクト.