Open Philanthropy、80,000 Hours、そしてFuture of Humanity Instituteを経た研究の系譜は、今なお多くの機関が拒み続けていることを行いました。彼らは人工超知能を、人類の物語が終わる plausable な方法として扱い、その主張に向かって実際の資金と人材を動かしました。リスクそのものについては、彼らは早くから正しく認識していました。

ポートフォリオの誤りは次の推論にある。「これが人類の未来を永遠に損なう可能性がある」というところから、主流の長期主義的回答は、技術的アライメント研究に資金を、フロンティアを遅らせたり方向づけたりする人工超知能ガバナンスに資金を、そして安全そうに見えたらシステムを構築する道を開いておく、というものになった。これもまた、彼らが正しく指摘したリスクに対する誤った計画だ。

アライメントがレバーのように見える理由

規模、無視可能性、扱いやすさは依然として重要である。非整合的な超知能は、生きているすべての人間とその後のすべての世代に影響を及ぼし得る。長年、権力を持つほとんど誰もがそれを現実の可能性として扱わなかった。目標の誤指定、欺瞞、監視に関する技術的研究は、強力なシステムが到来した場合でも良好な結果の確率を高め得る数少ない手段の一つに見えた。一方的な研究所閉鎖は競争下では絶望的に見えた。そこで責任あるポートフォリオは、整合科学、時間を稼ぐ政策、そしてシステムをいずれにせよ構築する研究所や政府内部での慎重な影響力行使を組み合わせた。

マイナス面は文明的であり、トピックが無視されたことです。まだ検査して停止できるシステムに対する技術的な安全作業の一部は、通常のエンジニアリングです。ライバルの研究所やライバル州は、「1社が撤退する」ことを弱い戦略にしている。

推論が破綻する箇所

断絶は、目的地が固定されているという静かな前提にある。もし超知能が何があっても来るのなら、残された仕事は到着をできるだけ致命的でないものにすることだけだ。整列資金、評価、「責任あるスケーリング」はすべてその前提の下で理にかなう。それらは、終着状態を選べないと信じる世代の主要な道徳的プロジェクトになる。資金と名声のほとんどは、レースをより安全にする方に流れ、レースを人工超知能に終わらせる方には向かわない。

私たちは目的地を選ぶことができます。核兵器、オゾン化学、人間のクローン作成にはそれぞれ、政府が特定の終末国家には残留リスクを負う価値がないと判断した瞬間があった。スーパーインテリジェンスはそのリストに永久に含まれます。超知能は人間がコントロールすることはできません。

必然性という前提を捨てれば、ポートフォリオの見え方は変わる。レースを管理可能にするために費やされる希少な安全資本は、レースを終わらせるために使われない資本だ。フロンティアを遅らせてラボが「安全に追いつく」ためのガバナンスは、制御不能な知性を構築することを依然として計画として扱っている。後継種を作ってからそれを繋ぐことを前提とするアライメント研究は、研究プログラムと生存戦略を混同している。

帳簿は正しく、目的地を間違えた。

停止の後の研究、それに代わるものではなく

今日のシステムの透明性を高め、悪用を困難にし、停止しやすくする取り組みは依然として重要です。超知能への道の停止が確認された後は、絶滅の危機に瀕した市販のストップウォッチなしでも、強力な AI を制御する研究を続けることができます。

技術的アライメントを主要な答えとして扱いつつ、最先端ラボが同じスケジュールで規模を拡大し続けることが失敗する。問題の順序が逆なのだ。下振れリスクを制御できず、そのリスクが全員にかかわる場合、責任ある行動は 危険なものを構築するのをやめる. 。超知能は制御できません。狭いAIは動き続けます。すべての領域で人間の知能を超えるシステムの狭いクラスは、存在しません。

安全が追いつくための一時的な減速は、作り手より賢い心を制御する検証済みの方法を、競争圧力の下で期限内に誰かが発明するというスケジュール上の賭けです。その方法は誰も持っていません。小規模でも大規模でも。主要な研究所も公にそう認めています。

多くの場合、「一時停止」の下で予防措置を申請する人がいます。一時停止は数年間の余裕を持って行い、その後再開します。 私たちが政府に望んでいるのは、 人工超知能を阻止する そしてそれを永久に防ぎ続けてください。 超知能は制御できません。 この条約は競争からの出口だ。

資金が代わりに果たすべき役割

条約の設計と検証、検査可能なチップレベルのコンピューティングガバナンス、目標を読みやすく保つ公開事例作成、静かな能力ジャンプのコストを引き上げる内部告発者と透明性の作業、そして議員がラボのロビイストだけでなく有権者から意見を聞くようにする政治的組織化など、非創造性を強制する仕事に向けて人工超知能のための連携の山を動かしてください。建設しないという決定に資金を提供する。

長期主義は、ほとんどのエリートがいまだにサイエンスフィクションとして扱っているリスクを名指ししたことで賞賛されています。診断のクレジットは処方箋に固定されません。同じリスク、異なる計画：法律の下でスーパーインテリジェンスを防ぎ、人間を助けるツールを保持します。世界が暗闇で神を建てないことに同意するまで、慎重に操縦された神の夢を棚の上に置いておきましょう。