超知能レースの勝者は何を手にするのか。AIを開発する人々が集まる部屋では、その話は素通りされる。誰かが作るなら自分たちの方がましだ。リスクやタイムライン、作り手より賢いシステムをどう制御するかという問題は、天気の話のように片付けられる。私たちは止められない。レースがあるのだから。
人種について議論する人はほとんどいません。自然の事実として扱われると、下流側でのすべての無謀な選択が責任があるように見え始めます。天気は、少数の企業が意図的に行っている選択のモデルとしては間違っています。
レースの目的とは
レースとは、終わりにある賞品をめぐる競争であり、その賞品が走る理由となる。1960年代の宇宙開発競争は、月面に国旗を立てることと、それに伴う名声をもたらした。核軍拡競争は兵器をもたらす。爆弾を製造した国家は爆弾を保有し、照準を定め、使用するかどうかを決定する。いずれの場合も、勝者は何かを手にする。所有し、指揮できる能力である。
さて、超知性との競争の終わりに勝者が何を保持しているのかを尋ねてください。この危険性の前提は、私たちよりも意味のあるほど賢いシステムは誰にも手に入らないツールであるということです。人工超知能は、目標を追求するエージェントです。それらの目標が私たちの目標から少しでもずれている場合（問題は まだ解決していない）、それは作成者が承認するかどうかにかかわらずそれらを追求する。「勝利」したラボは超知能を所有するに至るのではない。操縦不能な超知能と惑星を共有するに至るのだ。
レースに勝つ価値があるのは、ゴールが賞品である場合だけだ。ここでのゴールは、誰も制御できることを示せていないシステムである。最初に到達することは、力を握ることを意味しない。それはそのシステムに最初に服従することを意味する。
誰も操縦できないゴールラインは賞ではない。最初に到達するのは、皆より一歩先で負けることだ。
よく耳にするギャップ
理論や競争の物語を剥ぎ取れば、残る具体的な主張は一つだ。中国は近く、中国は止めない、だから私たちも止められない、というものだ。この主張はあらゆる会議を終わらせ、検証されるよりはるかに頻繁に繰り返される。
事実の部分から始めます。アメリカと中国の研究所の間には本当の競争があり、チップとコンピューティングをめぐっては本当の業界競争が存在する。最先端の AI チップに対するアメリカの輸出規制が存在するのは、まさにその競争が現実であるからです。の それらの管理の政治 と 実際に協力が実現したところ レースのストーリーよりも重要です。
加速主義者たちが密かに持ち込んでいるのは、「中国は我々が何をしても制御不能な超知性を構築するだろう」というもので、中国の言動は何も記述されていない。これは予測であり、話者がすでにやりたかったことを行う許可を与えるため、便利な予測です。中国は 2023 年に AI リスクに関するブレッチリー宣言に署名し、独自のガバナンス提案を発表しました。同国政府は米国とAIに関する直接協議を行っている。自国の指導者を殺しかねない体制に向かって突っ走っている国は、その指導者たちが我が国以上にその結果を望んでいるという証拠もなしに、単純に想定するのは奇妙なことである。 "They'll do it anyway" それは私たち自身の許可に関する話であり、彼らの意図ではありません。
もし非整列の超知能がそれを構築した者にとって破局をもたらすなら、中国にもそれを構築しない理由が私たちと同じだけある。どちらにとっても報酬はない。
競争は最も注意深くないものを選ぶ
競争が競争者たちの言うほど激しいと仮定しよう。論理をどこまでも追ってみる。競争では最も速く動く者が勝つ。そしてAIの最前線で最も速く動く方法は、評価、レッドチーム、監督、システムが意図した通りに動いているかを辛抱強く確認する作業といった、足を引っ張るものを減らすことだ。
競争の構造は、安全で最も手を抜いた者に勝利を渡します。勝者は最も有能な研究所ではなく、最も慎重でない研究所です。「競争に勝たなければならない」と「安全に作らなければならない」は反対方向に引っ張り、競争が激しいほど強く引っ張ります。 競争は危険を抑制しない. 。それを製造しているのです。先頭に立つために全力を尽くしている研究室の世界は、まさに全員を殺すことを目的として、多大なエネルギーと莫大な資本を使って最適化している世界である。
レースの論理の中ですら、「私たちが勝たなければならない」は自らに牙を剥きます。勝つために超知能を制御可能に保つための隅を削らなければならないなら、勝つことは負け方です。
「この話で得をするのは誰か」
人種をめぐる枠組みがこれほど弱いのに、なぜ至る所で目にするのか。それは有用だからだ。ただし我々には役立たない。
フロンティア ラボにとって、「競争があり、それに勝たなければなりません」は完璧に近いです。それは投資家に、この支出は巨大なもののための土地強奪であると告げる。規制当局に対し、規則はより悪質な行為者に未来を渡すだけだと警告している。そして静かな部分は、安全性を心配する研究室のエンジニアたちに、レースが責任ある選択であると信じ込ませることです。なぜなら、代替手段は無謀な者を勝たせることだからです。それは、（まだ制御できないものを構築し続けるという）決定を、誰も、特にそれを決定したすべての人々を危険から解放する必要性に変換します。
手品のトリックを名指ししよう。レースは研究所に外部から課された条件のように聞こえるが、それは少数の企業と、それを抑えられる政府が「続ける」と選んだ選択だ。イーロン・マスクはAIを悪魔と呼びながら それをより速く召喚するためのラボを建設した, 、つまり「レース」は誰かが選んだ戦略であって、誰もが従う物理法則ではないことを示している。戦略は意味を失えば放棄できる。この戦略は、賞品が誰にも制御できないシステムだと判明した時点で意味を失った。
決してテーブルに載らない選択肢
レースのフレームはドアを視界から静かに取り除きます。それは 2 つを提示します。人種か、一方的に地位を下げ、無謀な者に未来を継承させるかです。言い換えれば、2 番目のドアを選ぶのは愚か者だけであり、3 番目のドアを省略することで議論が勝ちます。
第三の扉は、本物の敵対者たちが過去に用いたものです。米国とソ連はあらゆる意味で敵対し、互いの都市に世界終焉級の兵器を向けていました。それでも両国は軍備管理協定に署名し検証しました。無制限の軍拡競争が双方を等しく縛る規則より悪化することを理解していたからです。不信こそが合意の理由であり、障害ではありませんでした。
超知能にはこうした合意を合理的たらしめる特徴がある。主要国はいずれも、誰にも制御できないシステムから利益を得られず、誰が最初に構築するかという点に本当の関心を持たない。この共通の利益こそが条約の基盤となる。超知能の開発に対する拘束力があり検証可能な停止である。超知能制御できない. 人工超知能を製品カテゴリとして永久に拒否すること。そのような手段がどのように見えるかを、我々は概略を示した、モデル条約 へ より広い計画 それはに属します。検証は難しいです。核兵器にとっても困難でしたが、代替案がテーブルにいた全員にとって受け入れられなかったため、とにかく製造されました。
「競争か降伏か」は偽の二択だ。その枠組みは、抜け落ちた扉に気づかせないことに依存している。
レースの拒否
少数の研究室が、制御方法がわからないと公然と認めるテクノロジーの構築を選択しているが、同じ悪い理由で同じ無謀な選択をしていると思われるライバルを名指ししてそれを正当化している。双方の無謀が相手の言い訳として提供される。
この主張に、競争が幻想だとか地政学が穏やかだとか信じる必要はない。ただ、終わりになんらかの賞がない競争に種の存続を賭ける価値はないと気づくだけでいい。そして「避けられない」と言う人々が、ほぼ常にその競争で利益を得る側であると見抜くだけでいい。レースは物語だ。魅力的な、業界全体にとって都合の良い物語。物語とは、まさに信じるのをやめることが許されるものだ。