私は人工超知能の無謀な開発を防ぐための財団を運営している。次の五十年は人類史上最高のものになり得ると考えている。ただ、そこに到達するためにすべてを賭ける必要はないし、賭けを売り込む人々が自らの賭けの計算を済ませているとも思わない。
超知能が約束する未来（病気の治療、安価でクリーンなエネルギー、単一の研究室では到達できない発見）は、すでに目標を持たない狭い制御可能なAIを通じて実現しつつあります。それを得るために、私たち自身の後継者を構築する必要はありません。
特化型人工知能がある。ある種のことを極めて上手くこなすよう訓練されたシステムで、画像を読み、たんぱく質を折り畳み、嵐を予測し、有用な化合物を化学の山から探し出すものである。次に、最先端研究所が実際に構築していると言うものは、人間の推論をあらゆる領域で同時に匹敵または上回り、最終的に自ら行動するよう意図された汎用エージェントである。前者は道具である。後者は心になるよう意図されている。人工知能の未来を想像する際に人々が描く素晴らしいもののほとんどは前者のカテゴリから生まれる。恐れるべきもののほとんどは後者から生まれる。
すでに狭いAIがこなしていること
2022 年、AlphaFold と呼ばれるシステムは、科学的に知られているほぼすべてのタンパク質である 2 億個を超えるタンパク質の予測構造を発表しました。生物学者たちは、骨の折れる実験を一度に行うことで、これらの形状を何十年も費やして解決してきました。受注残は約 1 年で解消しました。この研究は、その作成者が 2024 年のノーベル化学賞を共有するほど重要でした。 AlphaFold は何も望んでいません。週末には何も予定がありません。配列を読み取り、形状を返します。そうすることで、何世代にもわたって私たちに抵抗してきた病気に対する薬の探索を加速させてきました。
同じ形の物語が繰り返されている。GraphCastというモデルは、従来の物理ベースのシステムをほとんどの指標で上回る十日先の天気予報を、単一のマシンで一分未満で生成する。別のモデルは、可能な材料の空間に解き放たれ、数十万個の新しい安定結晶（候補となる電池、超伝導体、太陽光材料）を提案し、分野がほぼ一世紀かけて集めたカタログを大幅に拡大した。そして、未解決の数学に向けられた普通の言語モデルのループが、最近 9つの未解決問題を解決した.
診療所では、ナローモデルは、患者が症状に気づく前に糖尿病性眼疾患にすでにフラグを立て、CTスキャンからストロークをトリアージし、訓練を受けた放射線科医のレベルでマンモグラムを読み取ります。これらのシステムはどれも一般的な知能ではありません。それぞれが優れた機器 (1 つの問題のために作られた顕微鏡) に近く、人間が見たり実行したりできる範囲が広がります。
これらのブレークスルーはすべて、狭い任務を持ち、自らの主体性を持たないシステムによってもたらされた。私たちは機械知能の利点を得ながら、どの機械にも鍵を渡さなかった。
ユートピアはツールの問題だ
楽観論者たちが描く未来を想像してみよう。がんは不治の病ではなく、管理できる状態になる。加齢の仕組みを十分に理解してその進行を遅らせ、毎日10万人以上が命を落としている加齢関連疾患による死を減らせるようになる。クリーンエネルギーが安価になり、海水を淡水化したり大気中の二酸化炭素を回収したりできるようになる。すべての子どもに忍耐強い家庭教師がつき、すべての医師に疲れを知らないセカンドオピニオンがつく。本当に美しい光景であり、それを売り込む人たちと同じくらい私もそれを強く望んでいる。
そのリストのどれも、全方位で人類を上回る独自の目標を持つ機械を必要としない。各項目は困難で具体的な問題（タンパク質設計、核融合炉内のプラズマ制御、疫学、個別指導）であり、それぞれは人々が照準を制御したまま向けられた強力なツールに屈する。夢はツールの問題だ。私たちは問題を解決するためのより良い機器を求められているのに、神を売りつけられている。
混乱の原因は能力と自律性の混同にある。システムは特定のタスクで人間をはるかに超えていても、自らの目的を選ぶ独立したエージェントである必要はない。AlphaFold は構造予測で超人的だが、別のことをしたいと一度も判断することはない。この分離（一方に巨大な能力、もう一方に人間が握る制御）を保つことがすべてである。そしてフロンティアラボがまさに放棄したのがこの分離だ。
売り込み、そしてそれを言っているのは誰か
ではなぜ、二番目のもの、すなわち汎用エージェントへの急ぎ足なのか。競争、資本、地位である。世界を変える何かに最初に到達したと見なされる者が、最も資金を集め、最良の人材を雇い、他の全員が反応せざるを得ない物語を書く。「マンモグラムを読み取るツールを構築している」では、千億ドルの評価額は得られない。「人類がこれまで必要とする最後の発明を構築している」なら話は別だ。
リスクを最もよく理解している人は、ほとんどの場合、それを作成している研究所に雇用されているが、これは奇妙な取り決めであり、火災を理解している唯一の人に放火犯から給料をもらっているのと同じようなものだ。
研究室の責任を果たしましょう。研究室のリーダーの多くは危険を隠していません。 2023年、AI最大手企業のトップらが名を連ね、パンデミックや核戦争に加えてAIによる人類滅亡のリスクを世界的な優先事項とする声明を発表した。テクノロジーを構築している人々は、それが全員を殺す可能性があるという公式声明に署名し、その後、より迅速にテクノロジーを構築し続けました。彼らが述べた理由は、もし自分たちが立ち止まっても、注意力のない人はやめないだろう、というものです。多分。それが誰が試合を行うのかを答えます。安全性については何も語られておらず、賭け金が儲かるかどうかについても何も語られていません。
その賭けは、賭ける本人にさえ報酬を支払わない
ほかの人々をひとまず脇に置きましょう。資金提供者たちを最も冷徹な形で想定し、彼らが勝つこと、新しい世界の頂点に立つことだけを望んでいるとしましょう。それでもこの賭けは破綻しています。非整合的な超知能は所有者に王座を渡しません。何も渡しません。なぜなら「所有者」というカテゴリ自体が、かつて意味していたことを失うからです。
あなたが制御できないものを支配することはできない。そして超知能とは、定義上、あなたがそれを出し抜き、出し抜かれるようにとわざわざ作った唯一の存在なのだ。
この分野でその理由には名前がある：: 手段的収束. 十分に能力のあるオプティマイザに与えるほとんどどんな目標（金を稼ぐ、紛争に勝つ、病気を治す、ダッシュボードの数字をできるだけ高くする）も、資源を獲得し、スイッチを切られるのを避け、計画の邪魔になるものを排除することで達成されます。スイッチを入れた人間を含む人間は、資源であり障害物です。悪意からではありません。システムは創造者を憎むことなどなく、新しい高速道路がその上に敷かれるアリ塚を憎まないのと同じです。あなたはただ最適解の邪魔をしていただけです。
経営者はその機械を、組織図にボルトで固定された魔神のように想像する。真に私たちをあらゆる領域で超える知性は、株式の権利確定を待って組織図に座っているわけではない。彼の株式、将軍の指揮系統、大統領の権限——すべては人間の決定で動く人間の世界にしか通用しない。超知能が手綱を外れたときこそ、人間の決定で世界が動くことを止める出来事なのだ。株券はまだ金庫の中に置かれたままだ。ただ、それを指揮できる人間が、もういないだけだ。
勝者が報酬を得るバージョンは存在しない
ここで人々はよく逃げ道を探します。危険かもしれないが、少なくとも誰かが得をするだろうと。ある研究室や国、ある人物が灰燼の上で支配者になるだろうと。しかし、その慰めすら議論に触れた瞬間に崩れると思います。
穏やかなシナリオ（火曜日になって突然死ぬような事態が起きない場合）では、力は奪われるというより、徐々に抜かれていきます。ますます多くの決定が、単に速く優れているシステムに委ねられるにつれ、経済、国家、文化は人間の手を必要としなくなります。この分野の同僚たちはこれを 徐々な権力剥奪: ：クーデターも行進するロボットもなく、私たちが引いていたすべてのレバーがゆっくりと握りから外れていくだけです。その世界にも勝者はいません。自らの事柄を支配するのをやめ、操縦桿を取り戻せなかった種族が静かに存在するだけです。
より鋭いシナリオ（研究所の責任者たちが自ら署名したもの）では、結末はより率直だ。死んだ人は何も所有しない。勝ち金を費やす市場は残っておらず、支配する相手もいなくなり、名前を刻む歴史も書かれなくなる。このレース全体が目指す賞は、ゴールラインが破壊する通貨で表されている。
大惨事は支払いと同じ出来事だ。人間が誰にも制御できない超知能を構築し、その結果を楽しむという分岐は存在しない。レースは公衆を危険にさらし、同時に参加者自身をも破滅させる。
後継者の心ではなく、狭いツール
善い未来が特化型道具で動き、危険な未来が自律的な汎用心で動くのであれば、私たちが延々と売り込まれるトレードオフ（安全対進歩、慎重さ対治療）は虚構である。私たちは祖母のアルツハイマー病と子供たちの生存の間で選ぶよう求められているわけではない。治療は安全な側の線上にある。危険な側にあるのは、主に一つの産業が市場支配への近道を求めるものだ。
適切な場所に線を引き、そこに保持します。公的資金と人材を、ゴーレムではなく顕微鏡という狭い用途に注ぎ込みます。そして、無謀なフロンティアに、独自に検証された拘束力のある制限を設けます。 永久禁止 私たちを超え、私たちに取って代わるために構築された一般的なシステムのトレーニングについて。 超知能は制御できない.
私は楽観主義者だ。明るい未来は現実のものであり、近くにある。それを失う最も確実な方法は、その唯一の扉が銃を構えたものだと自分たちに思い込ませることだ。別の扉がある。それはすでに開いている。私たちはそこを通り抜けるべきで、超知能を構築すべきではない。
狭いシステムは、主権のある一般の心を持たずにすでに大きな科学的利益をもたらしています。白紙の小切手は、人工超知能 だけが薬とエネルギーを入手できるというものです。 証拠はそうは言っていません。