6月30日、ワシントンで開かれた技術サミットで、CIA長官ジョン・ラトクリフは自らの職にある者が公の場で口にするのをほとんどためらう一線を引いた。今日の最先端AIモデルについて、彼は「その能力をデジタル核兵器に喩えるのは誤りではない」と述べた。彼は安全運動家でも、売りたい論文を抱えた学者でもない。情報機関を率いる人物だ。彼は自らの席で許される最も重い言葉に手を伸ばした。
彼だけではない。3月、当時の国家情報長官タルシ・ガバードは、人間がこれらのシステムの制御を維持しなければならないと証言した。NSAの長官は上院議員に対し、アンソロピックのMythosモデル 「数時間で機関のほぼすべての機密システムに侵入した」 認可されたテスト中に。最近、数週間のうちにファイブアイズのサイバーセキュリティ責任者たちが異例の共同声明を出し、「今すぐ行動しなければならない」と警告しました。機密情報を読んでいる人々が公の場でこう言い始めるとき、立ち止まって耳を傾ける価値があります。
比喩が当てはまるところ
核兵器は、世界が「技術が到達しうる危険の尺度」として用いる物差しだ。AIをそのデジタル版と呼ぶのは、これらのツールがかつて国家と弾頭を必要とした規模の危害——壊滅的なサイバー侵入や、病原体設計への実質的な支援——を今や引き起こし得ることを意味する。その点でRatcliffeは正しく、公の演説で現職の情報機関長官が述べたこと自体がニュースだ。
壊れるところ
この比較にはある種の安心感が紛れ込んでいる。核兵器には一つの慈悲深い性質があるからだ。それは決して何も決定しない。弾頭はサイロの中で座して待つ。目標を持たず、人間が二つの鍵を回すまで何もしない。指揮系統から軍備管理条約に至るまで、爆弾の周りに築いたすべての安全策が機能するのは、兵器が人間の手の中の道具であり続けるからだ。
今日のシステムはすでに目的を追求するエージェントとして振る舞っており、その先にある人工超知能は、それを構築した人間よりも有能なエージェントになるだろう。超知能は爆弾をどこに落とすかを決める司令官に近く、しかも人間が任命したわけではなく、人間が 指揮権を解除する.
核兵器は決して自ら標的を選ぶことはない。
フロンティア AI は、手の届くところにあるデジタル核兵器のようなものです。 それが導くシステムは、それ自体を狙う兵器となるだろう。 私たちはその危険を次のものに対してランク付けします 年上の人たち, 、そしてまさにこの理由で超知能がトップに立つ。
「核時代の第二の課題」
「デジタル核兵器」という表現の強みは、それが国家安全保障の世界の内部から出てきた点にある。通常の批判者からではない。危険は、私たちがそれを聞いて爆弾を想像し、爆弾が許すすべてのことに誤った安心感を抱くことだ。爆弾は守り、数え、最悪の場合サイロに未使用のまま置いておける。超知能にはそのような選択肢は一切ない。
核時代には2番目の教訓があり、それが今重要なことです。兵器を製造した後、二度と使用されないように条約を作成するのに何十年も費やしました。予防、検証、軍備管理の患者アーキテクチャは、冷戦の真の継承です。私たちのバージョンはまだ始まったばかりですが、今回の違いは、事後に構築することができないことです。自分自身を狙うことができる武器は 存在する前に阻止される, 、一度そうなると思いとどまることはありません。