核兵器は、材料問題を包む設計である。通常、高濃縮ウランまたは原子炉由来のプルトニウムが必要で、その量と純度は空から降ってくるものではない。濃縮施設は巨大で、電力消費が激しく、諜報機関が七十年かけて発見方法を学んできた設備で満ちている。この困難さが非拡散の物語のすべてではないが、物理学が無償で提供した部分ではある。
次に、ソートエクスペリエンスを実行します。AIリーダーはスキップします。爆弾を作る原子の正確な構成が簡単だったとします。インプットが安価でデュアルユースであり、パレットで販売されていると仮定します。完成したデザインをファイルのようにコピーできるとします。種の寿命は何年ですか？
多くはありません。条約は依然として重要でしょう。規範や恐怖もそうです。それらは現在、資材の入手しにくさが果たしている役割をすべて担うことになり、どの執行機関も経験したことのない規模でそれを行うことになります。核兵器に対する20世紀の部分的な成功は、サプライチェーンの摩擦抜きには理解できません。私たちはウランが気難しい物質であることに幸運にも恵まれたのです。
困難さが私たちにもたらしたもの
9カ国が核兵器を保有していることが知られている。この数字はスキャンダルであると同時に、ある種の慈悲でもあります。何百もの州が物理学を理解する科学的才能を持っています。制裁、監視、費用のかかる産業マラソンを完走した人ははるかに少ない。不拡散条約、輸出管理体制、および《国際原子力機関》保障措置システムはすべて、単純な事実に基づいています。つまり、ボトルネックは十分に目に見えるものであるということです。
ボトルネックを取り除けば、外交問題がやや難しくなるだけでは済まない。限界的な行為者——小国、資金力のあるグループ、離反した指揮系統——が都市を人質にできる世界になる。わずかな慎重な大国間でかろうじて成立する抑止の論理は、時間軸の短い数十のプレイヤー間では成立しない。爆弾は恐ろしい。容易に作れる爆弾は、別の種類の問題である。
我々は容易な核物質をより良い演説で生き延びるわけではない。我々は困難な核物質を上乗せの検査で生き延びる。スーパーインテリジェンスは容易な方向へ漂っている。
AIはどちらへ向かっているか？?
最先端の訓練には依然として巨額の資金、大量のチップ、そして本格的なエンジニアリングが必要だ。最先端を押し上げるのに十分なクラスタは、建物の中にあり、電力料金が発生する物理的な物体だ。
トレンドラインはウランのそれとは異なる。モデルは1ドルあたりの能力を増し、技術は向上し、訓練済みの重みはほぼゼロコストで複製可能だ。オープンリリースや漏洩は能力を横方向に広げ、才能はグローバルだ。これらはすべて、核不拡散を可能にした「偶然の贈り物」——頑固な物質ゲート——から遠ざかっていることを示している。
2 つのスタックを正直に比較してください。 2 つ目の核兵器を手に入れるには、依然としてプラント、原料、そして望遠鏡の下での時間が必要です。トレーニング済みモデルの 2 番目のコピーを取得するには、ドライブが必要です。危険物があれば、 弾頭ではなくエージェント, 、複製では同位体パターンではなくソフトウェア パターンが優先されます。
「間違った教訓と正しい教訓」
間違った教訓は運命論です。インプットが簡単になっているので、ガバナンスは絶望的です。これ以上の能力だけが私たちを救うことができるのは、研究室のピッチの鏡像です。どちらも、フロンティアランが表示され、真面目な俳優の数が少ない、まだ私たちがいる間隔をスキップします。
正しい教訓は、私たちが作り出さなければならない「難しさ」への緊急性である。物理学が門戸を狭く保ってくれないなら、法と業界基準がその役割を果たさなければならない。先端チップに関する顧客確認ルール、訓練実行に関する報告閾値、監査権限、大規模な隠密訓練を隠しにくくするハードウェア機能、そして超知能は許されない製品であると定める条約。超知能は制御できない。 核拡散防止条約 と モデル条約のスケッチ その厳しさを、簡単な道が開き終わる前に紙に書き留めようとする試みです。
思考実験を閉じる
1960年に大統領へ、証明済みの設計と、爆弾の材料が肥料のように売られる世界を説明することを想像してみてほしい。部屋にいる誰もが、発生源での管理を叫ぶだろう。誰もそれを反科学とは呼ばないだろう。最初の爆弾を監視するために、より賢い爆弾を発明するのが答えだとは言わないだろう。
私たちは爆弾よりも弱い天然素材のゲートに向かって能力を構築しつつ、速度こそが安全だと自分に言い聞かせている。思考実験はさほど巧妙ではない。危険なものが作りやすいなら、世界にやり直しはない。まだ難しいうちに意図的に難しくするか、生存者の化石記録もないまま「簡単」を味わうかだ。