技術コミュニティは十年間警告を発し続けてきた。その警告は研究所の速度を落とさなかった。今欠けているのは、政治的意思、法制度、そして誰も制御できないシステムへのレースを止めるのに十分な強固な連合である。
「人類を救うナカダ財団」は、1 つの国の 5 つの企業に所属する少数の技術者が、私たちの種の存続を決定する決定を下すべきではないという 1 つの前提のもとに設立されました。
私たちは、AI安全保障研究の主流とは立場を異にする。その主流は、主に自らが研究するシステムの開発を競っている研究所から資金提供を受けている。私たちは、AI安全保障分野のインセンティブ構造は根本的に歪んでおり、解決策は業界の内部からは生まれないと考える。
資金と名声の多くは依然としてレースをより安全にする方に流れ、レースそのものを終わらせる方には向かわない。私たちの仕事は別の仕事だ。人工超知能を拘束力のある法律で止めること。超知能は制御できない。
狭い AI は革新的で有益です。それは病気を治し、発見を加速し、人間の可能性を広げることができます。この戦いは、私たちがコントロールすることも、調整することも、止めることもできない、ある種の知性との戦いです。
変革には外部からの圧力が必要だ。政府、法、文化、そして、問題となっているのは市場の結果ではなく人類の存続であることを理解する人々からの圧力だ。
このためのモデルがある: 核拡散防止条約.
AI安全研究組織とは異なり、私たちはAIシステムの構築・訓練・実験を行わない。私たちの使命とメッセージの間に矛盾を生むような資金提供は受け入れない。
AI倫理団体とは異なり、私たちは実存的リスクにのみ焦点を当てています。バイアス、公平性、既存AIの悪用ではありません。これらは重要な問題です。しかし、絶滅という問題とは別です。
私たちは学術機関ではなく、慈善活動としての公教育キャンペーンとして活動している。世論の理解を変え、連合を築き、超知能の開発を拘束力を持って阻止可能にすることを目指す。これは歴史上すべての成功した公共利益運動が取ってきた方法だ。
人々はよく私たちを「一時停止」として申請します。それは、研究室が超知能を安全にしてから再開できるように、数年間の猶予期間です。私たちは政府が人工超知能を永久に阻止することを望んでいます。超知能は人間にはコントロールできません。
その違いは重要です。一時停止はスケジュールの問題を前提としています:速度を落とし、安全が追いつくのを待ち、再開する。 開発者よりも高性能なシステムを制御する検証済みの方法は誰も持っていない。 小規模でも大規模でも、実証済みの方法が 1 つもありません。建設に競う人々は公の場でそう言います。
それが今後も変わらないなら、今日のような手法で超知能を構築することは、慎重に管理すべきリスクのある技術を生み出すことにはならない。そこから回復できない結果を生み出すことになる。これは2025年の書籍『 誰かが作れば、みんな死ぬ, by エリーザー・ユドコウスキー and ネイト・ソアレス。すべての主張を受け入れる必要はありませんが、非対称性は明らかです。私たちには一度きりの試みが許されるだけで、それを正しく行う方法を誰も教えてくれません。
そこで我々が提唱する条約は 超知能の開発を安全にする方法ではない。 それを実現する既知の方法はない。条約こそがレースからの出口ランプであり、賭けをしないという恒久的な決定だ。超知能は人間によって制御できない。
これが、AI安全分野の多くと袂を分かつ理由だ。多くの "safety" の取り組みは、システムが構築されることを暗黙のうちに前提としている そしてそれらが私たちを殺す確率を下げることだけを試みる。私たちはそれが問題を逆転させていると思う。ダウンサイドを制御できない場合、そして 欠点は全員が, 責任ある行動は 危険なものを構築するのをやめる. 。スーパーインテリジェンスは制御不能なので、答えはより慎重に作ることではない。狭いAI(病気を治し、発見を加速させる種類のもの)は続ける。それを超える、すべての領域で人間の知能を上回るシステムの狭いクラスこそ、作ってはならない。
自発的ガイドラインではなく、超知能AIシステムを禁止する拘束力ある枠組みを求める声を上げよ。必要なのは平易な解説、ソーシャルでの存在感、そして人々が予防のための共通語彙を得られる創造的なメディアだ。
議論の中心は、政府が利用可能な三つのチョークポイントにある。計算インフラでは、少数のチップ製造企業が最先端モデルの訓練に必要なハードウェアを支配している。最先端AI研究所では、商業的インセンティブが安全へのコミットメントを上回る。国際機関では、能力競争が不可逆的になる前に条約の枠組みを構築しなければならない。私たちはワシントンや他の首都で直接的なロビー活動を行っていない。
世界最大級の慈善財団、政府首脳、ノーベル賞受賞者、著名人、文化人を巻き込み、メッセージを増幅させ、活動資金を調達し、オーバートン窓を動かします。
効果的なアドボカシーの歴史は、ありえなさそうな連合の歴史です。公民権運動は聖職者、労働組合、弁護士を結びつけました。核軍縮運動は物理学者と詩人を結びつけました。私たちは、AI安全をこの10年の決定的な政治課題にする連合を築いています。
芸術、映画、ジャーナリズム、メディアに委嘱して、危険を直感的で否定しがたいものにする。気候変動運動が何十年も失敗した一因は、脅威が抽象的で遠いものだったからだ。AIリスクはそうではないが、差し迫ったものだと感じさせなければならない。
安全を prestigious で緊急性が高く、無視できないものにしなければならない。私たちは映画製作者、小説家、ゲームデザイナー、ジャーナリストと協力して、長期的に続く運動のための文化的インフラを構築している。経済的根拠も含めて、 資本家が 人工超知能 規制を信じる理由.
政府が既存の手段で実行できる具体的な行動だ。いずれも実例と年号がある。
定義された計算閾値(現在1026 浮動小数点演算)。展開前に独立した安全監査を義務付ける。フロンティアモデルの全訓練実行に関する検証済みの国際登録簿を作成する。 コンピュートがボトルネックだ: 少数のメーカー、主にTSMC、NVIDIA、ASMLが最先端AIシステムを構築するために必要なハードウェアを支配しており、コンピュート層でのライセンスは技術的に容易で検証可能である。
天井はハードウェア自体が追跡されて初めて有効です。これらのトレーニングランが依存する先進GPUは登録可能で、ますます, チップ上でそれらがどこにあり何をしているかを検証するために構築された, 、改ざん防止の位置証明とシリコンに設定された使用制限により、法的上限が物理的上限になる。これがオフショアリングへの答えでもある。ハードウェアレベルの追跡がなければ、国内で上限に達したラボは単に訓練実行を寛容な管轄区域に移すだけだ。輸出管理とチップレベルの検証をサプライチェーン全体に拡張することが、計算資源がルールが最も緩い場所に静かに流出するのを防ぐ。
定義された一般能力閾値を超えるAIシステムの開発を禁止する拘束力のある多国間協定を、 核拡散防止条約. 。どの国も免除されるべきではありません。これは 永久禁止, 、スケジュールに従ってモラトリアムが解除されるわけではありません。超知能は人間にはコントロールできません。 核拡散防止条約 は不完全ですが、80 年間核兵器の使用を阻止してきました。標準的な反論(「他国は亡命するだろう」)は、 「核不拡散に反対する議論と全く同じ」. 。どの国も免除されるべきではありません。これは
査察権を持つ政府間機関(国際原子力機関に類似)で、コンピュート上限の遵守を検証し、最先端AI研究所における安全な開発慣行を義務付ける権限を持つ。国際原子力機関は核拡散防止条約から3年以内に設立された。 グローバルAI監視機関は同じタイムラインで実現可能だ 政治的意志があれば。その任務には、訓練実施の報告義務、主要なAI研究所への立入検査、加盟国に拘束力のある勧告を出す権限などが含まれる。
条約が現実的であるかどうかは、その執行力次第です。法案名を明示せずに条約を求めるキャンペーンは詐欺です。コストは現実的です。それがもたらすものと比べれば、それでも小さい。
意味のある執行とは、データセンターへの現地査察、大規模訓練実行の義務的申告、ハードウェアによる自らの位置と使用状況の報告を意味する。これは商業上の秘密への干渉であり、扱い方を誤ればプライバシーへの干渉にもなる。核査察体制が同じ干渉を受け入れているのは、代替案の方がはるかに悪いからだ。監視が国際的かつ透明で、特定の国家や企業に独占されないことが保障となる。
超知能を抑えることは、制御可能なバージョンがいつか提供するかもしれない利益を先送りし、企業や国に extraordinary な短期利益をテーブルに残すよう求めることだ。これは本物のコストだ。しかし、制御不能な超知能は誰にもそれらの利益をもたらさない。整列できないシステムは、保持できる資産ではない。誰も安全に主張できない賞を先送りすることは、それほど大きな犠牲ではない。
結果を伴わない規則は単なる提案に過ぎません。執行が機能するのは、違反に重みがある場合です。輸出禁止、金融制裁、計算資源供給網からの排除、そして核分裂性物質の場合のように、超知能を構築する逸脱プロジェクトは私的な問題ではなく全員の緊急事態であるという共通理解です。この境界線を築くのは困難で政治的コストも大きいですが、すべての本格的な軍備管理体制がそれを必要としてきました。
執行にかかるコストには限界がありますが、何も持たない場合の無制限のコストとは異なります。
執行に対するあらゆる異論(侵略的、費用がかかる、産業を制約する)は本当で、かつ耐えられる。耐えられない唯一の結果こそ、執行が防ぐために存在するものだ。 「無制限で不可逆的なリスクを排除するために、限定され既知のコストを支払う」. 。 それは文明がすでに に対して行ったのと同じトレードオフである 核、化学、生物兵器.
あなたがその支持基盤です。この実現を可能にする政治的勢力の構築を手伝ってください。