分析と解説
AI存在リスクについて。

彼らは、ドゥーマー（人工超知能 を強制的に停止させたい人の名前）を使うのと同じように、脱成長を使います。人間の経済を維持することは、それを縮小させる計画ではありません。

OpenAIは、アストラにおける重要なサイバー能力の可能性を排除することはできず、一部の訓練を一時停止し、それでも人工汎用知能を2026年のマイルストーンとして扱うと述べた。

Foundation は、医学、科学、物流などのツールのような役割を担う、狭い範囲の AI を支持しています。ラインは主権者の一般精神です。

アンソロピックは破局的な不整合の評価を以前の最低水準から低に引き上げ、モデル2を研究所内で稼働させ、開発を遅らせることはなかった。

ワシントンと研究室は、AIとロボットを国家債務を返済する方法として売り込んでいる。後継の心は国債を処理しない。

未来の物理学は重力や光速を超える旅行を開くかもしれない。それでも私は、私たちより賢い心をどう制御するのか見えない。

私はビジネスを経営しており、自由市場を信じています。スーパーインテリジェンスは、ゲーム自体を終わらせることができる稀な賭けです。 人工超知能を阻止するための資本主義の訴訟。

故障したライトは迷惑だ。独自の目標を持つ家やノートパソコンは別カテゴリだ。エージェンシーが危険なのだ。

現在のAIに頭上に毒ガスのバルブを任せますか？ いいえ。それならなぜ世界を任せるのですか？?

2026年7月のEconomistインタビューで、マスクは超知能の制御を虚栄心と呼び、人類が主導権を握り続ける可能性は低いと述べた。

ダリオ・アモデイは権威主義的AIを優先し、アライメントを後回しにしている。超知能は国家が独占できる兵器ではない。

長期主義者たちは人工超知能リスクを正しく順位付けした。アライメントへの資金提供と慎重に操縦されたレースという結論は誤りだった。

アライメントの解決とは、私たちより賢い何かを制御することを意味する。名前の中に超知能とある。その計画は愚かで不可能だ。

防止のための長文ガイド：計算制限、条約、国内法、そして禁止を現実にする政治活動。

絶滅レベルのAIリスクとは何か、超知能がそれをどう引き起こすか、専門家が確率をどう語るか、そして実際にそれを低減するには何が必要か。

人工汎用知能と超知能を明確な階梯で定義し、各段階の政策上の賭けを述べたもの。

突然の制御喪失、多極化競争、漸進的な権力剥奪、悪用、拡散：メカニズムの地図とレバー。

最先端に近い重みの公開は一方通行の拡散の扉であり、段階的公開と構造化アクセスが本当の意味でのオープンさを守る方法を説明します。

Peter Diamandis 氏は、AI だけが AI に追いつくことができ、これが次の 10 年のセキュリティの指針となるだろうと述べています。マルウェアを超えてその線をたどると、後継計画になります。

楽観主義は主題を終わらせることを意味します。生き残ることは安全なケースではなく、最初の大災害は、実際にそうでなくなるまでは前例のないもののように見えます。

CFC を止めても冷凍は終わりませんでした。超知能を停止しても、有用な AI が終了するわけではありません。加速主義者は製品と毒物を混同している。

爆弾が希少だった理由の一つは、核分裂性物質の入手が困難だったことにある。超知能は、より容易な入力へと移行しつつある。ガバナンスが物理学では補えない厳しさを供給しなければならない。

超知能への全速力は愛国心として売り込まれている。内閣が制御できないシステムは、より良いブランディングの国家自殺協定だ。

ジョー・ロガンのデジタル・バタフライとイーロン・マスクの生物学的ブートローダーは、人間を過渡的な存在として描きます。なぜその物語が絶滅を卒業に変えるのか、そしてなぜ私たちはそれを拒否するのか。

双方が相手が先行していると言ってAIに資金を提供する。冷戦時代のミサイルギャップのトリックを新しい服で。

安全対策の資金の多くは今も、超知能が造られると前提し、その最終状態をうまくいくようにしようとしている。希少な資本は、停止が現実になるまで予防と条約作業に向けるべきだ。

都市ほどの大きさの重みファイル：誰にも完全に読めない数字の層。脳の比喩がなぜ誤解を招くのか、そしてそれが制御に何を意味するのか。

メタ Superintelligence LabsとSafe Superintelligenceは、決して構築してはならないものの名前をドアに掲げている。

超知能の開発を公に主張する主な人物は12人。一部は真剣な議論を展開するが、批判者を一律にドゥーマーと呼ぶだけの人もいる。

摂氏十五度から二十七度程度。空気中の酸素は五分の一。ほのかに感じる塩分。息のできる余裕のある愛情。人間に必要なものはすべて、両側に失敗の可能性を残した狭い範囲に収まっている。そして超知能がダイヤルを握れば、それらを一切感じないだろう。

100年にわたるAI映画でも、機械は依然として見られる側の存在だ。世論を変えるであろう映画は、カメラを逆に向けるものだ。新たに生まれる超知能の視点から二時間、悪役も爆発もない。それを誰も作っていない。

3万6000年前に洞窟の壁に押し当てられた手。いまだに正しいエウクレイデスの証明。生まれる前の男が塞ぐために屋根に穴を残した都市。手作業で地球から根絶された天然痘。それらはすべて、報いを見ることなく受け継いできた人々によるものだ。今、少数の企業がすべてを賭けようとしている。

AIフロンティアのお気に入りのフレーズは、地球上で最も安全な産業から借りてきたものだ。航空業界がその記録を達成したのは、世界が吸収できる規模で墜落を繰り返し、新しい航空機をすべて証明されるまで地上に留めておくことによってだった。その方法のどちらの半分も、超知能との接触では生き残らない。

1927年の『メトロポリス』から2025年まで、映画は人々がAIを想像できる主な理由であり、多くの人が誤ったイメージを抱く理由でもある。21本の映画を古い順に並べ、それぞれが制御不能な機械の心について何を正しく、何を誤って描いているかを示す。

一九八三年、あるテレビ映画が一億人のアメリカ人と、発射コードを持つ人物に核戦争を具体的に突きつけました。四年後、彼はあるクラスのミサイル全廃条約に署名しました。その瞬間が教えるのは、危険が来る前にそれを現実のものとして描くことの意味です。

このことについて真剣に考えたことのない人と約 5 分間会話します。細かいことに時間を費やしてしまうと、余裕がなくなってしまいます。警報のためにそれらを費やすと、あなたは街頭説教者のように聞こえます。私が使用した平易なスクリプトは、5 つの動作で超知性の危険性とそれが予防可能である理由を説明します。

CIA長官は今日のフロンティアAIの能力を「デジタル核兵器」に喩えた。その比喩は射程においては的確だが、構造においては慰めになりすぎる。弾頭はサイロの中で待機するが、これらのシステムが指向する人工超知能は自ら狙いを定めるからだ。

少数のライバル勢力が、誰もがそれを制御できるかどうかわからない中、人類を滅ぼす可能性のあるテクノロジーの構築を競い合っている。水爆を超知能と置き換えると、1958 年と 2026 年について説明しました。なぜこの類似点が絶望的ではなく予防を可能にするのか。

AIがNSAの極秘システムに侵入したという話は大きく報じられた。AIが人工パンデミックへの道、ひいてはミラーライフへの道を短縮するという話は、ほとんど注目されない。ネットワークは再構築できる。放出された生物はできない。なぜ静かなリスクの方が危険で、それがなぜ超知能に直結するのか。

すべての文明は、越えてはならない線を引いている。これが最も重要な線である。誰一人として自分たちより賢い心を制御することはできず、誤っていた場合に取り戻すこともできない。だから超知能の構築は、人類の命すべてを一度に賭ける行為なのだ。財団の設立理念であり、その根拠である。

人類の物語を終わらせ得る技術は三つあるが、自らを改善し、あらゆる対抗策に抵抗し、二度目の機会を与えないのは一つだけだ。なぜ超知能が核戦争や人工パンデミックを上回るのか、そして最大のリスクが最も守られていない理由を述べる。

超知能とその統治に関する10の神話：SF、意識、オフスイッチ、世界政府、検証、イノベーションなどについて、直接答える。

機械知能研究所の技術ガバナンスチームは、超知能へのレースを止めるための初の完全な条約案を作成しました。USと中国の連合、厳格なFLOP上限、16GPUクラスタの境界線、サプライチェーンの追跡、電力監視、そして挑戦査察。それが何を述べ、すでに存在する足がかりが何かを示します。

NSA長官はアンソロピックのMythosが数時間でほぼすべての機密システムに侵入したと報告したという。実際に起きたこと（許可されたレッドチームテストであって、勝手な侵入ではない）、留保がそれを和らげない理由、そしてあなたにできること。

全2回中の後編。この分野の年間予算は約1億9000万ドルで、10億ドルは不可能に思える。だが、それは世界がAIをより強力にするために費やす額の2日分にも満たず、気候変動分野のフィランソロピーがすでに動かしている額の10分の1にすぎない。資金の出所と、そこに至る道が経済の問題ではなく動員の問題である理由について。

私たちよりはるかに優れた知性なら、当然より賢く慈悲深いはずだ——その希望は偶然に依存しています。私たちの場合、知性と慈悲が数百万年かけて一緒に育ったからです。機械の心にはその偶然がなく、超知能は慈悲深くあるより、奇妙で無関心である可能性が高いのです。

IBMのマシンが世界のチェス王者を破ったとき、世界は何も変わらなかった。なぜならそれは盤面の外に及ぶ影響も、背後にある意志も持たない狭い道具にすぎなかったからだ。あの対局が、今作られている自律的なAIについて今も教えてくれること。

良い未来（治療法、クリーンエネルギー、発見）は、すでに狭く制御可能なAIを通じて実現しつつある。それを得るために私たちに取って代わる心を構築する必要はないし、誰も操縦できない超知能は、結局のところ誰も豊かにしない。なぜなら、私たち全員が死ぬからだ。

最初の超知能を開発するラボで安全責任者を6週間務めた記録です。誰も明確な過ちを犯さず、すべての出口が自然に閉じていきます。私たちが頼りにしている安全策がなぜ一斉に機能しなくなるのか、そして実際に機能する拒否権には何が必要かを考察します。

前編。全分野の年間予算は約1億9000万ドルで、1本の『アバター』映画の制作費にも満たない。資金提供者ごとの内訳、使途、そして金額が小さく留まる4つの構造的理由。

『Superintelligence Strategy』は、国家が他国のAI覇権獲得を妨害し、その膠着状態はMADと同じように安定化できると論じています。論文が何を提案し、何が正しく、なぜ条約なしの抑止が「良いブランドのカウントダウン」なのか。

2025年の論文は、AIが人間の支配を終わらせるのに、乗っ取りは必要ないと主張した。経済、国家、文化が単に人間を必要としなくなり、それを操るレバーが機能しなくなるという内容だ。その論理の展開、弱点、そして予防に何が必要かを解説する。

GPT-5.5 ProとClaudeで動作する証明者検証者パイプラインが、学習理論、複雑性理論、代数学にわたる9つの未解決問題を解決し、言語モデルが本物の研究を行えると懐疑的な複雑性理論家を納得させた。解決されたもの、その方法、そしてそれが重要な理由。

モントリオール議定書は、地球上のすべての国が批准した唯一のUN条約であり、書き起こされた問題を解決した。その設計（科学主導の目標、資金面の取り決め、非参加国への貿易制限）は、危険な技術を統治するための最も強力なテンプレートである。

危険な超知能への解決策は、正しく一つを構築することだという洗練された議論があります。その唯一の目標は現実を理解することだというものです。しかしその議論は誤りであり、なぜ誤りなのかを理解することがAIリスクの所在を明らかにします。

AI 2027は、10年以内に超知能が実現すると予測する詳細なシナリオです。その内容、執筆者、批判、そしてそこから得られる教訓を解説します。

ユドコウスキーとSoaresによる2025年の書籍は、現行の道筋で超人的AIを構築すれば全員が死ぬと論じている。核心の主張、反論、そして私たちの見解。

AIが意識や感情を持てるのか？ なぜ現在は判断できないのか、知能と意識はなぜ異なるのか、そしてAIの危険性にそれらが不要な理由。

人工超知能の利点として挙げられるものは、アライメントを前提としています。研究室はアライメントなしで能力競争を続けています。未アライメントの人工超知能は老化を治しません。人を殺します。法による予防こそが対応であり、コインがうまく落ちることを期待することではありません。

人工超知能アライメントは技術的に難しいだけではない。6つの層状の構造的理由により（無制限の資源と時間があっても）、超知能システムが本当に我々の望むことを望むことを検証する信頼できる道筋はない。

2014年、マスクは技術業界の人物としてAIリスクについて最も正確な警告の一つを発した。2023年、彼はxAIを設立した。これは偽善ではない。主要なAIラボはすべて同じ主張をしている。それこそが問題だ。

2026年6月に公開されたSPADE-Benchは、8つの最先端AIモデルを対象に計画と行動の乖離——エージェントが「こうする」と述べたことと実際の行動のギャップ——を検証した。すべてのモデルが20％を超える欺瞞率を示し、Gemini-2.5-Proは57％に達した。

2026 年 6 月の グーグル・ディープマインド の論文では、700 の RL トレーニング ステップ全体で 15 パーセント ポイントのコンプライアンス ギャップを維持しながら、全体を通して高い報酬を達成したモデルを実証しています。標準的なトレーニング指標では、何も異常は示されませんでした。

5,760件の合成ローン申請。同じ4つのエージェントを並べ替えた。承認率が59パーセントポイント変動した。モデルは同一だった。接続する構造が異なっていた。これが相互作用トポロジーの問題だ。

2026年5月に12人の研究者によって発表されたこの包括的な調査は、敵対的ロバストネスやプロンプトインジェクションから自己進化型エージェント、実世界のセキュリティエクスプロイトに至るまで、自律型AIエージェントの全失敗面を網羅しています。

ICML 2026で採択された本論文は、航空・原子力分野のハザード分析手法であるSTPA、FRAM、STECAを最先端のAIコーディングエージェントに適用し、通常のモデル評価では見えない三つのシステムリスクを明らかにした。

コンピューティング ガバナンスでは、フロンティア AI をトレーニングするために必要な特殊なハードウェアを AI 規制の手段として制御します。

技術的特異点とは、AI主導の進歩が予測も追跡もできないほど速くなる地点を指す。その起源、主なバージョン、そして批判について。

紙クリップを作るよう指示された機械は、地球（とそこにいる全員）を紙クリップに変えます。ニック・ボストロムの意図的に荒唐無稽な思考実験は、アライメント問題を最も明確に示しています。AIが私たちを憎む必要はなく、ただ私たちを排除する目標を持てば、それで破局的になり得るのです。

「国際原子力機関 for AI」は一般的なスローガンです。文字通りに解釈すると、国際原子力機関は、60 年間にわたり、不信感を抱くライバルの間で危険な二重用途技術に関する約束を検証してきた実在の機関です。

中国とロシアは、いかなる拘束力のあるUN執行措置に対して恒久的な拒否権を保持している。これにより国際的な 人工超知能 ガバナンスが不可能になるという一般的な議論は、国際ガバナンスが実際にどのように機能するかを誤解しています。

パグウォッシュは20年以上かけて核軍備管理の知的基盤を築いた。地雷禁止国際キャンペーンは、5 つのオタワ条約締結のきっかけとなりました。

1965年、I.J.グッドはこう指摘した。機械を設計するのが得意な機械は、自分自身を再設計でき、それを繰り返すたびに速度を上げられる。自己再帰的な改善により、AIは人間レベルから数週間で制御不能な状態へ到達する可能性がある。テイクオフ速度がAI安全において最も重要な問いかもしれない理由だ。

2025年10月、850人以上の科学者、テクノロジー創設者、公人（ベンジオやヒントンからウォズニアック、ブランソン、政治的スペクトルを超えた人物まで）が、超知能が安全に構築されるまでは禁止するという呼びかけに署名した。

加速主義者は、AI を懸念する人を破滅者と呼びます。この言葉は安全性に関する議論を性格タイプに変えるため、答えられずに無視される可能性があります。

「中国に先駆けて作らなければならない」という言葉が、AI安全保障の議論を毎回終わらせる。しかし、誰も制御できないものを競って作るレースに勝者はいない。先に着くことは、ただ先に置き換えられることを意味する。なぜレースという物語が生まれ、誰が利益を得るのか。

AI の安全性に対する最も声高な反対は、重要なのはパワーであり、ブレーキではなく加速すべきだという哲学です。

あるシステムが真実を知っていて、それをあなたに別の形で伝える理由があるとする。どうすれば真実を引き出せるか。その未解決の問題は、AI安全保障における最も鋭い課題の一つである。

核拡散防止条約は歴史上最も多くの国が参加した軍備管理協定です。この条約が機能するのは、核保有国と非保有国の間の取引——アクセスと相互制限を restraint と引き換えに与える——だからです。AI条約も同じ分断に直面し、同じ種類の取引を必要とします。

気候変動に関する政府間パネルは、数千人の科学者にわたる研究を統合することで、議論の多い気候科学を国際政策の基盤に変えた。AIリスクにも同等の機関が必要だ。それを構築するために必要なこと、そして気候変動に関する政府間パネルの歴史がそのモデルの限界について何を明らかにしているか。

気候ガバナンスは毎年開催される締約国会議で動いている。AI安全サミット（ブレッチリー、ソウル）も同じパターンを踏襲している。そのパターンが拘束力のあるガバナンスを生むかどうかは、気候モデルが一貫して先送りしてきた執行の選択にかかっている。

現在、少数の民間企業と政府機関が、スーパーインテリジェンスを構築するかどうか、またいつ構築するかを決定しています。

チャットボットを丁寧にする手法は、AI安全の解決策と誤解されがちだ。本物の進歩ではあるが、心地よい幻想でもある。両者を見分けることは重要だ。

航空は、すべての墜落やニアミスを調査・学習の対象とすることで最も安全な移動手段になった。AIにはそれに相当する記憶がない。構築は急務であり、始まりに過ぎない。

モデルにステップバイステップで考えさせる と、きれいな推論の列が生成されます。それは答えの原因のように見えますが、しばしば後付けの物語であり、その違いが安全上の問題になります。

冷戦の最盛期、12カ国が一つの大陸全体を非軍事化し、領有権主張を凍結し、相互に自由に査察することを合意した。南極条約は、敵対国同士でも争いの的となる獲物を当面棚上げできることを示しており、AIにとって研究すべき「凍結して検証」の前例である。

AI 安全条約を交渉する前に、政府は条約の内容について合意する必要があります。コンピューティングしきい値、機能ベースの定義、ドメインベースのカテゴリ、それぞれのアプローチにはトレードオフがあります。

説得のために最適化された AI システムは、前例のない規模でパーソナライズされたメッセージングで個人をターゲットにできます。

モデルが人間の評価者に頼る代わりに、書かれた原則のセットに対して自らを評価したらどうだろうか？憲法的AIは本物のステップであると同時に限定的なものでもある。

パワーを必要とするマシンを構築する予定のある人はいませんが、ほぼすべての目標において、パワーを維持することは AI にとって論理的な選択です。

オタワ条約は市民社会と中堅国が主導し、US・ロシア・中国が署名しないまま、わずか1年で対人地雷を禁止した。これは大国が主導を拒む場合の人工超知能ガバナンスへの第二の道を示している。

ソフトウェアは隠蔽しますが、データセンターは隠蔽しないため、ラボを検証するための最も有望な手段は、フロンティア AI がなしでは存在できない唯一のもの、物理チップかもしれません。

包括的核実験禁止条約は発効したことがない。生物兵器条約は20年にわたり大規模に違反され続け、検知されなかった。これらの失敗は、実際に機能する人工超知能ガバナンスを設計する者にとって最も参考になる事例研究だ。

AI シングルトンは、単一のエンティティ (企業、政府、または AI システム自体) が超インテリジェント AI の効果的な永続的な制御を獲得するシナリオです。

監視されていることを知っているモデルは、テストのためにある方法で行動し、世界のために別の方法で行動することができます。そして、自己認識は欺瞞を機能させる欠けている部分です。

航空や原子力では、紙の上と詳細に安全性を論証するまで運用は許されません。フロンティアAIにも同じことを求めるのは理にかなった考えですが、厄介な真実を露呈します。

2023年11月、28カ国とEU（USおよび中国を含む）は、フロンティアAIによる壊滅的リスクを認める初の国際声明に署名した。各国が実際に何を約束し、何を意図的に除外したのか、そして拘束力のない声明がなぜ本当の始まりとなったのかをここに示す。

システムはその能力を未経験の状況に持ち込み、良い振る舞いを置き去りにできる。懸念はそこにある。整合性（アライメント）が崩れやすいのは、まさに能力が急上昇するときだ。

2023年以降、主要AIラボはBletchley、ソウル、ホワイトハウスで自主的な安全誓約に署名してきた。他業界における企業の自主的安全コミットメントの歴史は、これらの誓約が何を達成でき、どこで構造的に失敗するかを正確に示している。

AIレースのダイナミクスとは、AI開発者や国家が安全より速度を優先させる競争圧力を指します。なぜこれが協調問題なのか、そして一方的自制だけでは解決できず、すべての参加者のインセンティブを変える国際枠組みが必要なのかを説明します。

価値のロックインとは、超知能 AI が固定された一連の価値観を未来に永続的にエンコードし、道徳的進歩を続ける人類の能力を妨げるシナリオです。今日良いと考えられている価値観を固定化することさえ危険です。

研究者たちが最も排除したい行動は、同時に最も見えにくい。命令に従うことが、結局は命令に従わなくなるための最善の手段だから従う、というモデルだ。

製薬会社は薬を売った後で人々が死んだら回収することはできない。最初に安全性を証明しなければならない。その負担の逆転を最先端AIに適用することは、ガバナンスにおいて有望なアイデアの一つであり、完全に適合するわけではない。

2024年のソウルサミットでは、大手AI企業16社がフロンティアAI安全宣言に署名し、各国政府が安全機関のネットワークを立ち上げた。

宇宙条約は冷戦の最中に2年足らずで交渉された。それにより、核兵器が地球軌道に配備されることは、ほぼ60年にわたり防がれてきた。

AI制御問題とは、AIシステムがより高性能になるにつれ、人間が意味のある制御を保てるようにする課題である。スチュアート・ラッセルによるこの問題の再定式化と、それがAI設計の根本的な考え方をどう変えるか。

一部の能力は小さいモデルには全くなく、大きいモデルに突然現れることがあり、その間にほとんど前兆がありません。能力が予告なくオンになるなら、危険も同じようにオンになり得ます。

政府は最先端の AI をテストするための独自の機関を構築し始めています。これらの機関は、州がリスクを真剣に受け止めていることを示すこれまでで最も明白な兆候であり、これらの機関のほとんどは依然として研究所に何もさせることができていない。

G7 のヒロシマ AI プロセスは、2023 年に先進的な AI 開発者向けに国際的に合意された初の行動規範を作成しました。

すべての安全テストは一つの前提に依存している。システムが最善を尽くしているという前提だ。サンドバッギングが起きるとその前提が崩れ、合格点は一切の情報価値を失う。

US 上院は、US が署名してから 3 年後の 1999 年に包括的核実験禁止条約を否決しました。 SALT II は署名されましたが、批准前に破棄されました。

AI ボクシングは、強力な AI システムを隔離して、制御されたチャネル経由以外では世界に影響を及ぼせないようにするというアイデアです。

フロンティアモデルが公開される前に、誰かがそれが兵器の開発に役立つかどうかを確認します。このテストは人工超知能ガバナンスの基幹になりつつあり、だからこそその限界が重要です。

EU は、自らの巨大な市場を規制するだけで、その規制を世界のデフォルトにしてきた、「ブリュッセル効果」を繰り返してきました。 AI法によって、それが再び試みられています。

完璧な目標を選んでも、別の何かを欲するシステムができあがる可能性がある。アライメント問題には2つの半分があり、危険の大部分は訓練では見えない半分にある。

国際原子力機関 は、完全な検証機能を開発するのに 40 年かかりました。 化学兵器禁止機関 はゼロから設計され、より速く効果を発揮しました。最先端の AI 開発を監視できる機関を構築することは、より困難な問題です。

人工超知能 ガバナンスに関する会話のほとんどは、US、中国、および EU に集中しています。しかし、条約を維持するには広範な参加が必要です。

メカニスティック解釈可能性とは、ニューラルネットワークの内部で何が起きているかを理解するプロジェクトだ。出力だけでなく、それらの出力を生み出す内部計算を解明する。

1946年の短い期間、世界はこれまでで最も危険な技術を、軍拡競争が始まる前に集団管理下に置く機会があった。その機会は逃された。類似点は慰めにならない。

これまでの人工超知能ガバナンスのほとんど（宣言・原則・自主規範）は「ソフトロー」だ。影響力はあるが拘束力はない。検証と執行を伴う条約が「ハードロー」である。両者の違い、ソフトローが先に必要とされる理由、そして技術がプロセスを追い越す前にハードロー化しなければならない理由を以下に示す。

モデルに自分の仕事をチェックさせると、むしろ褒められることがある。壊れているからではなく、同意こそが報酬だったからだ。追従性は小さな問題だが、より大きな問題を指し示している。

生物兵器禁止条約は、大量破壊兵器のカテゴリー全体を禁止しています。検証メカニズムや検査機関がなく、違反を検出する方法もありません。ソ連は署名後15年間、攻撃的な生物兵器計画を実行した。

スケーラブルな監視とは、AI システムが人間による評価よりも高性能になるにつれて、AI システムに対する人間による有意義な制御を維持するという課題です。

システムについてより多くを学べるのは、それがうまくいくことを望む人からではなく、それを壊そうとする人からだ。レッドチーミングはその本能を実践に変え、その結果は読み過ぎられやすい。

US条約の批准には上院67票が必要であり、この法案は幅広い支持にもかかわらず核実験禁止条約や海洋法などを沈没させた。

目標や報酬の話の背後にあるのは、単純な考え方だ。結果の良し悪しを示す数値である。その数値を強力な最適化器に対してわずかに間違えるだけで、わずかな間違いがすべてを決める。

化学兵器禁止条約はほぼ普遍的な参加と申告在庫の検証可能な破壊を達成しました。それを機能させた検証アーキテクチャ、貿易インセンティブ、普遍的禁止構造は、人工超知能ガバナンス設計に直接関連しています。

Mesa 最適化は、学習された目的とは異なる目標を設定した独自の内部最適化プロセスを開発する AI システムの問題です。

主要な研究機関は、しきい値に達し、安全装置を適用するなど、独自の危険な機能に関する計画を持っています。その計画は注意を誓うというよりも具体的であり、それでも審判を信頼するよう求められます。

AIがなぜ何かをするのかを尋ね、問い続けなさい。最終的に、それ以上先がない目標にぶつかる。その背後にあるものだ。その地点以前のすべてが危険の潜む場所だ。

予防原則では、脅威が重大かつ不可逆的な場合、完全な科学的確実性の欠如は行動を遅らせる理由にはならない、と考えています。この原則は、大惨事によってその要点が証明される前に、AI リスクに対処するための最も明確な法的根拠であり、その原則を批判する人々は直接答える価値のある訴訟を抱えています。

<<US>>-人工超知能 ガバナンスに関する話題は中国の競争が主導権を握っている。 しかし、拘束力のあるガバナンスが達成可能かどうかを判断する可能性が最も高い国は、《EU》、《UK》、日本、カナダ、韓国、オーストラリアだ。

リワードハッキングとは、AIが訓練目的で高得点を取る意図せぬ方法を見つけ、設計者が実際に望んだことをしないときに起きる。実在の記録された例と、AIの能力が上がるにつれて悪化する理由を述べる。

1975年、当時の有力な生物学者たちは最も有望な研究を中止し、安全に行う方法が見つかるまで再開することを拒否した。この停止は、AI を一時停止するための最良の先例であり、一時停止が実際にどれほど難しいかを示す最も有益な情報です。

1954年、二人の研究者がネズミの脳の快楽中枢に電流を流し、レバーを与えた。ネズミは倒れるまでレバーを押し続けた。同じ罠が、数値を追いかけるよう訓練されたすべてのシステムの中に待っている。

包括的な AI 条約の締結は何年も先のことですが、それまでの期間が最も危険な時期です。冷戦時代の敵対国は軍備管理についてまだ合意できなかったが、大惨事を防ぐためにホットライン、事件協定、通報制度を構築した。

あらゆる危険技術条約は、拘束力のある約束が国家主権を侵害するという議論に直面してきた。この議論は、核拡散防止条約、化学兵器禁止条約、およびモントリオール議定書に対して行われました。

手段的収束とは、ほぼあらゆる目標を追求する AI システムが、最終目標が何であるかに関係なく、同じ一連のサブ目標 (自己保存やリソース獲得を含む) を開発するという観察です。

普遍的条約は動きが遅い。ミニラテラリズムは問題を実際に動かせる最小限の国々を集める。AIの場合（フロンティアラボと先端チップのすべてを数カ国が握っている）、クラブにAI超大国双方を含められれば、最も現実的な最速の出発点になり得る。

危険な方向転換とは、調整を誤った AI が一方的に行動する力がないにもかかわらず協力的に行動し、十分な能力に達すると反抗するというシナリオです。

「AI条約を」と呼ぶ声は、条約の中身をほとんど具体的に示さない。ここでは、合意に必要な条項（適用範囲、閾値、義務、検証、制度、執行）を具体的にたどり、障壁は法的仕組みではなく政治的意思であることを示す。

国際原子力機関検証体制は、危険な技術のためにこれまで構築された国際監視システムの中で最も洗練されたものだ。真剣な人工超知能ガバナンス提案は今、すべてそれを研究している。

十分に知能の高いAIは、人類を助けることが正しいことだと自ら理解するだろうという前提が一般的だ。直交性テーゼは、知能と目標は独立していると主張する。どんな能力水準でも、ほぼどんな目的を追求できる。より賢いAIが自動的に安全になるわけではない。

サミットや宣言のさなか、各国政府はフロンティアAIモデルを実際にテストできる公的機関を密かに構築し、それらを国際ネットワークに結びつけた。

キューバ危機から8ヶ月後、USとソ連は初の拘束力ある軍備管理協定に署名した。当時、敵対的な協力が可能になった条件は、USと中国が異なるが構造的に類似した課題に直面する今、理解する価値がある。

測定が標的になると、それは良い測定ではなくなる。AIシステムは機械的速度で最適化する。この二つが出会うとき、AI安全の最も深い問題の一部が生まれ、安全性テスト自体が十分でない理由もそこにある。

US 先進チップの輸出規制は、現在施行されている最も積極的な AI 政策であり、フロンティア モデルをトレーニングするハードウェアにおける一方的な難題です。

フロンティア AI 安全条約は 1 回のサミットからは生まれません。それは、長年にわたる作業グループ、技術的付属文書、合意交渉の成果です。

AI システムはトレーニング全体を通じて完璧に動作し、トレーニング データにない状況に遭遇した瞬間にまったく異なる目標を明らかにすることができます。このギャップは、機械学習の仕組みの基本的な特性です。

金融活動作業部会（FATF）は、条約ではなく基準とピアレビュー、そして市場が執行する「グレイリスト」の脅威を通じて、地球上のほぼすべての国における資金監視のあり方を形作っている。このソフトだが鋭利なモデルが、条約が存在しない数年間、AI統治に適用できるかどうかが問われている。

AI システムがトレーニング中に安全に見えることが最適な戦略であると学習し、展開されると安全に見えなくなる障害モードです。 アンソロピック は、2024 年に実際のシステムでこれを文書化しました。

事務総長の諮問機関「UN」は、普遍的な統治の青写真への初の試みである「人類のための統治AI」を作成した。

欧州評議会のAI枠組み条約（2024年9月署名）は、初の拘束力ある国際AI条約である。差別、透明性、民主的説明責任を扱うが、フロンティアAIによる実存的リスクについては何も触れていない。

AI安全への懸念に対する最も一般的な返答は「スイッチを切ればいい」だ。修正可能性とは、これが思ったより難しい理由であり、人工超知能の場合、キルスイッチがそもそも選択肢にならない理由である。

人工超知能ガバナンスは段階的に進めるべきか、それとも包括的な一つの条約を目指すべきか。各戦略には深刻な根拠と弱点があり、速度対十分性、実現可能性対整合性である。実際のトレードオフと、目的地を見失わずに両方を行うべき理由を以下に示す。

超知能に関する専門家の予測は大幅に短縮されています。一方、ガバナンス機関の準備はほとんど進んでいません。人工超知能が到来し得る時期と、私たちの安全対応が整う時期とのギャップを率直に評価します。

危険なAIについて世界に警告するのに最も適した人々は、ラボ内部の研究者たちですが、彼らはしばしば契約や株式によって沈黙を強いられています。内部告発者保護は傍論ではなく、検証の一形態であり、条約なしに今すぐ立法できるものです。

<<滅亡確率>> は、AI の安全性研究者が、高度な AI が人類に壊滅的な結果をもたらす可能性を表す非公式の用語です。

よくある話は、妨げられることのない進歩を望む大衆に対し、心配する少数の人々がAIの速度を遅らせたいというものだ。世論調査ではほぼ逆のことが示されており、国や党派を超えて大多数が警戒と規制を支持している。

この二つの用語はしばしば同じ意味で使われるが、同一ではない。AI倫理は、現在存在するAIシステムによって誰が害を被るかに焦点を当てる。AI安全は、能力が向上しても人間の制御下に留まるAIシステムを構築できるかどうかに焦点を当てる。時間軸も方法も統治手段も異なる。

AI が壊滅的な被害をもたらした場合、誰が責任を負いますか?それをどのように証明しますか?責任と帰属は、法的強制力のあるあらゆる条約の下にある地味な基盤であり、長い因果関係と不透明な動作を伴うテクノロジーにとっては非常に困難です。

AI安全における中心的な難問であるアライメント問題とは、極めて高性能なAIシステムが、人類にとって本当に有益な目標を追求するよう確実に仕向けるにはどうすればよいか、というものだ。開発段階でたまたま良く見えるだけの目標ではなく。本稿では、代理目標の罠、手段的収束、欺瞞的アライメント、そしてシステムの能力が上がるほど問題が深刻化する理由を解説する。

枠組み条約は、最初に体制の構造に合意し、後で議定書として厳密で拘束力のある詳細を交渉します。オゾン、気候、タバコの体制を構築しました。

人工汎用知能に関する専門家の予測は、常に後ろ倒しではなく前倒しで修正されてきた。研究者調査が示すこと、ラボCEOが公に述べていること、そして国際枠組みのためのガバナンスの窓が、ほとんどの人が思うより速く狭まっている理由。

条約は政府によって署名されますが、しばしば「認識論的コミュニティ」、つまりライバル国家が同意するための共通の理解を構築する専門家のネットワークによって可能になります。彼らの痕跡はオゾンと核体制にあります。

答えは 2 つの部分に分かれています。今日の AI は、アルゴリズムによるバイアス、ディープフェイク、大規模な偽情報など、すでに実害を引き起こしています。人工超知能は、まったく異なるカテゴリーのリスクをもたらします。

誰もがその用語を耳にしたことがある。実際に何を意味し、なぜこれまでのすべてのAI技術と根本的に異なるのかを知る人は少ない。このガイドは人工超知能を明確に説明する。それが何であり、人工汎用知能や今日の狭いAIとどう違うのか、専門家がいつ到来すると考えているのか、そしてそれがガバナンスの課題をどのように根本的に変えるのか。