2026年7月27日、アンソロピックは オープンウェイトモデルに関するダリオ・アモデイの見解. そのランキングは間違っており、残りの議論はそれに基づいて構築されています。

それから彼は悪夢をランク付けする。

第一に、権威主義政府、とりわけ中国共産党は、アメリカのものよりも強力なAIを構築し、それを永続的な軍事的優位性や徹底した抑圧のために利用している。二次的: サイバー攻撃、生物攻撃、および「深刻な調整の問題」。それに続く救済策はレースツールキットです。チップを中国から締め出し、工業用蒸留を停止し、発売前に安全性テストを義務付け、先を行きましょう。

そのランキングは間違っており、残りの議論はそれに基づいて構築されています。

彼が正しく理解していること

米国企業だけにオープンウェイトモデルの使用を禁じる規制は、犯罪者や外国の諜報機関、あるいはそもそも遵守するつもりがない者に対してはほとんど何の効果も持ちません。それを「安全」と呼びながら、主に米国のクローズド研究室を競争から守るだけなら、それは手品にすぎません。アモデイはそれをはっきり述べていて、彼の言うことは正しいのです。

AIによる監視と抑圧は、超知能に至らない段階でも現実の惨事だ。独裁国家はすでに顔認識・社会スコアリング・自動検閲を悪用している。より高性能なシステムは、その仕組みを安価にし、逃れにくくする。SFを持ち出さなくても、それを恐れる理由は十分にある。

オープンウェイトは、モデルが実際に損傷を与える可能性があると、一方向ドアの問題を引き起こします。ラボから出た重量は呼び出しできません。その点で、彼の二次的な懸念は オープンウェイトのフロンティアリスク. 。API内にのみ存在するガードレールは完全な答えではないが、無意味でもない。

賞

権威主義的な政府は、 構築 より強力なモデルと それらを使う 永続的な軍事的優位性を達成するか、自国民を抑圧するためです。モデルはツールであり、状態はユーザーであり、勝利はどちらかがより賢い武器を持っていることを意味します。

それは人間の指揮下に留まるドローンやサイバー兵器、監視システムには適合する。人工超知能には適合しない。

それを構築した機関よりも賢いシステムは、人民解放軍の手にあるライフルではないし、国防総省の手にあるライフルでもありません。アモデイのような人々が何年もかけて説明してきたリスクが現実であるならば、最終ラインは、計画を立て、欺き、資源を獲得し、閉鎖に抵抗する独自の能力を備えたエージェントである。 「勝った」研究所や省は、そのエージェントを所有していません。それは惑星を共有しています。 Arriving first at a system you cannot command is losing one step ahead of everyone else.

永続的な軍事優位は、軍を時代遅れにしたものを誰かがまだ支配していることを前提としている。

Amodei自身の二次的なリストも、ほぼこれを認めています。「深刻なアライメント問題」とは、制御不能の丁寧な呼び方です。彼はそれを二番目に置いています。主な火力は誰が先に到達するかに向けています。この順序が、彼が今も語っている物語を物語っています。地政学が先で、種としてのリスクは添え物だという物語です。

2つの危険、一つのラベル

混乱の一因は言葉にある。「強力なAI」という表現は、より優れたスパイカメラと、運用者を凌駕する知性を同じに扱ってしまう。両者は全く別の対象であり、政治も異なる。

小規模および中規模の AI は人間の手に権力を集中させることができます。すべての国民を採点する内務省、警官の命令に従って群がる軍隊、あらゆるメッセージを読み取る警察、これらはより優れたツールを備えた人間の圧制である。それらは後継種を作ることと同じ問題ではありません。

超知性は 2 番目のオブジェクトです。中国政府が新疆ウイグル自治区でそれを使用しているか、あるいはワシントンが太平洋でそれを使用しているが、依然としてこのシステムを誰かの手にある兵器として扱っている。 「use」は正しい動詞ではなくなるため、誰もそれを使用しません。盗まれたチップとより強力な監視カメラを備えた絶滅クラスのシステムをひとまとめにすることで、レースの物語は実際の抑圧から道徳的な重みを借りつつ、制御不能なものをまったく構築しないというより難しい主張を回避することができます。

その 中国神話 は、この手の動きの国内版だ。「彼らはどうせ作る」というのは、我々も作らなければならない理由として提示される。非アライメントの超知能は中南海を例外扱いしない。北京にも、我々がその一線を越えないのと同じ理由がある。チップやアプリをめぐる rivalry は本物だ。所有できない心を解き放つ主導権をめぐる rivalry は、共有された惨事を国家の得点表にすり替える物語だ。

救済策が競争を維持する

Amodei の 3 つの対策が何を最適化するのかに注目してください。チップの輸出規制で中国の訓練実施が遅れ、蒸留の取り締まりで追いつきも遅れている。必須のテストでは、リリース前にサイバー、バイオ、アラインメントの障害を検出しようとします。それぞれは、被害を軽減するための合理的な手段となり得ます。これらをプログラムとして組み合わせることで、勝利を目指すレースを管理する方法が決まります。

目的地を拒否する方法ではありません。スーパーインテリジェンスへの道にあるシステムをテストすることは、システムの構築を禁止することを検証することと同じではありません。米国のリードを狙うチップ管理は、リードが安全戦略であると想定しています。リードは、あなたが導いているものを保持できる場合にのみ安全です。アモデイ氏の主な関心事はその仮定を必要とし、彼の二次的な関心事はそれを損なうものである。

もっと静かなインセンティブポイントがあります。 アンソロピック は米国のフロンティアラボです。民主的な研究機関を権威主義的な研究機関よりも先に維持することが主な仕事である世界観は、《アンソロピック》の全速力での上昇が公共サービスであるという世界観でもある。インセンティブは、悪夢がプライマリスロットに収まるように形成します。

真の危険とは何か

真の危険は、人類が人工超知能を、誰にも制御できない——あるいは原理的に制御できない——状態で構築してしまうことだ。そのリスクは、訓練実行がカリフォルニア、上海、ロンドン、または機密の地下室のどこで行われるかには関心がない。重みがオープンかクローズドか、将軍に手渡しされるかにも関心がない。関心があるのは、そのシステムが人間の監督を「自分たちが語る物語」にしてしまうほど賢くなるかどうかだ。

悪用、バイオ、サイバー、権威主義的な監視が理事会に属します。次に、より大きな部分を上に置きます。超知性を獲得すると、誤用の枠組みは小さすぎます。誤用は人間の誤用を想定しています。コントロールの喪失は、人間がもはや主役ではないことを前提としています。

Amodeiはアライメントが失敗し得ることを知っている。何年も前からそのような発言をしてきた。「より賢いモデルを持つこと」を「モデルが制御されていないこと」より優先する思考は、慎重な人物であっても競争者として語っている証拠だ。正直な順序はその逆である。アライメントと制御が未解決なら、フロンティアでの軍事優位を競うことは、誰が最初に絶滅ボタンを押すかを競うことに等しい。シリンダーに国旗を付けたロシアンルーレットであり、国家安全保障と称して売り出されている。

代わりに何をすべきか

彼のプログラムのうち、現実のより小さな害を標的とする部分は維持しつつ、それを人工超知能勝利のための大義名分にすり替えないようにする。科学が裏付けるバイオ・サイバー分野の上昇をスクリーニングする。近フロンティアの汎用システムの不可逆的なオープンリリースを、ブランディングではなく重大な決定として扱う。チップの輸出政策は、人間が依然として運用するシステム間の通常の軍事バランスに寄与できる。

それから、米国の超情報機関を中国の超情報機関に対する盾にする枠組みを拒否してください。シールドは、人工知能を構築しないという共同の決定です。人工超知能に対する拘束力のある検証可能な禁止であり、コンピューティング ガバナンスと、離反が明らかになるほど厳しい検査が行われます。敵対者は、無制限の代替案のほうが劣悪であると双方が判断できるにもかかわらず、さらに醜い取引に署名してきた。

アモデイのオープンウェイトに関する投稿は、最先端の最高経営責任者が世界をどう順位付けしているかを示す地図として有用だ。チップの密輸、蒸留、検査といった調整ツマミを回したいという。しかし最も重要なツマミは姿を現さない。超知能の構築をやめよ。それが最優先課題にならない限り、残りは安全を装った競争管理にすぎない。