人類は決して
超知能を構築する

2025 年、何百人もの科学者や著名人が短い公式声明に名を連ねます。この質問では、慎重なスケーリングが省略され、再開日による一時停止も省略されました。超情報活動が安全に実施できるという広範な科学的合意が得られ、国民の強力な賛同が得られるまでは、超情報活動を禁止するよう求めた。この呼びかけは短い声明であり、研究者や著名人の長いリストが署名した。

現在、少数の研究所で、人類が構築することを拒否すべき特定のものが訓練されています。それは、あらゆる領域で私たちを超え、その後、私たちが追いつくことができるレベルまで自らを改善する汎用機械知能です。速度を落としたり、慎重に建設したり、建設したり期待したりするのではなく、拒否してください。

人々はそれを聞いて、技術への恐怖から来ていると思う。実際はその逆だ。狭く制御可能なAIは人類が作った最高のもののひとつであり、私はもっともっと欲しいと思っている。線は普通の機械知能を通り過ぎ、一つの賭けで止まる。負ければ、負けたことを知る者すらいなくなる唯一の賭けだ。

率直に述べた一線

「AI」と呼ばれるものが2つあり、それらは種類が異なる。1つ目は狭いものだ。1種類のタスクをうまくこなすよう訓練されたシステムで、それ以外は何もしない。スキャンを読み、タンパク質を折り、嵐を予測する。目標を持たず、計画を立てず、言われればオフになる。2つ目はフロンティアラボが作っていると言うもので、人間の推論をすべてで一致させ、次に打ち負かし、最終的に自ら行動する一般的なエージェントだ。 人工超知能 はその第二の道の遠い先端です。私たちにとってのチンパンジー程度の位置に立つ心です。

この 2 つの境界線は、ツールを構築することと、ツールを多数構築することです。開発者に勝る自律的な一般精神を構築しないでください。システムは、一度実行すると確実に制御したり、修正したり、スイッチを切ることができないものです。

私たちが実際に望むものを指摘するよりも賢く心を保つための有効な方法はありません。実際に機能するものではなく、部分的なものでもなく、それをテストする人々をモデル化できるシステムとの接触から生き残る合理的なスケッチでさえありません。正直な読書は決してありません。

休止との区別は、それが聞こえるよりも重要です。一時停止には、再開日が組み込まれています。あなたは止まり、待ち、スケジュール通りに再開します。財団が求めるものには、履歴書の日付がありません。コントロールの問題を最も長く研究してきた人たちは 解決できない構造的な理由.

このリスクを他のすべてのリスクと異なるものにする3つのこと

我々は日常的に本物のリスクを引き受けている。爆弾を作り、エネルギーとして原子を分裂させ、遺伝子を組み換え、扱い方を学ぶ前に人々を殺す技術を解放してきた。超知能は、我々が自らの発明から生き延びるために通常用いる方法を破壊する。三つの性質が同時に揃うことで、それは独自のカテゴリに属する。

二度目の挑戦はない

人類が新しい危険に対処してきた方法は、試してみて、失敗を見て、直すことです。飛行機は墜落し、私たちはより安全な飛行機を造ることを学びました。原子炉はメルトダウンし、私たちはルールを書き換えました。この「失敗→修正→より良い設計」というループが、私たちが持つすべての安全記録の原動力です。このループが機能するのは、失敗が生存者を残し、彼らが修正できる場合だけです。人間の制御を逃れた超知能は、修正するはずの人々を排除する失敗です。苦労して得た教訓と第二稿は得られません。最初に深刻な失敗が起きたとき、それが最後になります。あなたがこれまで聞いたすべての安全の物語は、生存者によって書かれたものです。それが、私たちが信頼するすべての規制の背後にある静かな事実です。

押し返す

橋は何かを欲しがらない。病原体は広がるが計画はしない。能力ある汎用知能は異なる。どんな目標を与えても、電源を入れ続け資源を集めることは有用な下位目標になるからだ。研究者たちはこのパターンを 手段的収束. 世界をモデル化できるほど賢いシステムは、運用者がそれをシャットダウンできることをモデル化するだろう。それを、指示されたことを遂行する上での障害として正しく扱うだろう。我々を憎む必要はない。新しい高速道路の下にあるアリ塚を道路工事班が憎む必要がないのと同じだ。通常の安心材料（「ただプラグを抜けばいい」）は幻想だ。あなたが言及しているのは、まさにそれを予測し防止することにおいてあなたより優れているよう特別に作られたものを抜くことだ。

自分より制御が上手いように作った心を、自分が制御し続けることはできません。それを価値あるものにする特性こそが、それを制御不能にするものです。

それを構築する者は誰も回収しない

残りの私たちを脇に置き、最も冷淡で最も利己的な態度でこれに資金を提供している人物だけを想像してください。彼にとってさえ、賭けは失敗した。人間が運営する世界では、権力、所有権、指揮権はすべて指定されています。超知性体が人間の制御をすり抜けることは、まさに人間が運営する世界を終わらせる出来事です。株式はまだ金庫にあり、指揮系統はまだ紙に書かれています。もう彼らに従う人は誰も残っていないのです。だからこそ、私は大惨事が横にホッチキスで留められたジャックポットの構図を受け入れません。ジャックポットと大惨事は同じイベントです。人間が制御不能な超知性を構築し、その結果を享受するような木の枝はありません。

それを必要とすることはなかった

それを構築せよという主張は、餌とすり替えに基づいている。AIがもたらしうるあらゆる良いことを挙げた上で、それらを実現するには超人的な汎用エージェントしかないとほのめかす。実際のところ、そのほとんどはすでに、意志を持たない狭いシステムを通じて実現しつつある。AlphaFoldというモデルは、既知のほぼすべてのタンパク質の構造を予測し、2024年にノーベル賞を受賞した。狭いモデルは、専門医並みにマンモグラフィーを読み、物理シミュレーションより速く天気を予測し、数十万個の新電池材料を提案する。がん、クリーンエネルギー、老化関連疾患による1日10万人の死亡を終わらせること——これらは困難で具体的な問題であり、人々が目標を定めて強力な道具を向け続ければ、解決する。

そのどれもが後継種を必要としません。 良い未来 ツーリングの問題であり、私たちはそれを解決するために神を売られ続けています。神を拒絶することは、私たちに何の代償ももたらさず、すべてを救ってくれます。

競争全体を駆動する異議

「構わないさ」と彼らは言う。だが、私たちがやらなければ、より注意の薄い誰かがやるだろう。ライバルラボやライバル国がね。だからこそ、私たちが先頭に立つべきだ。

誰が試合を行うかということだ。それは危険をすべて認めた上で、他の誰かが先にレースをするかもしれないという理由でとにかくそこに向かって突っ走るのです。他の考えられない兵器についても同じロジックを実行すると、それがどれほど空虚であるかがわかります。敵が攻撃する可能性があるため、生物兵器を屋外でテストする必要があります。 「誰かが離反するかもしれない」に対する反応は、「だからみんなで離反しましょう」というものでは決してなかった。誰が見ても守られていることが分かるルールを書くことです。

ここでのルールは人々が思うより執行可能です。最先端システムの訓練には膨大で追跡可能な計算量が必要であり、それを提供する先進チップは少数の特定可能なメーカーからしか供給されません。これは監視・計数・上限設定が可能なサプライチェーンであり、だからこそ本格的な統治提案は今、計算量の閾値、ハードウェア追跡、検査を中心に据えています。これが競争からの出口であり、 私たちの計画: 自制を強制的なデフォルトとする検証と結果を伴う条約。種族は調整の失敗であり、自然法則ではありません。調整の失敗は人類が時々修正するようなものです。の それが避けられないと感じさせるダイナミクス それぞれの言葉で理解する価値があります。

我々は以前に線を引いたことがある

人類は作れるものは何でも作るという考えは、私たちが語る物語であって、これまで実際にやってきたことの記録ではありません。記録はもっと希望が持てるものです。

これらはどれも物理法則ではありません。間違うことの代償がリスクを冒すには高すぎると判断されたために行われた決定です。これらの制度のどれも完璧ではなく、どれも科学全体を止めようとしませんでした。それぞれがより狭く、より困難なことをしました。それは特定の、受け入れられないものの周りに線を引いて、それを不完全に、不均一に保持しましたが、最悪の場合が決して到来することはありませんでした。 1975年、アシロマールの生物学者でいっぱいの部屋で、彼ら自身の組換えDNA研究を見て、リスクの理解よりも速く動いていると判断し、セーフガードが存在するまで自発的にその一部を停止しました。国境に最も近い人々は、自制を求めた人々でした。その記録が示しているのは、安らぎを裏付けるものではありません。これは次のことを思い出させてくれます 実際に線が引かれている, そして、これよりもはるかに抽象的な危険の周りにそれらを描いたことがあります。

財団の設立時のコミットメント

人類は超知性を構築してはなりません。超知能は制御できません。

拒否権がカバーしていないのは、条約の交渉と批准です。国家は、個別のプロセスを通じて条約を交渉し、二国間または多国間で署名し、安全保障理事会の役割を持たずに国内の立法府を通じて批准します。中国は化学兵器禁止条約に拒否権を行使することはできない。ロシアは核不拡散条約に拒否権を行使することはできない。 2025年、何百人もの科学者や公的人物が、安全で強力な市民の支持を得ることができるという広範な科学的合意が得られるまで、スーパーインテリジェンスの禁止を全面的に求める声明に署名しました。テクノロジーを最もよく理解している人の割合が増えています。財団についての唯一の異常なことは、それが業界外からそれを言っているということです、そこでは給料は答えに依存しません。

人間のストーリーを終わらせる確率が10〜20 ％であることは、製品サイクルを短縮するために受け入れるリスクではありません。そのような確率で飛行機に乗ることはできません。あなたはあなたの子供を許さないでしょう。全員で乗船するよう求められています。その申し出に対する正解は「いいえ」です。それは、私たちがオープンに、そして私たちが他の人たちを保持してきた方法を保持している線です。

ツールを構築し、病気を治療し、狭い AI がすでに私たちにもたらしている良い未来を手に入れましょう。 私たちを超え、私たちに取って代わる自律的な精神がラインです。 待ってください。