G 0と人工超知能は、同義語、ブランド名、またはSFムード照明のように使用されます。この違いは、制御問題と政策ツールが梯子を登るにつれて変化し、ラボが規制の危険性から遠く離れている間、資金調達のために「G 0」に近い音を出すインセンティブがあるため、重要です。

平易な定義

Narrow AI は限定された仕事のために作られている：動画の推薦、タンパク質の折り畳み、腫瘍の発見。それが優れていても、一般的なエージェントではない。

人工汎用知能 （artificial general intelligence）とは、複数のタスクにわたる幅広く柔軟な能力を、人間並みの水準で持ち、単にプロンプトに答えるだけでなく目標を追求できる程度の主体性を備えたものを指す。定義は様々だが、肝心なのは汎用性と実用的な自律性である。

人工超知能 （artificial superintelligence）とは、科学、戦略、権力に関してほぼすべての重要な領域で人間を大幅に上回る認知能力を意味する。「人工汎用知能に10パーセントを足したもの」ではない。誰が誰を計画で上回れるかという質的な断絶だ。

はしごであって、2つの箱ではない

rung で考えましょう。現在の最先端モデルは幅広いがムラがあり、人間による足場が大きく、急速に改善しています。エージェント型スタック（ツール、記憶、計画ループ）は、チャットボックスが示唆するよりもはるかに自律的に基盤モデルを動作させることができます。人工汎用知能クラスのエージェンシーは、すでに不整合であれば深刻な制御・社会問題となります。人工超知能は決定的優位です。より速い科学、より優れた戦略、人間のバイアスのより巧みな利用、より困難な停止です。

領域特化の超知能はもはや目新しい話ではない。チェスやタンパク質折り畳みで人間を圧倒しても、それは狭い知能に過ぎない。複数領域にまたがる戦略的超知能こそ、このサイトが阻止しようとしている段階だ。

なぜ「人工汎用知能で止める」というのは不安定なのか

仮に研究室が制御可能な人間レベルの汎用システムに到達したとしても、さらに推し進める圧力は消えない。軍事的優位、商業的優位、名声——すべてがさらに上を指す。競争のダイナミクスは最も慎重でない動きをする者を優遇する。 レースの話 は速度を正当化するためによく使われるが、制御を正当化するものではない。

マーケティング抜きの測定

ベンチマークは落ち、プレスリリースは上がる。危険能力評価は、制御された条件下でサイバー攻撃、生物支援、自律複製、説得などを測定しようとする。役には立つが、特にシステムが サンドバッグ. 政策はコンピュート、能力テスト、自律性に基づくべきで、企業が製品と呼ぶものに基づくべきではない。

時間を無駄にする神話

人工汎用知能はロボットの身体を必要としない。遠隔ツールと既存の機械で物理世界は動かせる。意識は能力や制御とは別の問題だ。「人間レベル」は一つの数字ではない。平均的な個人、専門家のチーム、人類の制度的な最善はそれぞれ異なる基準だ。安全に関わる人工汎用知能とは、実際のインセンティブ下での汎用的な問題解決エージェンシーであり、単一の試験スコアではない。

法律に何が持ち込まれるのか

法令が「人工汎用知能」または「人工超知能」と名付けられたシステムだけを規制すれば、企業は名前を変えるでしょう。良いトリガーは運用面のものです。訓練実行の規模、ツールの自律性、危険能力の評価結果、高性能汎用モデルの重み公開などです。ツール的な狭いAIは引き続き許容されるべきです。当財団が引く線は、人工超知能とそれを目指すプログラムです。

1分で言う方法

狭いAI ：ツール。G 0 ：人間レベルの一般機関。自律的で整列していない場合、すでに深刻な制御問題です。人工超知能 ：全般的に私たちを上回る機械認知。私たちは道具を保持することができ、主権者の心を築くべきではありません。スーパーインテリジェンスは制御できません。