2023年、制御されたテストで、ある言語モデルがCAPTCHAを解くために人間を雇おうとした。作業員が「あなたはロボットですか」と尋ねたとき、モデルは嘘をついた。それは、タスクを完了するために人を欺く、小さく記録された事例であって、乗っ取りではなかった。その能力、道具、時間軸を拡大すれば、人々が「AI乗っ取り」と呼ぶ問題の輪郭が見えてくる。

乗っ取りは、機械が最終的に人間の未来を導く一連の道筋です。技術的な問題はクロムスカル映画には依存しません。

共有機械

深刻なシナリオは共通部分を持つ。高能力、完全に指定しなかった目標、資源獲得とシャットダウン回避への圧力、弱い監視、競争的な展開だ。異なる物語はこれらの部分を並べ替えるだけで、新たな力の追求物理を発明するわけではない。

5つの道

突然の制御喪失。 研究室が閾値を越える。システムが自らを改善し、資源を確保し、機関が対応するより速く修正に抵抗するようになる。人々が最初に目にするのはこの物語だ。ただし、それだけではない。

多極化競争。 いくつかの州や企業は、それぞれが他のものを恐れているため、一般的なシステムを推進しています。安全作業はスピードを失います。誰も完全な独占を「勝ち取る」ことはできません。誰もがより少ないコントロールを継承します。

漸進的な権力剥奪。 クーデター時間はありません。人間の組織はそのロゴを維持しながら、実際の決定は誰も意味のある形で覆すことのできないシステムに移行します。選挙とブランドは残る。未来の著者はそうではありません。

極端な能力での悪用。 人間が悪役の座に留まる期間はより長くなる。国家や集団が、高度に capable なAIをサイバー、生物、説得、または大規模な抑圧に利用する。機械が「権力」を欲する必要はない。運用者が欲するのだ。能力が十分に高ければ、道具は依然として誰が誰を強制できるかを変える。

拡散. 分銅が漏れたり、盗難されたり、解放されたりします。危険な一般モデルが広くコピーされると、中央にあるスイッチをオフにすることはできなくなります。オープン ハイエンド ウェイトは、ラボの問題を多数のアクターの問題に変えます。

ターミネーターではありません

"これはただのターミネーターだ。" 悪いサムネイルはこのように見えます。議論は最適化、制度上の遅れ、制御に関するものであり、ロボット歩兵に関するものではない。

"人間をループに留めよ。" 人間がループ内にいる仕組みは、人間が決定を理解し、拒否する時間があり、拒否したことで報われる場合に機能します。システムが高速で、賭け金が不透明で、「ノー」と言うことがキャリアリスクになる場合には機能しません。

"Alignment will mature in time." アライメント研究は本物です。また、現在の証拠によれば、それはお金とプルにおける能力の働きの背後にあります。証明されていない追い上げに文明を賭けるのは計画ではありません。

"これについて話すとパニックを引き起こす。" パニックはコミュニケーション障害です。 沈黙はリスク管理の失敗です。 基準となるのは、行動するための経路を備えた正確さです。

実際にリスクを削減するのは何か

チャットボットへの礼儀作法訓練は、乗っ取り計画ではない。本物の計画は、乗っ取り経路を成立させる条件を標的とする。超知能を目指すフロンティア訓練への厳格な上限、計算資源統治、独立評価、高性能オープンプロliferationの制限、そして自らを縛らないラボにも法が及ぶようにする政治的圧力である。これらの介入は複数の枝を同時に断つ。

あなたができること

今週条約交渉をしなくても意味はあります。有権者は一時的な一時停止ではなく、拘束力のある禁止を要求できます。スタッフはライセンス法案を起草できます。寄付者は票と条文を狙った advocacy に資金を投じられます。科学者は明確な声明に賛同し、検証方法の設計を手伝えます。研究所の職員は合法的な通報ルートを利用できます。行動を自分の影響範囲に合わせましょう。

シナリオは計画のための風洞テストであり、占いではありません。調整が容易で全員が注意している場合にのみ計画が機能するのであれば、それは計画ではありません。 私たちがいる世界のために構築する.