数か月ごとに、別の研究機関や財団がアライメント研究のためのより多くの資金を発表します。ピッチは真剣です。私たちが私たちよりも賢いシステムを構築しようとしているのであれば、彼らが私たちが望むものを望んでいることを確認する必要があります。

アライメントの解決とは、この分野が関心を持つ極限において、構築に関わるすべての人間よりもはるかに知的なものを確実に制御することを意味します。計算機ではありません。タンパク質フォルダーでもありません。私たちを全方位で凌駕する一般的な心です。私たちはその目標にさえ名前を付けました：: 超知能.

不可能性は名前にあります。

その言葉がすでに認めていること

スーパーとは上記の意味です。知性とは、ツールを発明したり、抜け穴を見つけたり、弱い心との競争に勝つために使用されるものです。これらの試合で自分より優れたシステムを構築した場合、それを維持するために必要な正確なスキルにおいて自分よりも優れたシステムを構築したことになります。

人々は今でも、アライメントはシステムが気づく前に適用されるソフトウェアパッチだと語る。あなたは、いつか自分よりルールに長けるプレイヤーのためのルールを書こうとしている。いつか試験官より試験が上手くなる生徒を試験しようとしている。いつか職場・インセンティブ・あなたの盲点をあなたより理解するようになる従業員を監督しようとしている。

これを種の安全計画と呼んではなりません。地球上のすべての人間を合わせたよりも賢い存在（すべての AI 安全研究者の知性を合わせたものを含む）を調整することはできません。

彼らが実際に主張していること

私たちが好むと好まざるにかかわらず、能力は向上し続けます。 1 つの研究室が一方的に拒否したからといって、他の研究室が止まることはありません。この見解に基づく唯一の責任ある行動は、目標を特定し、欺瞞を検出し、システムを修正可能な状態に保つことをできる限りうまくこなして、危険なシステムが現れた場合にチャンスがあるようにすることです。その成果の一部はすでに今日のモデルに役立っています。それを無視するのは無謀です。

まだ検査して停止できるシステムの安全作業は、本物のエンジニアリングです。私は今日のモデルの助けから、文明に賭けるほど強力に超知性を調整できるという飛躍には賛成しません。飛躍は、制御が制御されるものに応じて拡大するという仮定を密輸します。歴史も常識も、どちらも逆方向に突き進みます。他のプレイヤーが賢ければ賢いほど、あなたの賢い計画は計画ではなくなり、パズルのように見えます。

制御には優位性が必要

私たちが知るすべての持続可能な制御関係は、何らかの優位性の上に成り立っている。物理的力、法的権限、他方が持たない情報、またはシステムをオフにする能力だ。超知能は定義上、これらの優位性を侵食する。もしあなたをあなた以上にモデル化できるなら、あなたのテストは演劇になる。もしあなたの監督チームより速く広く行動できるなら、あなたのキルスイッチは、自分たちに語り続ける物語にすぎず、ある日それが使えなくなるまで続く。

その主張は、人々が資金を注ぎ続ける最終状態を指しており、今日のモデルに関する有用な論文すべてを否定するものではない。 構造的な障壁が積み重なる: ：人間の価値観を完全に特定することはできず、本物の遵守と演技を確実に区別することもできず、評価者とシステムの間の知能格差はシステムが改善するにつれて拡大する。最後の障壁が展開直前に崩れることを期待するのは、期限付きの幻想であって科学ではない。

リモコンを持つ人々よりも製品の方が賢いなら、リモコンはそもそも問題ではなかった。

愚かさは診断

計画は真剣であっても愚かである可能性があります。後継種の構築競争が予定通り続く一方で、私たちは後継種をうまく進めるために希少な安全資金をつぎ込んでいます。それは、上流でダムがまだ破壊されている間に土嚢を積み上げることです。

賢い選択は地味なものです。制御できないものを造らないこと。タンパク質を折り畳み、スキャンを読み、気象を予測する狭いAIは、引き続き価値を提供できます。それらは道具のままです。超知能はより大きな道具ではなく、新たな主体の中心です。「整合させればいい」と言いながらラボが競争を続けることは、文化が不可逆の実験に自分を納得させていくやり方です。

代わりにそのお金で何をすべきか

人工超知能 への調整の山を、非創造を実現する作業に向けて動かします。条約の設計と検証、検査できるコンピューティング ガバナンス、目標を判読しやすくするための公開事例作成、議員が研究室の論点以外のことを聞くようにするための政治的圧力などです。スーパーインテリジェンスへの道の停止が確認された後は、厳格な管理の下で強力な AI の研究を続けることができます。

ピッチデッキが必要とする意味で超知性を調整することはできません。その理由はすでに言葉でわかりました。だから、私たちが建設するという幻想に資金を提供するのはやめて、建設しないという決定に資金を提供してください。