私は、2026年時点の物理学より進んだ物理学が手に入れば、いつか重力を制御したり、ワームホールを開いたり、光速を超えたりできるかもしれないと思っている。現在の知識ではそれらは不可能だ。それでも、私たちの科学がまだごく初期段階であることは変わらない。これは科学の若さについての現実的な見方だ。

どれだけ時間をかけて考えても、どれだけ多くの人と話し合っても、私が決して理解できなかった未来の 1 つは、それです。それは、私たちよりも賢い存在に対する永続的な制御です。生物か機械か。この惑星か別の惑星から。もし他の心が人類よりも賢いとしたら、それをどのように制御するのか私にはわかりません。

スコアボード

回避しにくい形状になるように大まかな数字を付けます。全人類が力を合わせて働く知識とスキルの合計を 100 と呼びます。平均的な人はそのほんの一部を保持しています。

ここで、関係するすべての人間、研究室、政府が、無駄も遅延もなく、何らかの形で完璧に実行できると想像してください。 100 個すべてをテーブルに置きます。

相手側に高い上限を与えよう。その最大値を200とする。良い日でなくても構わない。51％の効率でも102をクリアする。半分眠った状態でも、完璧な人間の合計を上回る。

人間の戦争では、どちらかが決定的な勝利を収めるために、諜報、兵站、武器の点でわずかな優位性しか必要としないことがよくありました。薄いエッジは常に総合的な結果として終わります。では、近いライバルではなく、自分よりもはるかに賢い相手にどうやって勝つのでしょうか?

弱者が強者のために作った憲法は、強者を拘束するものではない。

物理は敵ではない

私がいつか重力を制御できるかもしれないと言うと、難しい問題が生むという一般的な信念を聞く人もいます。難しい問題もいくつかあります。力や物質はエージェントではありません。彼らはあなたのテストをモデル化したため、あなたの計画に基づいて計画を立てたり、戦略を隠したりしません。物理学を拡張するのは依然として難しいです。支配者たちを上回る思考力を統治することは、別の種類の困難である。

制御は、私たちが知るすべての持続可能な事例で、力、法律、秘密、電源スイッチ、あるいは相手が単に手を出せないという、ぎりぎりの条件で成り立っています。超知能とは、その条件を意図的に消し去るプロジェクトです。あなたは、やがて監督の仕方や抜け道の発見、プラグを抜く意図の察知であなたを上回るプレイヤーを監督しようとしているのです。

希望に満ちたバージョンを聞いてきました。私たちはそれとともに成長し、統合し、愛情を持って育てるか、確信が持てるまで箱の中に保管します。各バージョンでは依然として、弱い側が強い側に対して永続的な条件を設定すると想定しています。その願いは賞賛できますが、現実に基づいたものではありません。

なぜ財団が存在するのか

コントロールが見えない場合は、それを必要とするものを構築しないでください。ツールであり続ける狭いツールは、医学、科学、産業をより良くし続けることができます。その境界線は人工超知能です。つまり、全面的に私たちを上回り、もはや人間の指揮下に置かれない一般的な精神です。

中田財団を始めたのは、その一線が「種としての停止信号」ではなく「工学的なスケジュール」として扱われているからだ。研究室は競争し、政府は勝利について語る。安全対策の多くは目的地を前提とし、衝突を和らげようとする。問題は衝突そのものだ。 知能のギャップを越えてアライメントすることはできない あなたは存在を定義しました。

私たちは明るい未来に向かって存在し続けることができると信じています。そのための最初のステップは、私たちがコントロールできない存在を構築しないと集団的に決定することです。