パワフルな人々がこれがどこに向かっているのかを話すと、2つのフレーズが現れ続けます。ジョー・ローガンは何年もの間、人間は繭を回転させてデジタルバタフライになる生物学的な毛虫のように見えると言ってきました。イーロン・マスクは、デジタル・スーパーインテリジェンスの生物学的ブートローダーとしての人類という、より冷たいイメージに戻り続けています。異なる絵、同じ主張：人類はスーパーインテリジェンスが始まることができるように、終了する段階です。

どちらも、ある種の心が私たちを置き換える何かを構築することで平和を作り出す方法です。置き換えが変態であれば、成長のように聞こえます。ブートローダーの場合は、エンジニアリングのように聞こえます。いずれにせよ、人間は一時的な段階になります。それは神学として答えるに値します。

各比喩が実際に示していること

蝶になったイモムシはイモムシとして生き続けるのではなく、幼虫の体が分解されて成虫が飛びます。ローガンがその写真に手を伸ばしたとき、放送中、そして長年の会話を通じて、彼は継承について説明しているのであって、道具箱の中に留まっている道具について説明しているのではありません。繭を作ります。何か別のものが出てきます。

Muskのバージョンはより正確で、ある意味ではより正直です。ブートローダーは小さなプログラムで、唯一の仕事は大規模なシステムを起動してから邪魔にならないようにすることです。オペレーティングシステムが実行されているときにブートローダーを嘆く人はいません。2014年、彼は私たちが「ただ」それだけではないことを願っていました。2020年代半ばまでに、彼はますます私たちがそうであるように見えるとより率直に言っていました。生垣が動き、イメージが残りました。

正常に動作するブートローダーの成功基準は、それがもはや必要とされなくなることだ。

これらの写真は、同じ業界のパブリックリスクナンバーの横に置いてください。AI研究者の大規模な調査では、文明的な賭けはもちろんのこと、多くの人々が1回の飛行には受け入れない範囲で、高度なAIによる人類の絶滅と同じくらい悪い結果になる可能性があると考えられています。ジェフリー・ヒントン氏は、個人的な推定値を10〜20 ％の範囲に設定しています。 何百人ものトップ研究者や研究室のリーダーが署名したAI安全センターの短い声明は、流行病や核戦争と並んで、AIによる絶滅のリスクをもたらした。比喩と確率は、2つの方向から同じことを言っています。1つは叙情的で、もう1つは定量的です。私たちが最後の主人公ではないかもしれません。

Metamorphosisは価値観の選択である

人間は過渡期にあるかもしれないということを受け入れたら、それについて勇敢に振る舞えるようになります。蝶はもっと美しいです。デジタルの心は肉体、病気、死から解放されます。芋虫の形にしがみつく私たちは何者でしょうか？会話は、予測から好みへと、スライドを認めることなくスライドしていきます。

この財団が存在するのは、欠陥があり、致命的で頑固な人間は、自分たちの条件で維持する価値があると私たちが考えているからです。幼虫の段階ではありません。よりクリーンな知性のための一時的な足場としてではありません。続けることができる人として。人生におけるまともなもののほとんどは、宇宙の運命の隣にある小さなものであり、私たちはとにかくそれを守ります。

穏やかな継承という見方には事実上の問題があります。蝶は芋虫と同じ系統で、ただ再構成されたものです。非整合の超知能は独自の目的を持つ最適化プロセスであって、ハードウェアを強化した孫ではありません。 道具的収束 憎悪は必要ない。目標と、その目標を守るのに十分な能力があればよい。私たちは、繭から出てくるものが、それを紡いだ種を愛しているという実証を持っていない。無関心を期待する理由は山ほどある。

そう言う人々がそれを構築し続けている

最も深刻な奇妙さは、比喩ではなく、その後の行動にあります。マスク氏は、AIが実存の危険をもたらす可能性があると繰り返し、そして鮮明に警告してきたが、 より早くフロンティアを開拓するために研究所を設立しました. ローガンのイメージは製品ロードマップというより、ムード、つまりこれは私たちより大きいかもしれないし、おそらくそれでいいという肩をすくめるようなものです。

どちらの姿勢も計画ではありません。ブートローダーは、使用されているかどうかについての投票を取得しません。毛虫は繭の条件を交渉しません。人間は今でもそうしています。スーパーインテリジェンスは人間には制御できません。私たちがそれを構築するかどうかは政治的な選択であり、かつては大気圏内の核実験を制限し、すべての人が最先端まで競争するのではなく、全クラスの兵器を禁止したのと同じ種類です。

スーパーインテリジェンスを構築しないでください

機械は現在製造中ですが、それが完成するかどうかは私たちには制御できません。それは危険です。私は、より強力な代替存在へのブートローダーとして機能する代わりに、いつか子供たちが生まれるのを目撃できるように生き続けたいと思っています。