ここで簡単なテストを行います。現在利用可能な AI システムにあなたを密閉した部屋に閉じ込め、天井の HVAC を制御下に置き、そのシステムを毒ガスのタンクに配線し、バルブが開かないことを信頼しますか?もちろん違います。 100万ドルでもそんなことはしないだろう。自分の人生を取り消すことのできない単一のレバーを備えた機械を信頼することはできません。

今、部屋をスケールせよ

世界はもっと大きな部屋だ。操作するべきレバーは、エネルギー網、市場、兵器ネットワーク、バイオラボ、物流、そして日常生活の上にすでに乗っているソフトウェア層であって、映画の小道具のタンクではない。私たちは四半期ごとにレバーを引くのが上手くなるシステムを構築し、毎年より多くのレバーをソフトウェアにつなげている。

今日のモデルに一つの部屋のバルブ一つを任せられないなら、なぜ明日のモデルにすべてを任せるのか。通常の答えは曖昧だ。「もっとテストする」「人間をループに残す」「その頃には整っている」。どれも希望でしかない。小規模テストと大規模テストで答えが逆になる理由にはならない。

バルブを渡さないなら、世界を渡すな。

正直さのギャップ

こうしたシステムに携わる人々は、慎重な言葉で、ある能力水準を超えると制御を保証できないと認めることがある。それでも製品ロードマップは進む。内部での慎重さと公の展開との間のこのギャップこそ、問題の縮図だ。

シナリオが具体的になった時点ですでに持っている判断を維持していただきたいと思います。密室とガス栓を見れば、危険は明らかです。スーパーインテリジェンスは同じ形ですが、オッズが悪く、リセットボタンがありません。

このバルブを備えた現行モデルを信頼できますか?答えが「ノー」の場合は、文明を信頼するために投票したり、資金を提供したり、肩をすくめたりしないでください。一貫した答えは、あなたを生かし続けるものです。部屋に閉じ込められないようなシステムを構築しないでください。