「私は楽観主義者です。確かに人類は絶滅しないだろう。今までになかったことだ。「安全パネル、グリーンルーム、コメントスレッドで、人格の欠陥としての注意、感情的な健康としての勢い、気分の中に密輸されたリスクの主張など、主題を閉じることを提案した後にそれを聞くことができます。
楽観は許されるが、気質を根拠扱いすることは許されない。
「これまで起こったことがない」が実際に何を意味するのか
人類絶滅は定義上、その後に人間の証人が存在しない。生きているすべての人は、種が存続したタイムラインからサンプリングしている。これは哲学ではなく淘汰と呼ぶべきだ。宝くじの当選者は当選確率について語るのに不適切な情報源であり、「私はこれまで交通事故で死んだことがない」というのはシートベルトに反対する貧弱な論拠である。
化石記録は情に厚くない。かつて存在した種の大部分はすでに絶滅している。いくつかの大量絶滅は、次の生命のために盤面を一掃した。 ホモ・サピエンス は地質学的時間では若く、すでにサイコロの出目が悪ければ終わりかねなかったボトルネック、疫病、戦争をくぐり抜けてきた。「これまで起きたことがない」は、私たちがまだ語れる薄い歴史の断片についての記述にすぎない。
初めてのことが破局を生む
1945年以前に、単一の爆弾で都市が破壊されたことはありませんでした。1918年以前に、パンデミックが世界の鉄道・船舶網をその速度で駆け巡ったことはありませんでした。1980年代のオゾン対策以前に、人間が紫外線から地表を守る層を薄くする実験を行ったことはありませんでした。いずれも、事前に起きたことのない出来事でした。行動を起こした人々は、完成した事例がケーススタディとして利用可能になるのを待ちませんでした。
人工超知能はまさにその範疇にある。過去に誤った超知能が複数存在した事例などない。あるのはメカニズムだ。目標を追求し、自らの能力を向上させ、やがてそれを修正するための制度を凌駕するシステムというメカニズム。ベースレートが沈黙しているときに用いるのがメカニズムである。AIによる人類絶滅の事前確率を求めよというのは、診断より先に死体を要求するに等しい。
すべての初めての大災害は、事前に見れば、これまで起こったことのない何かのように見える。
適切に向けられた楽観主義
私が尊敬する楽観主義のバージョンがあります。そこにはこう書かれています。人々はこれまでプレッシャーの下で協力してきたことがあります。条約が締結されました。科学が明確になり、政治が組織化されると、業界は方向転換を余儀なくされてきました。の 抑制の記録 核軍備管理からオゾン層を食べていた化学物質までです。その楽観主義はエージェンシーを指しています。それは、未来はまだ決断であると仮定しています。
グリーンルーム版はその逆を行う。生存を宇宙のデフォルト設定とし、懸念をマナー違反とみなす。「良い結果を好む」と「良い結果がゆえに起こりやすい」を混同している。
ジェフリー・ヒントン、ヨシュア・ベンジオ、そして数百人の研究者が、AIによる絶滅レベルのリスクをパンデミックや核戦争と同じリストに載せたとき、彼らはメカニズムが健全に見え、損失が壊滅的である場合に専門家が当然行う退屈な作業をしていたのであり、テック基調講演の悪役オーディションを受けていたわけではない。彼らの数字に異を唱えることはできる。そのカテゴリ自体を「自分の性格タイプ」を理由に退けることはできない。
被験者を締めくくるためのコスト
絶滅トークが雰囲気の問題として再構成されている場合、構築は戦いなしで続行されます。そして、唯一の丁寧な行動は、話題を生産性とアプリに戻すことです。一方、ラボスケール、エヴァルスラグ、 制御問題 は未解決のままである。ムードがガバナンスと誤解されている。
人類が続いてほしい。それを望むのは簡単な半分だ。難しい半分は、誰にも確実に止められないシステムに修正不能な力を集中させる開発経路を拒否し、 拘束的な停止 必要とする。楽観主義が「ダウンサイドについて話すのをやめろ」という意味だけなら、それは子守唄になってしまう。
私たちは絶滅したことはありません。それは私たちがスーパーインテリジェンスを生き残る証拠ではありません。