公の場で AI の安全性に取り組んでいるほぼ全員が、「運命の人」と呼ばれています。ラベルは、引数が到着する前、確率やタイムライン、さらには「制御」が何を意味するかについての単語の前に到着します。リスクを高める人は、最初に「怯えている」「反未来的」「破滅的」というレッテルを貼られることが多い。ラベルを使用すると、議論をスキップできます。

加速主義側のいちばん効く手は、議論ではなく名前だ。

言葉の由来

2022年頃から2023年にかけて、AI安全論争は研究者内の内輪の会話ではなくなり、ソーシャルメディアに飛び出した。そこで議論は陣営化し、陣営には名前がついた。加速主義陣営(AIは可能な限り速く作るべきだと考える人々)は接尾辞「e/acc」をバッジとしてユーザー名に付け、反対側にも名前が必要になった。「Doomer」がそれで、通常「decel」(decelerationの略)と対で使われた。

同年10月にマーク・アンドリーセンが「テクノオプティミスト宣言」を発表したことで、雰囲気はさらに固まった。これは主張というよりは信条のようで、その項目の中には敵と呼ばれるもののリストが含まれており、その中には「実存的リスク」と「予防原則」が含まれており、強力なテクノロジーを大規模に展開する前にそれを理解しておきたいという単純な考えだ。懸念自体が「敵」の下で提起されると、それを保持する人々は日常的に使用するためのより短いラベルを必要とするだけです。 「ドゥーマー」が残りの作業を代わりに行いました。 加速主義者の場合.

ラベルが実際に果たす役割

ドゥーマーは性格であって主張ではない。それは議論を性格タイプに変え、性格タイプは答えられる必要はなく、診断されるだけだ。

安全側は、超知能システムによる大惨事の可能性は十分に高い(確実ではないが十分に高い)ため、システムを構築する前にこれらのシステムを制御する能力を構築する必要があると言っている。そのあらゆる部分をプッシュすることができます。その可能性は私たちが考えているよりも低い、タイムラインはより長い、「制御」は間違った枠組みである、ガバナンスは対処するリスクよりも害を及ぼすだろう、と主張することもできます。

「Doomer」という言葉はそれを飛ばす。この語はこう言っている。お前は明日を恐れるタイプの人間だ。お前の立場はムードであって命題ではない。そしてムードは反論を必要としない——これはレトリックにおける最も古い手口、つまり論点ではなく人物に対する論法を、新しい衣装で着せ替えたものだ。その巧妙さは、実際の意見の相違に一切触れなくて済む点にある。戦いの場を「これは本当か」から「どんな人間がそれを信じるのか」へ移し、加速主義者はすでに答えを決めている。

その言葉は議論を性格タイプに変え、性格タイプは答えられる必要がなく、診断されるだけでよい。

なぜそれが響くのか

そのラベルが機能するのは、人々が自分自身についてすでに信じたいと思っていることから作られているからだ。

まず明らかなことから。誰も悲観論者になりたくはありません。楽観は自信と意欲として読み取られ、慎重さは臆病や恐怖として読み取られます。選択を「作り手か終末論者か」と枠づければ、ほとんどの人はすでにどちらの椅子に座りたいか知っています。この枠組みは、事実が一つもテーブルに上がる前にすでに役割を果たしています。

It draws on a story America tells about itself.進捗は良好です。鉄道、印刷機、電灯を恐れた人々は間違いであり、歴史は彼らを愚か者として記憶しています。加速主義者はその話をすべて棚から外し、安全擁護者を将来恥をかくことになる恐れのある人々のリストの最新の名前として取り上げます。この動きは、超知能は印刷機であって新しいものではないということが今回もまた真実であると、何の議論もなく仮定することである。それが同じ物語であるかどうかがすべての問題であり、ラベルが存在するため、その質問は決して尋ねられません。

その言葉が向けられる相手

それが投げつけられる人々を並べると、風刺画は手の中で崩れ落ちる。

それはまた、アメリカが自らについて語る、より深い何かを描いている。進捗は良好です。鉄道、印刷機、電灯を恐れた人々は間違いであり、歴史は彼らを愚か者として記憶しています。加速主義者はその話をすべて棚から外し、安全擁護者を将来恥をかくことになる恐れのある人々のリストの最新の名前として取り上げます。この動きは、超知能は印刷機であって新しいものではないということが今回もまた真実であると、何の議論もなく仮定することである。それが同じ物語であるかどうかがすべての問題であり、ラベルが存在するため、その質問は決して尋ねられません。

この単語はまた、幅広いスペクトルを1つの点にまで平らにします。大惨事がほぼ確実だと思っている人と、数パーセントで保険に加入したいと思っている人との間には、預言者とアクチュアリーの間の距離という大きな距離があります。どちらも破滅者として提出される。 ラベルにはその違いが見えません。なぜなら、それは建てられたことがなかったからです。その仕事は、技術的で多様で、しばしば非常に控えめな一連のビューを1つの野生のカルトのように見せることです。 専門家の推定の範囲 ラベルが消去するように設計されているものです。

その兆候

安全性の問題に対する答えに自信を持っている運動には、それを問う人々にニックネームは必要ないだろう。

もし壊滅的なリスクが本当にゼロに近いのであれば、それは公然と擁護できる主張だ。推論を示してください。システムを構築した研究者が自分たちが構築したシステムについて間違っている理由を説明してください。を作る 場合 調整は簡単であることが判明したり、より優れた知性がより優れたケアを確実にもたらしたり、誰かが致命的な角を曲がる前に、研究室間の競争が何らかの形で自動的に修正されるなどです。

「ドゥーマー」という言葉は、本来あるべき議論の代わりに使われる。相手の主張を真正面から扱いたくないときに、レッテルに手を伸ばすのだ。相手に名前を付けるのは反論するより安上がりであり、距離を置けば、群衆にはどちらが勝ったか判別がつかなくなることが多い。

それにどう答えるか

その枠組みを拒否せよ。会話が「開発者対絶望論者」になった瞬間、本質はすでに部屋から出ている。話を具体的な水準に戻す質問を一つ投げかけろ。「壊滅的リスクにどの程度の確率を置いているのか、そしてなぜその数字なのか」と。ほとんど誰も、その言葉を武器として振り回すときには答えられない。なぜなら、その言葉はまさに答えを避けるためにあるからだ。その数字が実際にどのように作られるのかを知りたければ、私たちが作成した 滅亡確率 計算機 各部分を順に説明する。

次に、ラベルをクレームから剥がします。 「ドゥーマー」は、この特定のテクノロジーには特別な注意が必要な特定のリスクがあるという、通常ははるかに限定的ではるかに鈍い主張を、風刺画(進歩を嫌う憂鬱な悲観主義者)にホッチキスで留めている。それらを剥がします。の 善き未来のための論 この部分を正しく理解することに直結するのであり、それを回避することではない。

批判者に対して運動側ができる最強の手が、相手に不名誉な名前を貼ることなら、その運動にはリスクへの答えがない。私たちの主張 は次の一点にかかっている。超知能は元に戻せない。だからつくらない。