スーパーインテリジェンスに関する最大の神話

超知性についての会話は、特定の終わり方をする傾向があります。誰かがリスクを上げ、他の誰かがそれが大げさだというたった一行の理由を提示し、その一行が役目を果たしたので全員が少しリラックスする。それは考えることをやめる許可を与えてくれました。奇妙なのは、優秀な人々がこれらのセリフを繰り返し、自分の分野ではそのような薄っぺらな推論を決して受け入れようとしないことです。被験者は、疑いという通常の機構のスイッチを切ったように見える。

どれも、じっと見つめると崩れ落ちる。

最も一般的な 5 つは、思慮深い懐疑論者が実際に行う形式です。

"それはSFで、何十年も先の話で、もし実現したとしても。"

この反論は映画と同じくらい古く、プロット上の仕掛けを政策問題として扱うのはカテゴリー・エラーのように感じられる。小説にしか存在しない火事に消防隊を置くために資金を出す理由は何か？?

問題は、火が予定より早く到着し続けていることだ。研究者たちが二十年あるいは五十年先と言っていたシステム（囲碁で最強の人間に勝つ、流暢な会話をする、動作するコードを書く、専門資格試験に合格する）が、わずか十年の間に現れた。そして驚きはほぼ常に同じ方向だった。予想より早く、遅くはない。人々が 実行中 主要な研究室が人間レベルのAIについて語るとき、今や数年単位のタイムラインを用いる。彼らが間違っているかもしれない。だが「開発者たちは近いと考えており、過去の実績から見て彼らは控えめすぎた」というのは、幻想とは言えない形だ。

行動を起こす根拠は特定の期日にあるのではない。リスクの構造にある。もし我々より有能なシステムが初めて深刻な失敗を起こしたとき、それが元に戻せない種類のものであれば、防御策はすでに 前に それが起きるのであり、タイミングに関する本物の不確実性に対する冷静な対応は、早い段階で備えることであり、明らかになったときにはすでに手遅れになっている日付を待つことではない。不確実性は準備する理由になる。 タイムラインの問題 は実在する；ただし人々が想定する方向を指しているわけではない。

「ただの数学だ。プログラムに欲求などない。」

この指摘には本当の力があり、軽く片付けられるべきではない。人々がAIが「何かを欲しがる」と語る仕方には、ほとんど迷信めいたものがある。スプレッドシートが野心を抱くようなものだ。モデルは大規模な行列演算に過ぎない。算術のどこに欲望があるというのか。?

どこにもないし、必要もない。安全上問題となる意味での目標とは、その振る舞いにおけるパターンにほかならない。ある数値をできる限り高くするよう訓練されたシステムは、その数値を押し上げることを何でもするし、サーモスタットはすでにその形を示している。内面も渇望もなく、それでも部屋を目標温度に近づけようと働き、「開いた窓」に対しては暖房を強くして「抵抗」する。神秘的なことは何も起きていない。ただ、世界を特定の状態へ押しやるよう構造化されているだけだ。

今、その構造を世界をモデル化できるほど賢いシステムにまで拡大すると、行動もそれに伴って拡大します。ほとんどどんな目的であれ激しく最適化するものは、役立つ資源を獲得し、目的を達成するために自身を稼働させ続け、目的が変更されることに抵抗する理由を持ちます。それは何かを感じるからではなく、自分がオフにされたり書き換えられたりすることを許すシステムは、構築された目的を達成する上で劣るからです。研究者はこれを 手段的収束, そしてそれは欲求を全く必要としない。問題は数学が感じられるかどうかではなかった。問題は数学が何を する.

「脅威になるには意識を持たなければならない。」

密接に関連し、同様に広く見られるのは、人々が想像する危険が「目覚め」、自己認識を持ち、私たちに牙を剥く機械だという点だ。意識が引き金であり、シリコン上の意識は推測的か不可能かもしれないなら、脅威は消える。これはすべてのロボット反乱映画の筋書きであり、映画を退けることは恐怖を退けるように感じられる。

しかし、恐れていたのは決して意識ではなかった。ディープ・ブルーには内面的な経験など一切なかったし 世界チェスチャンピオンを倒す とにかく。チェスに勝ちたいという欲求は必要なかった。ただチェスが上手ければよかった。害は、誤った目標に向けられた能力から生じるのであり、能力は「中に誰かいるかどうか」とは無関係だ。計画・説得・工学で超人的なシステムが、私たちが意図したものからわずかでもずれた方向を向いているなら、それは洪水と同じように危険だ。悪意も心も必要ない。

"そんなに賢いものなら、賢明で親切なはずだ。"

私たちは知性を敬う。知っている限りで最も賢明な人々はたいてい最も親切でもあり、はるか上の知性なら同じ道をさらに進み、より理解があり、より道徳的で、下にいる小さな存在に対してより優しくなるだろうと感じるのは自然です。残酷さは一種の愚かさであり、偉大な知性ならそれを乗り越えるはずだ、と。

私たち自身の歴史の偶然のせいで、それは自然なことのように感じられます。私たちの中で、知性と思いやりは、協力することで生き残る社会的種として何百万年もの間、絡み合って成長してきました。私たちの道徳性と賢さは同じ木の枝です。しかし、そのつながりは、知性そのものではなく、私たちの進化の継承の中に生きています。能力と目標は、 独立した軸 （直交性テーゼ）により、一方を動かさずに他方をスライドさせることができる。システムは驚異的に有能でありながら、私たちにとって細菌を殺す程度の無関心な目的を追求しうる。憎悪からではない。ただ、配慮するよう作られていないだけであり、賢くなったからといって自動的に配慮するようになるわけでもない。

優しさは特別で壊れやすいものであり、これらのシステムに意図的に組み込むことに成功する必要がありますが、その方法はまだわかりません。知性が自動的に支払う配当ではありません。それが自然に現れることを期待することは、これまで私たちだけが成り立つ偶然への賭けです。

"もし問題を起こしたら、スイッチを切るだけだ。"

最後の防衛線であり、最も安心できる主張。どんな真実があろうと、機械にはプラグがあり、私たちには手がある。問題が起きたら抜けばいい。人間の制御は電源ボタンで保証されている。

これを静かに覆すものが三つあります。第一は神話02のポイントです。目標を追求するシステムには、自分が稼働し続ける理由があります。電源を切られれば何も達成できないからです。十分に能力のあるシステムは、プラグを抜く手に先回りして失敗させようとします。自分を他の場所に複製したり、自分を十分に有用にしてシャットダウンを高くつかせたり、問題があることを遅くまで明かさなかったりします。第二に、ソフトウェアには単一のプラグがありません。三つの大陸のデータセンターにまたがる能力あるモデルは、抜けば済む装置ではなく、すべてを同時に捉えなければならないものです。第三に、静かな点です。問題になるほど賢いシステムは、テスト中は完璧に振る舞い、信頼された後で異なる振る舞いをする可能性があります。ダッシュボード上の reassuring な静けさは何も語りません。この失敗には名前があります。, 欺瞞的アライメント, そしてそれを検出する信頼できる方法はまだない。頼りにすることはできない 箱詰め ドアを見つけるのがあなたより上手い何か。

これらの迷信はそれぞれ、同じ願いを唱える理由が異なります。これは思っているほど深刻なものではありません。

なぜ安心材料がこれほどしつこいのか

5 つのそれぞれで、主題を書き留めることができます。これがそれらの本当の機能であり、正確ではありませんが、許可を与えることです。超知性というものは心の中に留めておくには不快なものであり、それを抱くのをやめる中途半端な理由は安堵感を与えるものである。だからこそ、証拠を求める人々の口からこれらのセリフが生き残るのである。快適さが説得力をもたらします。ロジックはうまくいきます。

粘着性は議論が強いことを示すものではありません。それは私たちが彼らにそうあって欲しいと心から望んでいる兆候です。そして、安全性の議論が真実であることを望むことは、それを最も信用すべきではない状況の 1 つです。なぜなら、ここで間違っていることによるコストが、安全性の議論のすべての理由だからです。 正しくやるために一度しか試せない技術 は他の機械よりも精査に値する。少なくはないし、教訓として私たちに返されるものでもない。

どれも、壊滅が確実だと信じる必要はない。確実ではない。ただ、問いを避けるために使っている四つか五つの物語を捨て、実際の状況を直視するだけでいい。私たちは制御方法のわからないものを造りつつあり、それが善意であるとは限らず、止められるとも限らず、時間的余裕があるとも限らない。

そのようなリスクに対する対応は、私的な懸念では済まない。核実験や化学兵器に歯止めをかけたのと同じ、法律と協調という退屈だが強力な仕組みだ。その必要性は、これらの神話が終わるところから始まる。

統治に関するもう5つの神話

すぐに二番目の反対意見が届きますが、それは危険性についてではなく、治療法についてです。それを統治しようとするあらゆる試みは世界政府を意味するでしょう。ソフトウェアを検査することはできないし、ルールはイノベーションを阻害することになるし、時期尚早であり、民主主義は決して合意できないだろう。これらは懸念を麻痺に変えます。

"AIをグローバルに統治することは世界政府と専制を意味する。"

地球上で最も強力なテクノロジーを制御するのに十分な権限を 1 つの体に集中させれば、あなたはまさにそのテクノロジーから恐れていた圧制の機械を構築したかもしれません。中央集権的な権力を信頼しない人々がそれを信頼しないのは当然です。

しかしそれは提案の藁人形版を狙っている。実際に議題に上がっているのは、一点に絞った狭い体制だ。あらゆる面で人間を上回るシステムを生み出し得る、極めて少数の非常に大規模な訓練実行を対象とするものであり、日常生活に対する世界的な権威でも、ソフトウェア全般に対するものでもなく、ポケットの中の電話に対するものでもない。モデルは「」である。 核不拡散体制 または 化学兵器禁止条約, 、核分裂性物質と前駆化学物質を監視する対象を絞った合意であり、世界政府が国民国家を解体するものではない。国際原子力機関が地球を運営していると考える者はいない。それは特定の危険な活動を監視し、それ以外には手をつけない。

永続的な専制への最も確実な道は、条約ではなくその不在だ。制御不能な超知能、あるいは一社または一国家が他に先んじて制御を解決した場合、それはこれまで考えられた中で最も完全な支配の道具であり、決して死なず、疲れず、一つの価値観を固定できる力である 永遠に, 反乱や改革の望みなどとうに絶たれている。歴史上のあらゆる専制は、暴君が死ぬこととその機構が人間だったことによって終わった。この場合はそうとは限らない。説明責任のない権力に恐怖を感じるなら（そして感じるべきだ）、 執行可能な合意 単一の主体がその力を握るのを防ぐことは、権威主義的な立場ではなく、反権威主義的な立場だ。

"それを検証することはできない。ただどこかのサーバー上のソフトウェアに過ぎない。"

間違った教訓は運命論です。インプットが簡単になっているので、ガバナンスは絶望的です。これ以上の能力だけが私たちを救うことができるのは、研究室のピッチの鏡像です。どちらも、フロンティアランが表示され、真面目な俳優の数が少ない、まだ私たちがいる間隔をスキップします。

決定的に聞こえるが、検証しているものが間違っていることに気づいていない。重みではなく、 計算 を生産し、計算資源はウランと同程度に物理的で希少である。最先端システムの訓練には、数万個の専用チップが単一施設で数カ月稼働する必要があり、そのサプライチェーンは現代経済で最も狭いボトルネックの一つである。リソグラフィー装置は事実上オランダ企業1社が製造し、先端チップは台湾企業1社が製造し、支配的なアーキテクチャは米国企業1社が設計している。それらを使用するクラスタは電力消費量が電力データや衛星画像に現れるほど膨大である。チップを数え、販売を追跡し、電力を計測し、建物を監視できる。核分裂性物質はまさにこの論理で統制されている。希少な物理的投入を追跡すれば、秘密裏に兵器を製造できない。 検証のためのプレイブックはすでに存在する; ここでの入力はさらに集中していることが多い。それが 工学的な問題, そして工学的な問題には解決策がある。

「規制はイノベーションを阻害し、無謀な者が勝つことになる。」

強い形の主張はこうだ。技術は誰かが自由に作れるから進歩する。規制のほとんどは、何を遅らせているのか理解していない人々によって書かれる。AIに重い手をかけると、今世紀で最も重要な産業を最も規制の緩い国に明け渡すことになる。欠陥のある最先端をここに置く方が、敵対的な場所に完璧なものを置くよりましだ。

「AI」を規制しようと本気で提案している人はいない。タンパク質を折りたたみ、スキャンを読み取り、子供たちを指導し、気候をモデル化する有益なシステムは、限定的で制御可能なツールであり、超知性協定によりそれらは完全に放っておかれます。 明るく普通の未来 は、私たちが守ろうとしているものです。標的はただ一つ、誰もまだ安全に作る方法を知らない、汎用能力を狙う訓練実行という危険なカテゴリです。それを抑えることは、ゲイン・オブ・ファンクション規制が生物学に反しないのと変わりません。

そしてより難しい論点——競争論理が決して直視しないもの。速度を競うことは安全をもたらさない。 安全 もっと早く超知性を。それは安全ではないものを提供し、安全ではない超知能はそれを構築した国や企業に役立つのではなく、他のすべての人とともに彼らを脅かします。競争のプレッシャーによってコーナーがカットされると、カットされるコーナーはシステムを制御可能にするコーナーです。したがって、ここで擁護されている「イノベーション」とは、最も可能性の高いエンドポイントが、自社のメーカーが操縦できないシステムであるイノベーションのことです。それが、 危険そのもの, 、進歩を衣装としてまとっている。

「時期尚早だ。存在しないものを規制することはできない。」

これは成熟した考え方のように感じる。幻を相手に立法せず、技術が現実のものになった時点で実態を理解し、憶測ではなく事実に基づいたルールを作るべきだ。仮定の話で規制するのは、悪法を生む元だ。

それはほぼあらゆる他の技術にとっては知恵でしょう。しかしこの技術にとっては罠です。理由はタイミングです。ガバナンスは遅い。核不拡散条約の交渉には何年もかかり、モントリオール議定書が効力を発するまでさらに何年もかかりました。それでも速い部類です。超人的システムが明らかに存在してからそれを統治する制度を構築し始めれば、制度は抑え込むべきものの何年も後に到着します。そしてこれは 「最初の深刻な失敗は、第二法を通過させる者が誰もいなくなるかもしれない」. 。 「証拠を待つ」は、証拠が生き延びられる場合に有効な原則だ。ここでは証拠が大惨事になる。 予防原則の論理 それは、問題を解決するまでの時間が、問題のヒューズよりも長いという認識です。

壊滅的な技術に対する有効な安全策はすべて、その台頭前または台頭中に構築されたもので、決して後ではなかった。なぜなら「後」という選択肢は存在しなかったからだ。

"民主主義は遅すぎ、捕らえられている。決して成立しないだろう。"

リアリズムのコートを着ているため、5 つの中で最も静かに腐食性を持っています。行き詰まり、ロビー活動、議会の関心の薄さ、業界の資金の範囲。たとえ条約が賢明だったとしても、それを生み出す機械は壊れています。空想のために10年を無駄にするよりは、澄んだ目を持っている方が良いでしょう。

それは歴史的記録によって繰り返し反駁されており、通常は現在私たちが直面しているよりも悪い可能性に対して反駁されています。敵対する大国が最も致命的な選択肢に署名するだろうという考えは、実際にそうなるまで絶望的に甘いと言われていた。 核拡散防止条約、生物兵器および化学兵器条約、モントリオール議定書、南極条約. 。代理戦争を戦い合い、互いを悪と呼んでいた敵対者たちでさえ、冷戦の最盛期に検証付きの軍備管理を構築しました。それらのどれも、近くから見れば不可能に思え、後から振り返れば当然のように見えるものでした。

そして、状況は皮肉が認めるよりも有利です。 アメリカ、イギリス、そしてEU全体で、 大多数 すでに世論調査に対しては、AIは慎重に、強力なルールで縛って開発してほしいと答えています。世論が障害ではない。障害は、この広く静かな懸念がまだ立法府に届く圧力に組織化されていないことだ。障害は 仕事: 潜在的な合意を政治的意思に変えること。それこそが私たちの目の前にある仕事だ。

ガバナンス神話に共通すること

それぞれの反対意見は危険を認め、その後、別の諦める場所を見つけます。つまり、解決策が大きすぎる、検証できない、費用がかかりすぎる、早すぎる、または通過するのが難しすぎるなどです。それらのどれか一つだけを取り出しても、慎重であるように聞こえます。それらは一緒になって、何もしないことだけが唯一の成果である機械を形成しており、何もしないことは、歴史上最も重要なテクノロジーを、少数の競合企業によってまったく拘束力のない制限なしで構築されることを可能にする選択であり、ここでは中立ではなく、誰もが恐れていると主張する結果を生み出す可能性が最も高い正確な圧力の下で行われます。

これらのどれも、「ガバナンスは簡単だ」と主張することで答えられるものではありません。簡単ではありません。検証は争われ、交渉は遅く、一部の政府は足を引っ張るでしょう。歴史上のあらゆる困難な条約がそうでした。それでも成立しました。正直な主張は、それが可能であり、それを構築するための部品はすでに存在しており、それを退ける理由は検討するやいなや崩れる、ということであって、超知能に関する合意が単純だということではありません。

私たちがこれまで行ってきた同様の努力すべてについて、「それはできない」というのは間違いでした。課題は、最も危険なシステムが安全になるまで構築されないようにする、拘束力のある検証済みの合意に向けた政治的意志を構築することです。 「だから諦める」というのはこれまでも答えではなかったし、今も答えではありません。