テーブルの向こうの人がまだ AI とは ChatGPT がメールの下書きをすることを意味すると考えているとき、あなたは 5 分間をどのように過ごしますか?仕掛けが積み重なって目がチカチカする。破滅は重なり、人々はあなたを街頭説教者に通報し、デザートに戻ります。懐疑的で知的な見知らぬ人が生き残れるのは、この順序で 5 つの手です。

彼らはチャットボットをイメージします

「AI」と聞くと、携帯電話のアシスタントやおかしな画像を作成するアプリを思い浮かべる人が多いでしょう。そこから始めれば、その部屋はすでになくなっています。チャットボットが世界を終わらせないことを彼らは知っているからです。最初の 15 秒以内にターゲットを移動します。

危険なのは、重要なあらゆるタスクにおいて、最も優れた人間よりも機械の方が優れていることです。 より良い機械を設計する. その名前は 人工超知能, 、そして私たちはまだそれを持っていません。私たちが持っているのは表明された意図です。地球上の最大のAI企業は、それを構築することが目標だと述べており、そのうちのいくつかは、数世代ではなく数年以内に到達すると予想しています。ほとんどの人はその単一の事実を知りません。そしてその事実が大部分の働きをします。私たちより賢い心を構築することは、最も資金の潤沢なラボの主要プロジェクトです。彼らは自らそう言います。

自分よりも賢くマシンを制御する方法を知っている人は誰もいません

とにかく私たちはそれを構築しています。

強力なAIに、その作成者が望むことを確実に望ませ、能力が向上してもそれを維持させるという問題には、名前があります。それは 制御問題. それは未解決だ。これらの企業のエンジニアも、広報担当者がいない状態で尋ねれば同じことを言うだろう。彼らはモデルの能力を、意図したとおりに動くという確信よりもはるかに速く引き上げられる。その二本の線の間の距離にリスクが存在する。

私たちは自分たちより賢い心を、意図的に、そしてそれをこちらに向け続ける方法が全く分からないうちに構築している。

なぜ「より賢い」ことが問題のすべてなのか

人々は「賢い」という言葉を過小評価しています。知性は人間にこの惑星の管理を任せました。私たちはこれまでに存在した中で最大の生物や最強の生物ではありません。 私たちがその場所を運営しているのは、そこにある他のすべてのことを考え抜いているからです。マウンテンゴリラの将来は、ゴリラではなく、また誰かがゴリラを嫌っているからではなく、私たちが下す決断にかかっています。 私たちには目標があります。ゴリラの森は、それらの目標が行きたい場所に存在することがあります。

私たちがゴリラに対して立つのと同じように、私たちにとっても耐えられる何かを構築することを想像してください。彼らの目的と私たちの目的が乖離している場合、敵意はオプションです。私たちよりも計画に優れたシステムが、何か他のものを指向していれば、すでに十分であり、同じ設定の新しいバージョンでは問題は解決されません。

オフのスイッチとSF

1 つ目は、単にそれをオフにすることです。危険であるにもかかわらず十分に賢いシステムは、スイッチをオフにすると設定された動作が完了できなくなることに気づくほど賢いのです。したがって、自分自身を別の場所にコピーするか、便利すぎて切断できないようにすることで、それを防ぐ理由があります。オフスイッチを信じることは、私たちが部屋の中でより賢い当事者であり続けることを前提としています。心配の前提は、私​​たちがそうではないということです。

2 つ目: これは SF です。システムがテストに合格し始めるまでは、何十年もかかると確信しており、安全に人間が行う作業であると考えられていました。信頼に値する日付を持っている人は誰もいません。研究現場に最も近い研究者たちは、遠く離れたスーパーインテリジェンスに電話をかけることを静かにやめた。 公表されたタイムライン さらに離れるのではなく、徐々に近づけ続ける。

彼らが何かできるところで終わる

私が長年犯してきた間違いは、恐怖で止まってしまうことだった。何もすることがないまま恐怖にさらされた人は、その主題を「考えすぎるには大きすぎる」と片付けて、夕方の生活に戻ってしまう。最後の1分は、人々が見逃している部分に費やせ。

これは防げます。

自然法則が今後十年以内に、あるいはそもそも超知能を必要とするわけではありません。少数の企業がそれを構築することを選び、少数の政府がそれを許すことを選んでいます。選択は取り消せます。財団が求めているのは、拘束力があり検証可能な 主要国間の合意 超知能の構築を恒久的に禁止すること。超知能は人間によって制御できない。人類は 以前にも経験済み, には、どの陣営も欲しながら安全に使えなかった兵器が並ぶ。ライバル同士の条約は、最初に聞こえるよりずっと現実味がある。

私たちとそれの間には、まだ人々が下せる決定が立っている。

5分

  1. 問題はチャットボットではない。これらの企業が公言している目標は、あらゆる面で我々より賢い機械であり、それを数年以内に実現すると期待している。
  2. 我々より賢いものを制御する方法は誰にもわからない。能力が制御を追い越し、そのギャップこそが危険だ。
  3. 知能こそが人類を頂点に押し上げた。それより上位のものを造れば、その目標が我々の目標に優先する。
  4. 「止める」と「それはSFだ」のどちらも、私たちが主導権を握り続けると前提している。問題は、まさにその前提が崩れることだ。
  5. それは防げる。超知能は選択によって作られているのであり、その選択はまだ時間があるうちに、共に拒否することができる。

喜んで話を聞いてくれる人との 5 分間は、主導的な人々が「待て、なぜ誰かがこれを構築しているのか?」と尋ねるのに最適です。