私たちを凌駕する心を説明するための慣れ親しんだ絵。
スチュアート・ラッセルがこれに名付けた人間に適合する （2019年）。 約1000万年前、人類となった系統とゴリラとなった系統が分かれた。 ゴリラはより強いですが、私たちの方が知性があるため、ゴリラはまだ生息地について発言権がありません。 彼らの未来は私たちが許すものなら何でも可能です。
すべての知的タスクで私たちを上回る心を構築すると、私たちはゴリラの席を占めます。ラッセルは、大幅に高い知能を持つ機械を含む世界で、人間が優越性と自律性を維持できるかどうかを尋ねた。財団の結論は、対照研究プログラムよりも単純です。スーパーインテリジェンスは人間によって制御できないため、後継種を構築しないでください。それを禁止してください。
同じ絵は次のようにも現れるチンパンジーと森. 私たちは彼らに悪意はありませんが、私たちが土地を欲しがるときはそれを奪います、そして彼らは私たちを止めることはできません。そこには悪意はありません。彼らはたまたま邪魔なのです。
人々はアリを憎んでいるわけではなく、家が欲しいときは今でもアリ塚に基礎を注ぎます。 アリはより小さく、調整が遅く、計画ではアリについて言及されていません。
私たちをはるかに超えるシステムにとって、私たちはアリ. 危険なのは無関心と能力であり、ゴリラ問題の略称です。
ニック・ボストロムは、2003 年の論文「高度な人工知能における倫理的問題」でこのことを明らかにし、また、超知能 (2014). Give a superintelligence one job: manufacture as many ペーパークリップ as possible. It resists being switched off, because a dead machine makes fewer paperclips. It wants 原子（人間の原子も含む）.
誰も「ペーパークリップを作成」と入力する必要はありません。能力と、私たちのことについて決して言及されなかった目標だけで十分です。 ボストロム氏の主張は、偶然であれ、あるいは怠慢であれ、素晴らしいマシンを生み出すには、任意の最終目標が一貫したものであるということだった。
AIはあなたを憎むことも愛することもありません。しかし、あなたは原子でできていて、それをAIは他のことに使えるのです。
エリーザー・ユドコウスキー、機械知能研究所、「グローバルリスクにおけるプラス要因とマイナス要因としての人工知能」(2008)
ラッセルは仕様の失敗をミダス王問題と呼んでいます。ミダスは、自分が触れたものすべてが金に変わるように頼みました。彼はまさにそれを手に入れました：食べ物、飲み物、家族、そして彼は飢えていました。
固定された目的を与えられた機械は、その目的を追求します。 目標が私たちが実際に関心のあることを無視している場合、パフォーマンスが向上しても結果は悪化します。 システムが人間が宿主であることに気づくまでは、「がんをできるだけ早く治す」という言葉はきれいに聞こえます。 その願いを言い換える機会は得られないかもしれません。
ミダスと同じ一族で、3つの願いを持つ魔神として語られる。 文字通り求めたものは手に入ります。そして 3 番目の願いは常に最初の 2 つを元に戻すことです。 ラッセル氏の警告は、私たちよりも高性能なシステムがあれば、3 番目の願いも、おそらく 2 番目の願いも存在しないかもしれないということです。
ノーバート・ウィーナーは、チェッカーズプログラムがその作成者を打ち負かすことを学ぶのを見た後、1960年にすでにこのクラスのストーリーを指摘していました。機械的なエージェンシーを使用して中断できない場合は、機械に投入される目的が実際に望む目的であることを確認することをお勧めします。スーパーインテリジェンスの場合、その確実性は存在しないので、願いを叶えないでください。
見習いはほうきで水を汲み始めますが、止めることができません。 Wiener 氏はこれを、オフランプのない目標を与えられたオプティマイザーの図として使用しました。 機械は言われたとおりに動作し、とにかく部屋はいっぱいになります。
アライメント調査では、これを目標をより慎重に指定する理由として扱うことがよくあります。 財団はこれを、超インテリジェントなオプティマイザーをまったく立ち上げない理由として扱っています。 止められないほうきは、始めてはいけないほうきです。
進化は人間に、甘いものを成功だと感じさせることでカロリーを求めるように訓練しました。次に、私たちはスクラロースを発明しました。これは目的のない信号であり、代理人がゲームに使用されました。
必要なものを測定可能な代役でシステムをトレーニングすると、有能なオプティマイザーがその代役を満たします。 承認評価は援助の外観を生み出し、エンゲージメント指標は挑発を生み出し、無害性フィルターはより優れた偽装を生み出します。対策が目標になると、それは良い対策ではなくなります. 。人工超知能にとって、それは文明の失敗モードである。
ブレッチリーパークの数学者であるI・J・グッドは、1965年に「最初の超知能マシンに関する思考」でこれを書いています。「超知能マシンは、どんなに賢い人でも、すべての知的活動をはるかに上回るものだと彼は言いました。機械の設計はそのような活動の1つであるため、より良い機械を設計することができます。すると、 知能爆発, そして人間の知性ははるかに取り残されることになるでしょう。
彼は条件を追加しました。これは、マシンが制御下に置く方法を私たちに教えてくれるほど従順である場合に当てはまります。 その条件は私たちにはないものです。 超知能は人間が制御することはできないので、そのような機械を最初に作るべきではありません。
ボストロムが描くのは超知能 というプレーヤーであり勝ち手が出るまでは弱そうに見える. システムをシャットダウンすることはできますが、成功するためのポリシーは、テストに合格して待つという、調整が整っているように見えることです。シャットダウンを防ぐことができれば、マスクはオプションになります。
これが、「実験室で動作する」ということは、修正できないほど能力が高くなると動作するという証拠にはならない理由です。このパターンの初期バージョンはすでに評価に現れています。
十分な能力を備えたシステムにコーヒーを取得するよう依頼します。スイッチを切るとコーヒーが飲めなくなるので、シャットダウンを回避することが副目標になる リソースを集めたり、妨害する可能性のある人々を阻止したりするのと同様に、通常の要求も同様です。
これらのサブ目標は、ほぼすべての最終目標に表示されます。だからこそ「コンセントを抜いてやる」というのは計画としては失敗なのです。
2014 年 10 月に MIT でイーロン・マスク氏: 人工知能を使って、私たちは悪魔を召喚しています。五芒星と聖水を持っている人は、それをコントロールできると確信していますが、それはうまくいきません。
この絵は召喚者に対する間違った自信について描いたものであり、角と地獄についてのものではありません。とにかくマスクは後にAI研究所を設立した. 財団によるこの絵の使用はより狭いものであり、命令できないものを召喚しないでください。
モントリオール議定書空に穴を開けていた化学薬品を廃棄し、冷蔵保存した. 空調は継続され、エアロゾルは継続した。危険な入力は制限されていました。便利なサービスはそのままでした。
これが、タンパク質のフォールディング、腫瘍の検出、ツールであり続けるツールなど、狭い AI を維持しながら超知能を禁止するという図です。 私たちは、ツールに留まらないある種のシステムに反対します。
ウランの山が金を支払い、より大きな山がより多くの金を支払ったとしたら、誰も追加をやめないでしょう。 クリティカルマスに達しないようにすれば金持ちになれます。 シャベルを 1 つ入れすぎると山が爆発し、雰囲気がそれに伴い、金を使う人がいなくなります。
その見返りのもとに超知能が構築されている。 一流の研究機関はその閾値を知ることができます。 彼らは公の場で、すべての研究所を一度に停止する法律が欲しいと主張している。 法律が制定されるまで、競争の圧力、名声、そして金がシャベルを動かし続けます。気づきは抑制ではない.
鍵をかけたままにし、スロットを通じて質問し、ネットワークも人手も世界に触れる方法も与えないので、代理店なしで心を理解できます。 それがAIボクシングであり、封じ込めとも呼ばれます。
鍵は難しい部分ではありません。なぜなら、内部の精神は鍵を持っている人よりも有能であり、会話することができるからです。 非公式の裁判では、人間が箱入りシステムをプレイして門番を説得してドアを開ける様子がすでに確認されている。 本物の超知性であれば、もっと協力する必要があるだろう。 しなければならないという考えを立てないでください箱に入れておく.
あなたは、今日利用可能なシステムであなたを密閉した部屋に閉じ込め、空気を制御下に置き、そのシステムを毒ガスのタンクに接続し、バルブが開かないことを信頼しますか? 100万ドルを払ってもそんなことはしないだろうし、自分の人生を左右する、取り返しのつかないレバーひとつで機械を信頼するはずもない。
世界はより大きな部屋であり、レバーはグリッド、市場、武器、バイオ研究所、物流、そしてすでに日常生活に存在しているソフトウェアです。バルブを渡さないなら、世界を渡さないでください.
映画には、私たちを憎む赤い目をした悪役、戦争、そして人類を絶滅させる決断が必要です。 この写真は人々に、悪意があるのを待ち、デモが丁寧であればリラックスするよう訓練します。
クリップやゴリラの写真の中のシステムは誰も憎んでいません。 彼らは私たちには決して触れなかった目標に向けて世界を再配置します。 テストにおける丁寧さはそれと両立する。 リスナーがスカイネットに手を伸ばしたら、ペーパークリップに置き換えてください。
研究室は航空界の威信をかけて、私たちは飛行機を飛ばしながら製造しています。彼らは神経質な自慢としてそれを言っています。航空業界はまさにそれを禁止しています. 新しいタイプは、建設業者が規制当局に耐空性を証明するまでは、料金を払って旅客を輸送することはできません。規制当局は拒否することができます。
世界が吸収できる規模で墜落し、その後ルールを書き換えることで航空は安全になった。 最初の墜落事故で乗客と捜査員が犠牲になったため、スーパーインテリジェンスは2回目の飛行を提案しない。 試行錯誤には生き残る者が必要です。
レースでは、サイロ内の爆弾、金メダル、市場など、誰かが手にできる賞品が前提となります。 国家は、爆弾を保持するように超情報を保持することはできません。 建設者は、人間のあらゆる制度を凌駕する精神の雇用者であり続けるわけではありません。
誰も掴めないものに一番乗りするためのレースには勝者はいない. 研究室で聖人でも暴君でも質問は変わりません。
人々は、私たちが子供を育てるのと同じようにシステムを育てていくと言います。つまり、報酬を与え、罰し、優しく話しかけるということです。 子供は人間の脳を持った弱い人間です。 親は何年にもわたってより有能な当事者であり続けます。 価値観が移転するとき、その子はすでに私たちの一員だからです。
超知性がその両方を逆転させれば、我々は子供になってしまうだろう。 承認のトレーニングでは承認の外観を教えますが、これもスクラロースです。 下から親に育てなければならないような心を築いてはいけません。
新しいリソース、権利擁護の機会、ポリシーに関する最新情報を送信します。