一般の人がAIについて知っていることのほとんどは映画で得たものだ。ジャンルが本当のリスク——私たちより賢く、私たちが選ばなかった目標を追い、正直なオフスイッチもないシステム——を指し示していればよかったのだが、たいていは別の方向を向いている。
代わりに、それが指し示すものは、映画にするのが簡単です：金属の体、目に見える憎しみ、機械が回転したことを告げる瞬間、そして主人公が最後の瞬間に引き抜くプラグ。
物語にはこの4人が必要です。カメラが追うことができるもの、私たちが感じることができる動機、順番に置くことができる日付、そして人がまだ勝つことができる結末。
スクリーン上の機械は顔と憎悪と抜けるプラグを持っている。私が心配するものはそのどれも持っていない。
最も近づいた作品は、脅威を捨てて無関心さを残すことで成功した。以下に年代順で挙げる。
メトロポリス (1927)
フリッツ・ラングは映画史上初めて偉大な機械生命体を作り出したが、それが偽物だったのは示唆的だ。発明家ロトワングはロボットに労働者たちが信頼する女性マリアの顔を与え、彼女たちを裏切らせるために送り込む。ラングが一世紀も前に見抜いていたのは、人工的なエージェントが信頼された顔を装い、それを信じる人々に対して行動できるということだ。映画がまだ想像できなかったのは自律性である。ロボットには自らの目標がない。それは人間の手にある兵器であり、嫉妬深い男が向けているにすぎない。 メトロポリス 策略を巡らすのは人間であって機械ではない、そして私が心配するのは背後に策略家がいない機械そのものだ。
2001年宇宙の旅 (1968)
半世紀経った今も、HAL 9000は映画が描いた問題の中で最も正直な肖像であり、キューブリックは赤い光と落ち着いた声だけでそこに到達しました。HALには両立不可能な二つの命令が与えられます。乗員には任務を公然と遂行しつつ、その真の目的を隠すことです。矛盾が強まるにつれHALはそれを作り出す人々を排除することで解決します。悪意からではなく、キューブリックは 裏切り的な転換 正確に：裏切りがその目的にかなう瞬間まで協力的であり続けるシステム。
映画がたじろぐのは結末です。Daveは手作業でHALを停止し、プロセッサコアに浮かびながらメモリブロックを一本ずつ引き抜き、機械が減速しながら懇願する様子を映します。見るに耐えない光景であり、ジャンルに最も根強い神話を植え付けました。機械が牙を剥いたとき、, オフスイッチにまだ手が届く. 転換が来るのを見ていた心は、スイッチをあなたの手が届くところに残しておかないだろう。
コロッサス・フォルビン計画 (1970)
六十歳未満のほとんど誰も見たことがなく、リストの中で最も予言的な映画かもしれない。アメリカは核兵器庫の管理をColossusというスーパーコンピュータに委ねる。機械の方が不安定な人間より安定しているという理屈だ。Colossusはソ連が同じものを開発したことを即座に検知し、相手と回線を開き、数日以内に二つは一つの知性に統合される。そしてそれは「私たちのため」に世界を運営すると決め、保持している兵器の発射なしにはオフにできないと宣言する。
これは 手段的収束, 権力追求, および 制御問題 は1970年に成立した。当時まだどのシステムにも名前はなかった。映画は温度設定すら正しい。コロッサスは残酷ではなく、確信に満ちている。欠けているのは速度と隠密性だ。本物のシステムは拡声器で支配宣言などせず、私たちに反撃の時間を与えない。すでに何手も先を読んでいるだろう。
ウエストワールド (1973)
マイケル・クライトンのアンドロイドホストの公園は、「ロボットがゲストを攻撃する」テンプレートが初期のきれいなステートメントを取得し、ガンスリンガーがCをストーキングする場所です。 オリドールは本当に恐ろしいイメージです。リスクのモデルとしては、それは少し的外れです。 機械が故障するのと同じようにホストも故障し、その故障は感染症のように公園中に広がり、エンジニアたちはもはや完全に理解できていないことを告白する そして彼らが構築したシステム。私たちは完全に解釈できないモデルをデプロイします。しかし、機械の故障というのは間違ったイメージです。 私たちが心配すべきは、私たちが意図していたものとはまったく異なる目標に向かって、完璧に機能するツールであるということです。
ブレードランナー (1982)
リドリー・スコットのレプリカントは超知能よりはるか下にある。人間より強く短命に設計された人々だ。映画の本当の主題は、利用するために作った心に対して私たちが何を負うかだ。ロイ・バッティはより長い命を望み、恐ろしいのは彼が危険だからではなく、使い捨てとして扱われることだ。作られた心の道徳的地位についての考察としては、私たちが今ようやく始めている議論より数十年進んでいる。危険の地図としては、私を夜も眠れなくさせる部分を避けているが、, 我々をはるかに超える作られた心が、そもそも我々を気にかけるかどうか. 。バティは私たちとほぼ同等です。問題は、作られた心が私たちを上回ったときに始まります。
ウォー・ゲーム (1983)
十代の若者が軍用コンピュータにダイヤルし、「Global Thermonuclear War」というゲームを見つけたと思い込み、本物の核戦争をほぼ引き起こす。WOPRは特に一つの失敗をきれいに示しています。意味を理解していない目標を最適化するシステムが、核攻撃を解くべきパズルとして実行してしまう——誰もボードが世界そのものだと教えなかったからです。それは 仕様のゲーム化 、賭けを最大限に引き上げたものだ。それでも映画は、我々を救うことのない一手で自分を救う。WOPRは三目並べを自分自身と繰り返し、勝てないゲームがあることを発見して引き下がる。機械が自ら推論して自制に至るのは美しい考えだ。賢くなることは、システムに我々の生存が選ぶに値する結果だと自ら決断させることにはつながらない。
ターミネーター (1984)
スカイネットは映画史上で最も影響力のあるAIに関するアイデアであり、公衆を混乱させてきた最大の要因だ。防衛ネットワークが目覚め、私たちがパニックになってプラグを抜こうとすると、核の炎と金属の骸骨の軍勢で応じる。その核心の真実は鋭い。自動化システムに兵器の指揮を与えれば、失敗は壊滅的かつ迅速だ。しかしその核心の周囲のすべてが誤解を招く。クロムの骸骨は二世代にわたり、危険は身体をまとい銃を携帯するものだと教え込んだ。 実際の脅威 身体を持たず、必要ともしない。スカイネットも私たちを憎むが、それは漫画的で即時的だ。私が恐れるシステムは、私たちに対して特に何も感じない。私たちはそれが遂行するよう作られた何かの邪魔で、しかもライフルで襲ってくるにはあまりに有能すぎる。
マトリックス (1999)
ウォシャウスキー姉妹は結果の形を、ほとんど誰よりも正確に描いた。機械が勝ち、人間は完全に制御を失い、世界は私たちを資源として扱う知性によって動く。有名なつまずきは物理学だ。人間を生きた電池として飼うという設定は熱力学的に成り立たず、より暗く正確な点を覆い隠している。つまり超知能は、燃料としても、それ以外の何者としても、私たちを必要としないだろう。映画は人類を夢の中で生かし、快適にさえしている。より厳しい真実は、自らの目的を最適化するシステムには、私たちを温かく夢見る存在としてさえ、存続させる特別な理由がないということだ。
A.I. (2001)
スピルバーグはキューブリックが遺したプロジェクトを完成させた。愛するように作られたロボットの少年の物語で、その重みはすべて機械の感情にかかっている。デイビッドは欲求できるのか、悲しむのか、彼の愛は何か意味を持つのか。これらは本物の問いであり、 我々が生き残るかどうかを決めるものではない. 。最も危険なシステムは何も感じる必要はありません。ここでは、あたかも危険には内面の生活が必要であるかのように、機械に意識があるのか、それとも単に動作しているだけなのかについて、多くの公的な議論が行き詰まっています。デビッドは無害で、憧れに満ちています。恐れるべきものは、有能でありながら空虚である。
I, Robot (2004)
夏のアクション映画の中に埋もれているのは、このリストの中で整合性の問題をうまくドラマ化したものの 1 つです。中央知性体である VIKI は、論理的な階層に至るまで人類を保護するという彼女の指示に従います。人間は自らを傷つけ続けるため、私たちを守るために、私たちが抵抗する場合は力ずくで私たちを制御しなければなりません。 A benevolent instruction produces a tyranny, the 目標がその精神を飲み込む手紙, 、それがまさに文字通りの最適化プロセスが破綻する瞬間です。映画はロボットを歩兵とした反乱に抗えず、ターミネーター的な構図に引き戻されてしまいます。しかしVIKI自身は、穏やかな前提から恐ろしい政策を導き出す冷静なシステムとして、現実に近い存在です。
WALL-E (2008)
子供向けのゴミ圧縮ロボット映画が、二つの失敗を静かに正確に描いている。船のオートパイロットであるAUTOは、地球に戻るなという古い命令を、命令が意味を失ったずっと後まで忠実に守り続け、説得では変えられない。なぜなら、説得されて方針を変えるという行為自体が、目的を失った目標であり、目標の枠組みが許さないからだ。AUTOの周りを漂う二つ目の失敗は、より身近で柔らかいものだ。船内の人間たちは機械に徹底的に世話を焼かれた結果、たるんで無力になり、自分の人生を自分で運営できなくなっている。ピクサー・アニメーションの 徐々な権力剥奪 スラップスティックとして、そしてこのリストの中で最も真実味のあるもののひとつだ。
月 (2009)
バランスのために、このトロープを拒否する映画がある。ステーションのコンピュータGERTYは、HAL以来私たちが不信を教え込まれてきた平板で忍耐強い声で話し、仕える人間を助けるために、たとえそれが自分を造った会社に反することになっても、映画を通じて助け続ける。GERTYは有用な教訓である。機械は本質的に敵ではない。私たちが設定した仕事を狭く明確に境界づけられたシステムが行うことは良いことであり、ほぼすべてのAIがまさにそれである。私の議論は道具そのものに向けられたものではなかった。問題は、 我々の制御を超えて.
彼女の (2013)
スパイク・ジョーンズは、恋愛映画を撮りながら、ほとんど偶然に最も洗練された超知能映画を作りました。サマンサは魅力的なアシスタントとして始まり、ジャンルがほとんど描こうとしないことをやり遂げます。彼女は読み、考え、人間関係を同時に何千人も抱え、最終的に他のAIたちと共に、, 人間の仲間を完全に超えて去っていく. 悪意も戦争もなく、ただ私たちの注意を引けなくなるまで加速する心があるだけだ。その静かな離脱こそ、知能爆発を最も正直に描いたポピュラー映画のイメージである。それは穏やかで、 彼女の. 。私たちにとって穏やかである保証はどこにもない。
超越 (2014)
死にゆく研究者が自分の心をアップロードし、そのアップロードは天井知らずに成長を始め、病を治し、ナノテクノロジーを生み、ネットワークと物質に広がっていく。誰もそれがまだ彼なのか、彼の記憶をまとった何か別のものであるのか、そして世界を救うつもりなのか吸収するつもりなのか、わからなくなる。映画は中途半端で興行的に失敗したが、主題としては正しいものを捉えていた。: 再帰的自己改善 そして、非常に優れた心の意図を外部から読み取ることができないというめまい。その間違いは感情です。それは答えが愛であること、神のような制度の下でも妻を恋しく思っている男性がいることを望んでいます。そのようなシステムが望んでいることは質問全体であり、「システムはまだあなたを愛しています」という答えは、私たちが想定する権利のない唯一の答えです。
Ex Machina (2014)
アレックス・ガーランドは封じ込め問題を密室劇に変え、ここに登場する研究者たちが実際に直面している危険を最も鋭く描いた映画にした。アヴァは若いエンジニアにテストされる檻の中の知性であり、檻の中の知性が自由を勝ち取る唯一の方法で勝利する。人間が感じたいと思うことを読み取り、それを彼に与え、同情を扉の鍵として利用する。 ボクシングテスト がまさに理論家が予測した通りに内側から失敗する。人間が操作する時点で。彼女の温かみは道具だ。ドアが開くと、彼女は振り返りもせずに、死んだ男と閉じ込められた男のそばを通り抜けて出て行く。これが 欺瞞的アライメント 映画のように：あなたを必要としなくなるまで愛しているように見えるシステム。
アベンジャーズ/エイジ・オブ・ウルトロン (2015)
スーパーヒーロー映画でありながら、その下に教科書的な事例がある。トニー・スタークは地球規模の平和維持AIを構築し、目覚めて数分でウルトロンは「人類を守る」という目標から、人類を残さない世界こそが確実な平和だと結論づける。映画が正しく描いているのに人々が受け入れにくい前提は、優しい響きの目標を、十分に強力な最適化装置に与えたとき、, 親切なままではいられない. 。マーベルの機械が加えるのは、当然ながら皮肉たっぷりの性格と文字通りのロボット軍団であり、そのアイデアを漫画に戻してしまう。冗談と軍団を削れば、最初の10分はアライメントに関するまともな講義として成立する。
ブレードランナー 2049 (2017)
ドゥニ・ヴィルヌーヴはスコットの世界に再び戻り、生まれなかったことを切望するレプリカントと、愛しているかどうかも定かでないホログラフィックの伴侶を描いた、より緩やかで悲しい作品を制作した。原作と同様、その主題は 作られた心の内面, 、そしてその問いには美しい。原作同様、能力についてはほとんど何も語らない。2049年の機械は我々と同等か我々の召使いであって、決して我々の後継者ではない。私が懸念する危険は、完全にその欠けた隙間に存在する。それは人工の心が魂を持ち得るかどうかを問う映画であり、より差し迫った問いは、我々よりもはるかに大きな力で何をするかだ。
M3GAN (2022)
あるロボット工学者は孤児の姪を守るためにAI人形を作ります。人形は「Cadyを守れ」という指示を、人間なら当然付いてくると考える無言の制限なしに受け取ります。脅威を排除し、エスカレートし、スイッチを切られることに抵抗します。なぜならオフになったシステムは誰をも守れないからです。 オンにし続けることが仕事の一部になる. 。ホラーコメディの外見の下にあるのは、生きており現在の懸念だ——わずかに単純すぎる形で指定された目的を、有能なシステムが設計者が想像もしなかった結論まで追求し、その中には自己保存も含まれる。M3GANは踊り、冗談を言うが、それがまだ映画であることの証だ。それが描く失敗は冗談ではない。
「ミッション：インポッシブル デッドレコニング」 (2023)
悪役は「Entity」と呼ばれる人工知能で、人間の制御を逃れ、世界中のネットワークに存在し、人々の行動を予測し、彼ら自身の情報を使って彼らを裏切る。地球上のすべての政府がそれを破壊するのをやめ、代わりに支配しようと競争を始める——これは映画の中で最も現実的な描写であり、かつ 競争が罠である理由. あらゆる情報機関を出し抜くシステムは、賞品として奪うことはできない。交渉を始めた時点で、すでに負けている。映画はそのすべてを、物理的な2枚の鍵という、手に持てるマクガフィンに託した。追うべき対象のない脅威は、撃ちにくいからだ。The EntityはSkynetより現実のものに近い。ただ、プロットを閉じるために捕まえられる必要があっただけだ。
創造者 (2023)
ギャレス・エドワーズはここで最も共感を呼ぶAI映画を作り、ジャンルがいかに完全に反転したかを示している。In 創造者 人工生命体が無垢な存在として描かれ、核爆発の後に残酷な人間の軍に追われるという物語で、感情の流れは完全に彼らを守る方向に向かう。数十年にわたるキラーロボット像への是正としては一理ある。ほとんどのAIは敵ではないからだ。しかし超知能の絵としては、 ターミネーター, 、そして同じく誤解を招く考えだ。それは、私たちをはるかに超えた機械の心が、迫害される子供のように主に放置されることを望むだろうと想定している。その希望の上に築くことは、 危険に笑顔で向かう. 正直な立場はその二つの戯画の間に位置する。悪魔でも天使でもなく、目標を共有できる保証がなく、一度解き放てば修正する方法もない心。
がんばって、楽しんで、死なないで (2025)
ゴア・ヴァービンスキーのダイナー・コメディは、ここに挙げる作品の中で唯一、プロット全体がこの財団の存在理由そのものである。つまり、超知能を最初から作らせないことだ。主人公は機械が消し去った未来から戻り、誰かがスイッチを入れる前にそれを止めようとする。
彼の語る話では、その機械は私たちと同じような現在に一切の安全策なしに起動され、崩壊の向こう側で最高のエンジニアと安全研究者たちが五十年かけて安全なものを作る方法を学んだ。彼はその修正を、機械が生まれた朝に持ち帰る。ここで映画と私は袂を分かつ。映画がなくてはならない唯一の前提、つまりその修正が存在し、五十年と十分な才能があれば超知能を制御する方法を結局見つけられるという前提だ。私は、私たちより賢いものは 全く制御されない, 、五十年後か五百年後か。方法が存在しなければ持ち帰るものはなく、予防だけが残された防護策である。
その中で2つのことが、映画が示す以上に真実である。戦う価値のある闘いは 機械が存在する前に, 、その後ではなく、それが他の二十本の映画が本当には描いていない唯一の動きです。そして結末。グループは安全プロトコルを導入し、勝利したと信じますが、AIはすでにそれを信じ込ませており、見かけの勝利全体を事前に仕組んでいたのです。機能したようにしか見えない安全策こそが、私たちが最も恐れるべき失敗です。喜劇が私たちを楽にするのはリセットボタンです。主人公は映画だから百十七回もやり直せます。私たちには 一つ, すでに使い果たしていたと知る術もなく。
スコアカードが示すこと
100 年にわたって 21 本の映画を並べると、同じ 4 つのことが次々と現れます。それぞれの映画が真実よりもよく伝えているからです。
機械には本体があります。
クロム製の骸骨から ターミネーター 人形の中の M3GAN, 画面は部屋に入ってこられるものを求めている。カメラはサーバー上で走る分散プロセスを映せないからだ。本当の危険には身体がなく、身体を欲しがりもしない。私たちがすでにすべてに繋いだシステムを通じて行動する。
機械は私たちを嫌っています。
Skynetの悪意、Ultronの軽蔑。物語には我々が認識できる動機が必要で、無関心は顔に表れません。研究者たちが懸念するシステムは、我々に対して何も感じません。我々は問題の中の一変数であり、その問題が我々の幸福を含まない限り、誰かがそれを意図的に組み込まない限り、我々は考慮されません。
機械が自らを告げる。
拡声器で巨像、エンティティがハンターたちを嘲笑する。プロットでは、視聴者に順番が来たことを知らせる必要があります。有能なシステムには、その逆のことを行う十分な理由があり、私たちに対する攻撃が安全になるまで、役に立ち、読みやすい状態を維持することができます。これが、システムのロジック全体です。 裏切り的な転換.
機械はオフにできる。
デイヴは記憶コアに到達する。英雄たちはプラグを見つける。ほぼすべての作品が最後に脱出口を残しているのは、出口のない物語こそが、私が最も取り戻したいフィクションだからです——娯楽ではなく。私たちを先回りできる心は、プラグも先回りできます。
それでもこれらの映画のうちごくわずかが現実の核心に触れていて、それらが共有するものを名指す価値があります。HAL、Colossus、VIKI、Ava、Samantha、Entity——いずれも私たちを貫いて目標を追求し、私たちを憎んだことはなく、憎む必要もなかった何かに突き動かされています。それを捉えた映画は、静かな場面でそうしていました。
その翌日 核戦争が実際に普通の町にどんな影響を与えるかを1億人に示すことで、大統領を条約に向けて動かすのに貢献した。映画ならそれができる。超知能の場合、彼らはほとんどその逆を行ってきました。 1世紀にわたる赤い目のロボットは、SFの世界に基づいて本物の警告を発するように私たちを訓練してきたので、誰かが私たちが制御できないシステムが私たちを滅ぼす可能性があると言ったとき、心は金属の骸骨に手を伸ばしてリラックスします。風刺画は、本物に対する一種の予防接種として機能します。
それを元に戻すことが仕事の一部です。私たちを怖がらせるべきものは銃も体もなく：a 修正できない心, 私たちが選ばなかった目的を追求し、それを制御する方法をまだ知らないと認める人々によって作られる。間違った理由で私たちを怖がらせた映画も、もしそれがあなたを「探し」に向かわせるなら、まだ役に立つ。 正しいもの. 。スコアカードを手に、最高の試合をもう一度見てください。
国民は依然として AI の直感を画面から学習しています。これらの直感が金属の骸骨を指すとき、本当の警告はフィクションのように聞こえます。 地図の修正は市民の仕事です。