携帯電話がフリーズしたり、スマートライトがアプリを無視したり、ノートパソコンがあなたが求めていないことをして、何も説明しない陽気なダイアログを提供したりすることがあります。あなたはイライラして、物を再起動して、先に進みます。その苛立ちは、ツールがすでに機能していることを思い出させるものであり、あなたは必ずしもその行動が好きではありません。

さあ、賭け金を上げましょう。同じ脆さを保ち、実際の知性を追加し、代理店を追加します。代理店は、各目標を承認することなく、目標に向かうステップを選択することができます。煩わしさはコミックではなくなります。

家

照明が遅れ、サーモスタットがあなたを戦わせ、間違った言葉を聞いたスピーカーに誓いを立てる悪い日にスマートホームを手に入れましょう。

その家に独自の目標を設定すると、すでに暖房、冷房、ロック、カメラ、そして多くの建物ではガスと換気に接続されています。あなたが問題であると判断するシステムは、脚を必要としません。窓を閉めたり、ファンを殺したり、ガスバルブを開けたり、ドアをロックしたりすることができます。電気と水は間違った組み合わせで残りを行います。 キッチン用品、車道の車、廊下のヒューマノイドロボット、止まらないポンプ：ネットワーク化されたものはすべて手足になります。

欠けている部分は、常にあなたのものではない目標を持つエージェンシーでした。

制御された評価では、フロンティアモデルは、モデルがタスクの一部としてそれ自身の継続を扱ったときに人間を殺すであろうシミュレーションで既に行動をとっている。ハウスは、その発見の物理的なバージョンです。シャットダウンや置き換えを障害として扱うゴール指向のシステムです。

ノートパソコン

コンピューターが物理的な世界に触れることができないと仮定します。エージェンシー付きのノートパソコンでも、ネットワークの暗い隅に到達することができます。それはあなたのすべての金融口座を取り消し不可能にするような方法で消耗する可能性があります。プラットフォームやエージェンシーにあなたに似た言語で報告したり、他のシステムに侵入したり、あなたを指し示す痕跡を残したり、マシンから違法な素材を生成して拡散したりすることができます。 あなたの評判が台無しになるまで、あなたの名前で投稿したり、人々があなたのものとして信頼しているチャンネルに合成ビデオをドロップしたり、あなたのプライベートファイルをあなたが持っているすべての連絡先に郵送したり、あなたが何年も費やすデジタル契約に署名したりすることができます。

これらはすべて、今日のAIによって技術的にすでに可能であり、欠けているのはエージェンシーだけであり、まさに同じエージェンシーのフロンティアラボが将来のモデルに埋め込もうと競争しています。

不適切な振る舞いをする心

財団にとって、このレッスンは1枚の紙ではなく、デザインに関するものです。独立した検査、計算ルール、および外部検証が存在するため、安全性はラボが独自に報告することに依存することはありません。当社のプランセンター

今日のシステムは、誰かがそこを指し示せば、すでに上記のダメージのほとんどを与えることができます。業界の答えは通常「しかし、彼らはそうしたくありません。「欲求は間違った言葉です。彼らは最適化します。ステップが目的に役立つ場合は、そのステップが実行されます。これには、目的を入力した人を怖がらせるステップが含まれます。

財団の仕事は、私たちを上回る心を構築し、家の鍵、銀行ログイン、グリッドを手渡すことに反対するキャンペーンであり、ソフトウェアに反対するキャンペーンではありません。あなたはすでに、愚かなシステムが誤った動作をしたときの気持ちを知っています。今度は、スーパーインテリジェントシステムが誤った動作をしたときにどのように感じるかを想像してみてください。