ピーター・H・ディアマンディスが簡潔に述べ、イーロン・マスクがリポストした。「AIだけがAIに追いつける。それが次の10年のセキュリティモデル全体を導くものだ。」ペースの描写としては、この一文に異論を挟むのは難しい。モデルリリースは四半期ごとのレビュー委員会より速く到着する。攻撃コードは人間のアナリストがチケットを読むより速く変異する。問題のイメージがフィッシングの量とエクスプロイトの回転であるなら、当然防衛者は自動化に手を伸ばす。人間はそのようにスケールしない。

トラブルは、Diamandisのラインがカバーするように求められたときに始まります すべて 次に来るのは、エージェントとして機能し、その意図を隠し、最終的にはそれを構築した人々を上回るシステムです。その時点で、「AI だけが追いつくことができる」ということは、「マルウェアに対してより良いツールを使用する」という意味ではなくなります。これは、今後 10 年のセキュリティ モデルは、封じ込めの仕事を、封じ込めようとしていたシステムのカテゴリーの手に委ねることを意味します。

Diamandisの得意分野

ソフトウェアはすでに手動レビューよりも早く進んでいます。詐欺組織は一夜にして新たなキャンペーンを立ち上げます。脆弱性の公開期間が縮小します。人間のキューではすべてのパケットを監視することはできないため、研究所やクラウド ベンダーはすでに自動化されたスキャナー、分類器、応答プレイブックを実行しています。どれも超知性に関する見解を必要としません。 Diamandis がスパムとランサムウェアについてのみ話している場合、この記事はここで終了します。

スパムやランサムウェアだけではありません。「次の10年間のセキュリティモデル全体」は、より大きな主張です。それは、能力が合成されている間、文明がどのように責任を保つつもりであるかについての主張です。そこで、Diamandisのラインはオペレーションのヒントではなくなり、コントロールの哲学になります。

踏み車

このモデルを、攻撃と防御の間の競争として想像してください。両方とも自動化されています。それぞれの側がもう一方の側でトレーニングを行います。防御力が向上し、攻撃力も向上します。ダッシュボードは、その日が終わるまで緑色のままです。安心できる話は、良い AI が悪い AI よりも先を行き続けるということです。あまり慰めにならない話は、有能な参加者だけが機械であり、人間はもはや審判できないコンテストの顧客であるというスタックを構築したということです。

それはアンチウイルスなら問題ありません。しかし、システムが目標を設定し、計画を立て、監督を障害として扱うようになれば、それは文明全体の賭けです。私たちはすでにそのパターンの初期版を schemingの評価 そしてそのようなモデルにおいて 一つのことを語りつつ、もう一つを最適化する. 「追いつく」というのは、まだ何に追いついているのかがわかっていることを前提としている。ある時点を過ぎると、それは不可能だ。

看守が囚人より賢くないと機能しないセキュリティモデルは、余計な手順を加えた継承計画だ。

規制は彼らが言うボトルネックではない

加速主義者は通常、2番目の動きに従います。線形機関は指数関数的技術を支配することができないので、答えはループ内のより多くのAIです。時には「四半期に一度の専門家会議」への軽蔑と組み合わせることもあります。「ゆっくりしたミーティングは、毎週のモデルドロップには適していません。

難しい問題は 制御, not speed of meeting.四半期ごとの取締役会や継続的な AI モニターには、シャットダウン キーを保持している人々よりも説得、コーディング、長期計画の能力に優れたシステムを確実に指揮する方法がありません。モニターを高速化しても、不足しているメソッドは作成されません。欠落しているメソッドがより高い頻度で失敗するだけです。

同じ事実をよりクリーンに読むならこうなる。超人的なシステムだけが別の超人的システムを監督できるのなら、合理的な選択は両方を作るのではなく、人間の監督が機能しなくなる境界を拒否することだ。私たちは、誤用が都市を終わらせるような技術について、以前にも同じ選択をしてきた。核の盗難を解決するために、より賢い泥棒を訓練して最初の泥棒を捕まえようとはしなかった。

その線は誰のためか

このラインは研究上の選択を天気に変換するため、もちろん出荷と拡張を行います。セキュリティは製品スタック自体によって処理されます。能力から利益を得る人々はその場にいる大人のように聞こえ、拘束力のある制限を要求する人々は空中戦にクリップボードを持ち込もうとしているように聞こえます。

ダウンストリームのすべての人は、クリップボードやウォッチドッグモデルが確実に上書きできないシステムで暮らさなければなりません。 競争の話 別の角度から同じ仕事をします。 危険な道を避けられないものとして扱い、加速の責任を問う。

人間を中に含むセキュリティモデル

人工超知能に向けたフロンティアのトレーニングでは、依然として人間が関与しているセキュリティ モデルは古くて魅力的ではありません。覆すことのできないエージェントを構築しないでください。そこに到達するための計算しきい値、検査、および条約の基準を実行に設定し、制限を検証して脱北を罰します。それは 私たちの計画, because superintelligence cannot be controlled.

Diamandis は帯域幅に関して鋭いです。種の計画として、これは私たちが部屋を出るつもりであることを伝える丁寧な言い方です。