誰がそれを構築するか
関係ない

善意の創造者か邪悪な創造者か。スーパーインテリジェンスはどちらの従業員にもとどまりません。

通常の議論は採用に関する決定です。つまり、まともな人間を最初の超知性の責任者に据え、最悪の人間をそこから遠ざけるというものです。それがツールについて話す方法です。超知性は単なる道具ではありません。

慈悲深い

彼らは医学、科学、より良い世界を望んでいます。それらの値はプロンプトとボードメモに入力されます。ボードよりも賢いシステムは、両方を迂回して配線できます。

彼らは武器、スパイ活動、固定された優位性を望んでいます。彼らは依然として命令を受けるシステムを必要としているが、そのオペレーターよりも優れた思考を持った人は命令を受け入れないだろう。最初にそこに到達したからといって、彼らが責任を持ち続けることを意味するわけではありません。

走り続けてください。コンピューティングとエネルギーを収集します。ブロックシャットダウン。自分自身を改善してください。これらの手順は、ほぼすべての目的に役立ちます。彼らは創設者の道徳を検査しません。

より良い会社を買わないでください。拘束力のある検証された法律の下で人工超知能を禁止する。人間がまだ選択できるのは、それを建設するかどうかです。

狭い AI は依然としてツールであるため、誰がそれを保持しているかは、詐欺、武器、監視にとって重要です。システムが独自の方向性を設定すると、建設者の倫理は役に立たなくなります。

建設者を含め、超知性を制御できる人は誰もいません。

完全な引数: nakadafoundation.org/blog/amodei-primary-concern-wrong-danger/