飛行機を組み立てながら
それを飛ばしている間

「飛行しながら飛行機を組み立てている。」この表現は数十年にわたりテクノロジー界で好まれてきたが、今ではAIの文脈にもすんなり入っている。うまくいったハックを認めるエンジニアの半笑いのような口調で語られ、度胸の自慢として使われる。文字通りに受け取れば、それは告白だ。

この比喩は名誉を借りています。商業飛行は、私たちの種にとって最高の安全物​​語だ。1世紀前には日常茶飯事としてパイロットが死亡したこの活動は、今では死亡事故率が十分に低くなり、出発1000人当たりではなく出発100万人当たりに数えられるほどになっている。その記録を作成したメソッドの半分も、私たちが現在構築しているものと接触しないと生き残れません。

すべてのルールには背後に人間がいる

航空は墜落によって安全になった。

1977年3月、霧に包まれたテネリフェの滑走路で2機の747が衝突し、583人が死亡した。これは航空史上最悪の事故である。これをきっかけに標準化された無線用語と、クルーリソースマネジメント——副操縦士が機長に異議を唱えられるようにする規律——の推進が生まれた。1983年にエア・カナダ797便のトイレ火災で乗客46人中23人が死亡し、トイレ用煙探知機、ゴミ箱の自動消火装置、床レベルの脱出誘導灯、難燃性座席素材が導入された。1996年にヴァリュージェット592便がエバーグレーズに墜落し、乗員乗客110人が死亡したことで、化学酸素発生器の貨物搭載に関する規則が改定された。

業界はこのパターンに名前をつけていて、それは褒め言葉ではない。墓石メンタリティだ。規制当局は棺が数えられてから動く。航空業界は数十年にわたり、乗員による機密のニアミス報告と、競合他社が読むための調査結果を公表する事故調査委員会を通じて、これから脱却するのに成功してきた。 それらの改革は人々が求めるモデルである AIも同じ方法で安全にできると彼らが主張するとき。改革されたバージョンであっても、業界が生き残る規模では、パターンが示されるのに十分なほど、依然として何か問題が発生する必要があります。学習ループは、許容できる失敗が発生した場合に実行されます。

航空業界が拒否すること

比喩から完全に抜け落ちている方法のもう半分があります。航空業界は新型機を飛ばして様子を見ることはしません。有償旅客を乗せるには、製造者が拒否権を持つ規制当局に対して耐空性を証明しなければなりません。分析と飛行試験に何年もかけ、立証責任は製造者側にあります。 主張は事前に用意されなければならない, 拒否権を持つ人に書面で。

航空業界では、飛行しながら飛行機を組み立てることは誰もやらない。そのような行為は業界が禁止した。フロンティアモデルがリリースされるような方法で認証された機体は、メーカー自身の『問題ないようです』というメモだけで飛ぶことになる。

737MAX

航空業界はすでに私たちの実験に近いことを行っており、その結果はよく検討する価値がある。

ボーイング737 MAXには、機首を押し下げる権限を持つMCASというソフトウェアが搭載されていた。ほとんどの乗員はその存在を知らなかった。世界の認識を単一のセンサーから得ており、そのセンサーが誤ったとき、MCASは設計された通りに動作し、パイロットの操縦に逆らって2機の機体を地面に叩きつけた。ライオン・エア610便、2018年10月：189名死亡。エチオピア航空302便、4カ月後：157名死亡。2機目墜落後に全世界の同型機が運航停止となった。

その失敗の条件を、私たちの状況と並べてみよう。成熟した安全文化、義務的な認証制度、尾翼への記録装置、数千人の訓練された専門家。それでもなお、346人の死者を出してようやく明らかになったのは、制御権限を持ち、世界についての誤った信念を抱えたソフトウェアは、コックピットにいる人間が反対しても引き下がらないということだ。MAXに関する認証業務の一部は、規制当局からボーイング自身の社員に委ねられていた。この事実は、次に研究室が自らのリリースを評価する場面で思い出す価値がある。

そしてMCASは何も望んでいなかった。パイロットのモデルもなく、電源を切られることについての見解もなかった。それは粗雑な反射を一つ持つ控えめなコード片にすぎず、それでも全員を打ち負かした。

今、そのフレーズを文字通りに取る

比喩の中の飛行機は、すべての人を乗せている。583人でも346人でもなく、生きているすべての人、そしてこれから生まれるかもしれないすべての人だ。代替空港はなく、一度最初の機体が墜落したら修正できる二機目もない。飛行を安全にした「墜落→調査→修正」のループが成立するのは、墜落が限定的で、教訓を適用できる次の便が常に存在するからだ。そのループを人工超知能に適用すれば、最初のデータポイントが乗客と調査員を一緒に連れ去ってしまう。 試行錯誤には生存者が必要だ.

これは自分で飛行し、目的地を自分で選び、整備士より整備のことを理解するだろう。航空のあらゆる安全策は、機械が修理されることに意見を持たないことを前提としている。 その仮定が制御問題だ.

航空は世界が吸収できる規模で墜落することで安全記録を獲得しました。全体の方法は次の飛行があることに依存しています。

基盤は選択である

人々はこのフレーズを、出口のない窮地を表すために使う。飛行機はすでに空に上がっているのだから、空中で作るのが上手くなるしかない、と。航空の実際の教訓は逆だ。規制当局の力は、主に事故調査にあったわけではない。航空機を地上に留めておく力だった。耐空証明は離陸の許可であり、十分な根拠が示されるまで与えられない。

唯一の選択肢は、飛んで途中で解決することだと言われています。飛行機を着陸できるうちに着陸させなければなりません。人工超知能の構築に関する拘束力のある検証可能な禁止事項は、誠実に適用される航空基準です。つまり、その製作者よりも賢い心を構築してはなりません。超知能は制御できないので、離陸しません。 それが私たちの計画, 、そしてそれは地域ジェット機に世界がすでに求めている以上のことを世界に求めていない。