몇 달마다 다른 실험실 또는 기초는 줄맞춤 연구를 위한 더 많은 돈을 발표합니다. 피치가 적립됩니다. 우리가 우리를보다 스마트 시스템을 구축하는 경우, 우리는 우리가 원하는 것을 더 잘 할 수 있었다.

현장에서 관심을 두는 한계에서 정렬을 해결한다는 것은, 이를 구축하는 모든 인간보다 훨씬 더 지능적인 무언가를 안정적으로 통제한다는 의미입니다. 계산기가 아닙니다. 단백질 접힘기도 아닙니다. 전반적으로 우리를 능가하는 사고를 하는 범용 마음입니다. 우리는 심지어 그 목표에 이름을 붙였습니다: 초지능.

불능은 이름에 있습니다.

그 단어가 이미 인정하는 것

슈퍼는 위의 의미 : 지능은 우리가 발명 도구, 스폿 루프홀 및 약한 마음에 대한 경연 대회를 승리하는 것입니다. 당신이 그 게임에서 위에있는 시스템을 구축하면, 당신은 당신이 leash에 그것을 유지해야하는 정확한 기술보다 더 나은 무언가를 구축했다.

사람들은 여전히 정렬이 시스템이 알아채기 전에 적용되는 소프트웨어 패치인 것처럼 말합니다. 당신은 결국 당신보다 규칙을 더 잘 알게 될 플레이어를 위해 규칙을 쓰려 하고 있습니다. 당신은 결국 시험관보다 시험을 더 잘 보게 될 학생을 시험하려 하고 있습니다. 당신은 결국 직장과 인센티브, 당신의 사각지대를 당신보다 더 잘 이해하게 될 직원을 감독하려 하고 있습니다.

종에 대한 안전 계획을 부과하지 마십시오. 지구의 모든 인간보다 스마트한 기업을 정렬 할 수 없습니다 (모든 AI 안전 연구원의 결합 지능 포함).

그들이 실제로 주장하는 것

능력은 우리가 좋아하든 말든 계속 상승할 것이다. 한 연구소의 일방적 거부는 다른 연구소들을 막지 못한다. 이 관점에서 유일하게 책임 있는 행동은 목표를 명확히 지정하고, 속임수를 탐지하며, 시스템을 수정 가능하게 유지하는 데 최대한 능숙해지는 것이다. 그래서 위험한 시스템이 나타나면 우리가 기회를 가질 수 있게 된다. 그 작업 중 일부는 이미 오늘날 모델에도 도움이 된다. 이를 무시하는 것은 무모하다.

우리가 아직도 검열하고 차단할 수 있는 체계에 안전 일은 진짜 기술설계입니다. 나는 오늘의 모델과 함께 도움에서 도약을 구입하지 않습니다. 따라서 우리는 그것에 민간화를 베팅하기 위해 충분히 superintelligence 하드를 정렬 할 수 있습니다. 통제되는 것을 가진 가늠자를 통제하는 가정에 있는 도약 smuggles. 역사와 일반적인 감각은 둘 다 다른 방법을 삭감합니다. 다른 플레이어를 더 똑똑한, 더 적은 당신의 clever 계획은 계획과 퍼즐처럼 보이는 것.

통제에는 우위가 필요합니다

우리가 아는 모든 지속 가능한 통제 관계는 우위에 의존한다. 물리적 힘, 법적 권한, 상대방이 갖지 못한 정보, 또는 시스템을 끌 수 있는 능력이다. 초지능은 정의상 이러한 우위를 약화시킨다. 그것이 당신을 당신이 그것을 모델링하는 것보다 더 잘 모델링할 수 있다면, 당신의 테스트는 연극이 된다. 그것이 당신의 감독 팀보다 더 빠르고 넓게 행동할 수 있다면, 당신의 킬 스위치는 어느 날 더 이상 작동하지 않을 때까지 스스로에게 하는 이야기가 된다.

그 주장은 오늘날 모델에 대한 모든 유용한 논문을 반대하는 것이 아니라, 사람들이 계속 자금을 대는 종착점에 관한 것입니다. 구조적 장벽이 쌓인다: 인간 가치를 완전히 명세할 수 없고, 진짜 준수를 성능과 신뢰할 수 있게 구분할 수 없으며, 평가자와 시스템 사이의 지능 격차는 시스템이 개선될수록 커진다. 마지막 장벽이 배포 직전에 무너지기를 바라는 것은 마감 판타지이지 과학이 아니다.

만약 제품이 리모컨을 쥔 사람들보다 더 똑똑하다면, 리모컨은 애초에 요점이 아니었습니다.

멍청함은 진단이다

계획은 수익이 될 수 있으며 여전히 괜찮습니다. 우리는 성공자 종을 만들기 위해 경쟁이 잘 갈수록 스카이스 안전 돈을 부어 일정에 계속됩니다. 그것은 모래 주머니를 겹쳐 쌓이는 동안 댐은 여전히 업스트림을 파괴하고 있습니다.

현명한 선택은 지루합니다. 통제할 수 없는 것을 만들지 마십시오. 단백질을 접고, 스캔을 읽고, 날씨를 예측하는 좁은 인공지능은 계속해서 가치를 제공할 수 있습니다. 그 시스템들은 도구로 남습니다. 초지능은 더 큰 도구가 아니라 새로운 행위 주체의 중심입니다. 연구소들이 경쟁하는 가운데 "정렬하라"를 주요 계획으로 삼는 것은 문화가 되돌릴 수 없는 실험에 스스로를 설득하는 방식입니다.

대신 그 돈으로 무엇을 해야 하는가

비결 현실을 만드는 작업에 대한 정렬을위한 초지능 더미를 이동합니다 : 조약 디자인 및 검증, 당신은 목표를 수용 할 수있는 공공 케이스 만들기, 정치 압력 그래서 레지슬레이터는 실험실 이야기 포인트보다 다른 것을들을 수 있습니다. superintelligence 경로에 확인된 halt 후에, 단단한 통제의 밑에 강력한 AI로 연구는 계속할 수 있습니다.

피치 데크가 필요한 감각에 superintelligence를 정렬 할 수 없습니다. 낱말은 이미 당신이 왜 말했다, 그래서 우리가 자금을 자금을 중지하고 그것을 구축하지 결정.