Open Philanthropy, 80,000 Hours, 그리고 Future of Humanity Institute를 거쳐 온 연구 계보는 대부분의 기관이 여전히 거부하는 일을 했습니다. 그들은 인공 초지능을 인류 이야기의 종말을 가져올 수 있는 개연성 있는 방식으로 다루었고, 그 주장에 실제 자금과 인재를 투입했습니다. 위험 자체에 관해 그들은 일찍 움직였고 옳았습니다.

포트폴리오가 잘못된 지점은 다음 추론입니다. "이것이 인류의 미래를 영구히 축소할 수 있다"는 데서 주류 장기주의적 답은 기술적 정렬 연구에 자금을 대고, 최전선을 늦추거나 방향을 잡는 초지능 거버넌스에 자금을 대며, 시스템이 더 안전해 보일 때까지 구축 경로를 열어 두는 것이었습니다. 그들이 정확히 지적한 위험에 대한 계획치고도 잘못된 계획입니다.

정렬이 지렛대처럼 보였던 이유

규모, 방치도, 해결 가능성은 여전히 중요하다. 정렬되지 않은 초지능은 현존하는 모든 사람과 이후 모든 세대에 영향을 미칠 수 있다. 수년 동안 권력을 가진 거의 누구도 이를 현실적인 가능성으로 다루지 않았다. 목표 오지정, 기만, 감독에 관한 기술적 작업은 강력한 시스템이 어쨌든 등장하더라도 좋은 결과를 낼 확률을 높일 수 있는 몇 안 되는 수단 중 하나로 보였다. 일방적인 연구소 폐쇄는 경쟁 상황에서 희망이 없어 보였다. 따라서 책임 있는 포트폴리오는 정렬 과학, 시간을 벌어주는 정책, 그리고 어쨌든 시스템을 구축할 연구소와 정부 내부에서 신중한 영향력 행사를 혼합한 것이었다.

downside는 문명이며 주제는 무시되었습니다. 몇몇 기술적인 안전 일 체계에 우리는 아직도 검열하고 끄는 것은 정규적인 기술설계입니다. Rival 실험실과 라이벌은 "하나의 회사가 종료"약한 전략을 만듭니다.

추론이 무너지는 곳

단절은 목적지가 고정되어 있다는 조용한 가정이다. 초지능이 어쨌든 온다면 남은 일은 도착을 덜 치명적으로 만드는 것뿐이다. 정렬 자금, 평가, "책임 있는 확장"은 모두 그 가정 아래서 의미가 있다. 그들은 초지능으로 가는 경주를 끝내는 것이 아니라 더 안전하게 만드는 것을 세대의 주요 도덕적 과제로 만든다. 돈과 명성의 대부분은 여전히 경주를 끝내는 것이 아니라 경주를 더 안전하게 만드는 데 쓰인다.

우리는 우리의 목적지를 선택할 수 있습니다. 핵무기, 오존 화학, 그리고 정부가 특정 최종 상태가 잔여 위험이 없다는 것을 결정했을 때 인간 복제는 각 순간을했다. Superintelligence는 그 목록에 영구적으로 속합니다. Superintelligence는 인간에 의해 통제될 수 없습니다.

불가피성 가정을 버리면 포트폴리오는 달라 보인다. 경주를 관리 가능한 상태로 만드는 데 쓰이는 희소한 안전 자본은 경주를 끝내는 데 쓰이지 못한다. 프론티어를 늦춰 연구소가 "안전에서 따라잡게" 하는 거버넌스는 여전히 통제 불가능한 마음을 만드는 것을 계획으로 삼는다. 우리가 후계 종을 만들고 나서 그것을 묶을 것이라고 가정하는 정렬 작업은 연구 프로그램을 생존 전략과 혼동하는 것이다.

장부는 맞췄지만 목적지는 틀렸다.

중단 대신이 아닌 중단 후의 연구

오늘날의 시스템을 더 투명하게 만드는 작업, 오용에 더 열심히, 또는 쉽게 차단 할 수 있습니다 여전히 중요. superintelligence에 대한 검증 된 halt 후 강력한 AI를 제어하는 연구는 멸종 위험을 감수하지 않고 계속할 수 있습니다.

기술적 정렬을 주요 해결책으로 삼으면서 프런티어 연구소들이 같은 일정으로 규모를 확대하는 태도가 문제입니다. 이는 문제를 뒤집는 셈입니다. 하방 위험을 통제할 수 없고 그 위험이 인류 전체일 때, 책임 있는 행동은 위험한 것을 만드는 일을 멈추는 것. 초지능은 통제될 수 없습니다. 좁은 AI는 계속됩니다. 모든 영역에서 인간 지능을 초월하는 시스템의 좁은 부류는 그렇지 않습니다.

임시 속삭임이 너무 안전이 잡을 수 있습니다. 누군가를 가정하는 일정 베팅은 경쟁적인 압력의 밑에, 그 제작자 보다는 더 똑똑한 것을 통제하는 유효한 방법을 발명할 것입니다. Nobody는 작은 가늠자에 그것 방법, 그리고 큰에 아닙니다. 납땜 실험실은 대중에서 많은 것을 말합니다.

사람들은 종종 "쉼"의 밑에 파일 예방. 일시 중지는 몇 년의 호흡 방과 다음 다시 시작합니다. 우리는 정부를 인공 superintelligence를 방지하십시오 그리고 그것을 영구적으로 막기. Superintelligence는 통제될 수 없습니다. 조약은 경주에서 떨어져 램프입니다.

돈이 대신 해야 할 것

이 웹 사이트는 애플 리케이션에 전념. 우리는 정품 앱과 게임을 제공 할 목적으로이 사이트를 만들었습니다. 4AppsApk 최고의 안드로이드 애플 리케이션을위한 무료 APK 파일 다운로드 서비스, 계략. 그것을 구축하지 않는 결정.

장기주의는 과학 소설으로 가장 많은 엘ites를 의미하는 신용을 얻었다. 진단을 위한 신용은 처방전에서 잠그지 않습니다. 동일한 위험, 다른 계획: 법의 밑에 superintelligence를 방지하고, 인간을 돕는 공구를 지킵니다. 세계가 암흑에서 하나 구축하지 않는 합의 될 때까지 선반에 똑똑똑한 신의 꿈을 남겨.