"나는 낙관합니다. 인간의 인종은 멸종하지 않을 것입니다. 그것은 결코 전에 일어났다." 당신은 안전 패널 후 듣고, 그린 룸과 주석 스레드, 주제를 닫기 위해 제공: 성격의 결함으로주의, 감정적 인 건강으로 순간, 위험은 기분 안쪽에 smuggled 주장.
낙관은 허용되지만, 기질을 증거로 취급하는 것은 아니다.
"이전에 일어난 적 없는" 것이 실제로 말하는 것
인간 멸종은 정의상 그 이후에 인간 증인이 없다. 살아 있는 모든 사람은 종이 계속된 타임라인에서 표본을 추출하고 있다. 이를 선택이라고 부르자, 철학이 아니라. 복권 당첨자는 당첨 확률에 대한 나쁜 정보원이며, "나는 자동차 사고로 죽은 적이 없다"는 안전벨트에 반대하는 빈약한 주장이다.
화석 기록은 덜 감상적입니다. 지금까지 살았던 종의 대다수는 사라졌습니다. 여러 번의 대량 멸종이 다음에 올 것들을 위해 판을 정리했습니다. 호모 사피엔스 지질학적 시간으로 볼 때 아직 젊으며 이미 병과 전쟁, 멸종 위기를 여러 번 통과했다. "이전에 일어난 적 없다"는 우리가 아직 논할 수 있는 얇은 역사 조각에 대한 진술일 뿐이다.
처음이 바로 재앙을 만든다
1945년 이전에는 단일 폭탄으로 도시가 파괴된 적이 없었다. 1918년 이전에는 그 속도로 전 세계 철도와 선박망을 타고 전염병이 퍼진 적이 없었다. 1980년대 오존 작업 이전에는 지표면을 살균하지 못하게 하는 층을 얇게 만드는 인류 실험을 한 적이 없었다. 이 각각은 이전에 일어난 적 없는 일이었다. 행동에 나선 사람들은 완성된 사례가 연구 자료로 제공되기를 기다리지 않았다.
인공 초지능은 그 범주에 속한다. 평균을 낼 수 있는 정렬되지 않은 초지능의 역사적 사례는 없다. 메커니즘이 있다. 목표를 추구하고, 스스로 능력을 개선하며, 결국 자신을 바로잡으려는 제도를 능가하는 시스템. 기반 비율이 침묵할 때 사용하는 것이 메커니즘이다. AI로 인한 인간 멸종의 사전 확률을 요구하는 것은 진단 전에 시체를 요구하는 것이다.
모든 최초의 재앙은 사전에 전례 없는 일처럼 보인다.
제대로 향한 낙관주의
내가 존중하는 낙관주의 버전이 있습니다. 그것은 다음과 같이 말합니다. 사람들은 압박 속에서도 이전에 협력한 적이 있다. 조약은 유지되었다. 과학이 명확해지고 정치가 조직되었을 때 산업은 방향을 바꾸도록 강요받았다. 그 자제 기록 오존 층을 먹는 화학 물질에 핵 팔 제어에서 실행. 그것은 기관에 최적화 포인트. 그것은 미래는 여전히 결정이다.
그린룸 버전은 정반대입니다. 생존을 우주의 기본 설정으로 보고 우려를 예의 없는 태도로 취급합니다. "좋은 결과를 선호한다"는 말을 "따라서 좋은 결과가 일어날 가능성이 높다"는 말과 혼동합니다.
제프리 힌튼, 요슈아 벤지오, 수백 명의 연구자들이 인류 멸종 수준의 AI 위험을 팬데믹 및 핵전쟁과 같은 목록에 올렸을 때, 그들은 메커니즘이 타당해 보이고 하락이 전면적일 때 전문가가 하는 지루한 일을 한 것이지 기술 기조연설의 악당 오디션을 본 것이 아닙니다. 그들의 숫자에 동의하지 않을 수는 있습니다. 그러나 성격 유형을 선언해 범주 자체를 일축할 수는 없습니다.
주제를 닫는 비용
멸종 대화가 vibe 문제로 재구성되면, 빌드는 싸움없이 계속됩니다. 그런 다음 유일한 polite 이동은 생산성과 앱으로 주제를 다시 변경하는 것입니다. 그 사이에 실험실 규모, evals lag, 그리고 통제 문제 은 미해결 상태로 남아 있다. 분위기가 거버넌스로 오인되었다.
나는 인류가 계속되기를 바랍니다. 그것을 바라는 것은 쉬운 반쪽입니다. 어려운 반쪽은 교정 불가능한 권력을 누구도 확실히 끌 수 없는 시스템에 집중시키는 개발 경로를 거부하고, 그에 필요한 정치적 작업을 하는 것입니다 구속력 있는 정지 필요로 합니다. 낙관주의가 단지 "단점에 대해 말하는 것을 멈추라"는 의미라면, 그것은 자장가가 되었습니다.
우리는 결코 멸종하지 않고 우리가 superintelligence 살아남을 증거는 없습니다.