인공지능을 신뢰하시겠습니까
가스와 함께?

간단한 테스트입니다. 오늘 모든 AI 시스템을 사용할 수 있도록 밀봉 된 방에서 당신을 잠그고 제어, 독가스의 탱크에 시스템의 와이어에서 천장에 HVAC를 넣고 밸브를 열지 않습니까? 물론 아니. 백만 달러를 위해하지 않을 것입니다. 당신은 당신의 생활에 단 하나 믿을 수 없는 레버를 가진 기계를 신뢰하지 않습니다.

이제 방 규모를 키워라

세상은 더 큰 방이다. 레버는 에너지망, 시장, 무기망, 생물 실험실, 물류, 그리고 이미 일상생활 위에 놓인 소프트웨어 계층이지 소품 탱크가 아니다. 우리는 분기마다 레버를 당기는 데 더 능숙해지는 시스템을 만들고 있으며, 매년 더 많은 레버를 소프트웨어에 연결하고 있다.

오늘날의 모델을 한 방의 밸브 하나에 맡길 수 없다면, 내일의 모델을 모든 밸브에 맡기는 것을 왜 신뢰하는가? 흔한 대답은 부드럽다. "더 많이 테스트할 것이다." "인간을 루프에 남겨 둘 것이다." "그때는 정렬되어 있을 것이다." 그것들은 희망이다. 작은 테스트와 큰 테스트가 반대 답을 받아야 하는 이유가 아니다.

밸브를 넘기지 않을 거라면, 세상을 넘기지도 마세요.

정직성 격차

이 시스템을 다루는 사람들은 신중한 표현로, 일정 능력 수준을 넘어서면 통제를 보장할 방법을 모른다고 인정하곤 한다. 그 뒤로도 제품 로드맵은 이어진다. 사적인 신중함과 공적인 배포 사이의 간극이 문제를 축소해 보여주는 전부다.

나는 당신이 이미 시나리오가 콘크리트가 될 때 판단을 유지하도록 요청. 잠그는 방과 가스 벨브는 말뚝을 명백하게 만듭니다. Superintelligence는 더 나쁜 확률과 리셋 버튼을 가진 동일한 모양입니다.

밸브와 함께 전류 모델을 믿을 수 있습니까? 답이 없으면, 투표, 펀드, 또는 문명과 신뢰하는 방법으로 파쇄하지 마십시오. 일관적인 대답은 당신이 살아 있는 것을 지키는 한개입니다: 당신이 방에 잠그지 않을 것이라는 체계를 건설하지 마십시오.