Đây là một bài kiểm tra đơn giản. Anh có thể để hệ thống AI nào có thể khóa anh trong một phòng kín, đặt HVAC ở trần nhà dưới sự điều khiển của nó, nối hệ thống đó với một thùng khí độc, và tin rằng nó sẽ không mở van? Tất nhiên là không. Bạn sẽ không làm điều đó vì một triệu đô la. Bạn không tin vào cỗ máy với một đòn bẩy không thể đảo ngược trong cuộc sống của bạn.

Bây giờ hãy mở rộng phòng

Thế giới là một căn phòng lớn hơn. Các đòn bẩy là lưới điện, thị trường, mạng lưới vũ khí, phòng thí nghiệm sinh học, hậu cần và lớp phần mềm đã nằm trên đỉnh của cuộc sống thường nhật, không phải một bể chứa đạo cụ. Chúng ta đang xây dựng các hệ thống ngày càng giỏi hơn trong việc kéo các đòn bẩy mỗi quý, và chúng ta đang kết nối nhiều đòn bẩy hơn với phần mềm mỗi năm.

Nếu bạn không tin tưởng mô hình ngày nay với một van trong một phòng, tại sao lại tin tưởng mô hình ngày mai với tất cả chúng? Các câu trả lời thông thường đều yếu ớt. "Chúng ta sẽ kiểm tra nhiều hơn." "Chúng ta sẽ giữ con người trong vòng lặp." "Đến lúc đó nó sẽ được căn chỉnh." Đó là những hy vọng. Chúng không phải là lý do để bài kiểm tra nhỏ và bài kiểm tra lớn nhận được câu trả lời trái ngược.

Nếu bạn không giao van cho nó, đừng giao cả thế giới.

Khoảng cách trung thực

Những người làm việc trên các hệ thống này đôi khi thừa nhận, bằng ngôn ngữ thận trọng, rằng họ không biết cách đảm bảo kiểm soát vượt quá một mức năng lực nhất định. Sau đó lộ trình sản phẩm vẫn tiếp tục. Khoảng cách giữa sự thận trọng riêng tư và việc triển khai công khai chính là toàn bộ vấn đề thu nhỏ.

Tôi yêu cầu anh giữ phán quyết mà anh đã có khi kịch bản được đảm bảo. Một căn phòng bị khóa và một cái van khí thì rõ ràng là có rủi ro. Siêu thông minh là cùng một hình dạng với tỷ lệ thấp hơn và không có nút khởi động lại.

Anh có thể tin tưởng bất kỳ mô hình hiện tại nào với cái van không? Nếu câu trả lời là không, đừng bỏ phiếu, tài trợ, hoặc nhún nhường để tin tưởng vào nền văn minh. Câu trả lời nhất quán là câu trả lời giúp bạn sống sót: đừng xây dựng hệ thống mà bạn sẽ không tự nhốt mình trong phòng.