Open Philanthropy, 80,000 Hours, và dòng nghiên cứu đi qua Viện Tương lai Nhân loại đã làm điều mà hầu hết các tổ chức vẫn từ chối làm. Họ coi trí tuệ siêu nhân tạo là một cách có thể xảy ra để câu chuyện loài người kết thúc, và họ chuyển tiền thật cùng nhân tài thật cho nhận định đó. Về rủi ro thực sự, họ đã sớm và họ đúng.

Nơi danh mục đầu tư sai lầm là suy luận tiếp theo. Từ "điều này có thể vĩnh viễn hạn chế tương lai của nhân loại," câu trả lời chủ đạo của phe dài hạn trở thành: tài trợ nghiên cứu alignment kỹ thuật, tài trợ quản trị siêu trí tuệ làm chậm hoặc định hướng biên giới, và giữ một con đường mở để xây dựng các hệ thống khi chúng trông an toàn hơn. Đó cũng là kế hoạch sai lầm cho rủi ro mà họ đã đặt tên đúng.

Sao lại thẳng hàng như cái cần gạt?

Quy mô, mức độ bị bỏ qua và khả năng giải quyết vẫn quan trọng. Một siêu trí tuệ lệch hướng có thể ảnh hưởng đến mọi người đang sống và mọi thế hệ sau họ. Trong nhiều năm gần như không ai có quyền lực coi đó là khả năng thực tế. Công việc kỹ thuật về việc chỉ định mục tiêu sai, lừa dối và giám sát trông giống như một trong số ít đòn bẩy có thể nâng cao cơ hội kết quả tốt nếu các hệ thống mạnh mẽ xuất hiện dù sao. Việc đóng cửa phòng thí nghiệm đơn phương trông vô vọng dưới cạnh tranh. Vì vậy danh mục trách nhiệm kết hợp khoa học alignment, chính sách mua thời gian, và ảnh hưởng thận trọng bên trong các phòng thí nghiệm và chính phủ sẽ xây dựng các hệ thống dù sao đi nữa.

Mặt trái là văn minh và chủ đề bị bỏ quên. Một số hệ thống an toàn kỹ thuật mà chúng ta vẫn có thể kiểm tra và tắt máy là công nghệ thông thường. Phòng thí nghiệm đối lập và các bang đối lập làm cho "một công ty bỏ" một chiến lược yếu.

Nơi suy luận bị phá vỡ

Điểm đứt gãy là giả định thầm lặng rằng đích đến đã được định sẵn. Nếu siêu trí tuệ đang đến bất kể điều gì, thì công việc duy nhất còn lại là làm cho sự đến nơi ít chết chóc hơn. Tài trợ alignment, evals và "responsible scaling" đều có ý nghĩa dưới giả định ấy. Chúng trở thành dự án đạo đức chính của một thế hệ tin rằng mình không thể chọn trạng thái kết thúc. Hầu hết tiền bạc và uy tín vẫn đổ vào việc làm cho cuộc đua an toàn hơn, thay vì chấm dứt cuộc đua hướng tới siêu trí tuệ.

Chúng ta có thể chọn địa điểm. Vũ khí hạt nhân, hóa chất ô - li - ve và nhân bản con người đều có những lúc mà các chính phủ quyết định rằng một số trạng thái cuối cùng không đáng để mạo hiểm. Siêu thông minh thuộc về danh sách đó vĩnh viễn. Con người không thể kiểm soát sự siêu thông minh.

Một khi bạn bỏ giả định về tính tất yếu, danh mục đầu tư trông khác đi. Vốn an toàn khan hiếm chi cho việc làm cho cuộc đua trở nên dễ quản lý là vốn không được chi để chấm dứt cuộc đua. Quản trị chỉ làm chậm biên giới để các phòng thí nghiệm "bắt kịp an toàn" vẫn coi việc xây dựng trí óc không thể kiểm soát là kế hoạch. Công việc alignment giả định chúng ta sẽ tạo ra một loài kế thừa rồi trói buộc nó là nhầm lẫn giữa một chương trình nghiên cứu với một chiến lược sinh tồn.

Họ ghi đúng sổ cái nhưng nhầm điểm đến.

Nghiên cứu sau khi dừng lại, không phải thay vì nó

Công việc làm cho hệ thống ngày nay minh bạch hơn, khó sử dụng hơn, hoặc dễ tắt đi vẫn có thể là vấn đề. Sau khi xác nhận đã dừng lại trên con đường dẫn đến siêu thông tin, nghiên cứu về việc kiểm soát trí tuệ nhân tạo mạnh mẽ có thể tiếp tục mà không cần đồng hồ dừng thương mại có nguy cơ tuyệt chủng.

Điều thất bại là coi alignment kỹ thuật là câu trả lời chính trong khi các phòng thí nghiệm biên giới vẫn đang mở rộng theo cùng lịch. Đó là đảo ngược vấn đề. Khi bạn không thể kiểm soát mặt tiêu cực, và mặt tiêu cực là tất cả mọi người, hành động có trách nhiệm là ngừng xây dựng thứ nguy hiểm đó. Siêu trí tuệ không thể kiểm soát được. AI hẹp vẫn tiếp tục phát triển. Loại hệ thống hẹp có khả năng vượt trí tuệ con người trên mọi lĩnh vực thì không.

Một sự chậm trễ tạm thời vì vậy sự an toàn có thể theo kịp là một cuộc cá cược cho rằng ai đó sẽ phát minh ra một cách có hiệu quả để kiểm soát một trí óc thông minh hơn các nhà chế tạo, đúng giờ, dưới áp lực cạnh tranh. Không ai có phương pháp đó, không phải ở quy mô nhỏ mà không phải ở diện rộng. Những phòng thí nghiệm dẫn đầu nói nhiều ở nơi công cộng.

Mọi người thường phải ngăn chặn tập tin với từ "chause". Một sự tạm dừng là một vài năm của phòng thở và sau đó tiếp tục. Chúng tôi muốn chính phủ ngăn chặn siêu thông minh nhân tạo và tiếp tục ngăn chặn nó vĩnh viễn. Siêu thông minh không thể kiểm soát được. Hiệp ước là một đường thoát khỏi cuộc đua.

Tiền nên được dùng để làm gì thay vào đó

Di chuyển các chồng thẳng hàng cho ASAI hướng đến công việc mà làm cho không phải thực hiện được: thiết kế hiệp ước và xác thực, quản lý độ chip có thể được thanh tra, công khai đóng hộp mà giữ cho các mục tiêu có thể chân lý, huýt sáo và minh bạch mà nâng cao chi phí của các khả năng nhảy xuống yên tĩnh, và tổ chức chính trị như vậy các cơ quan lập pháp nghe từ các cử tri hơn là chỉ từ các nhân viên phòng thí nghiệm. Tài trợ cho quyết định không xây dựng nó.

Chủ nghĩa lâu dài được công nhận là đã đặt tên cho một rủi ro mà hầu hết những người ưu tú vẫn coi là khoa học viễn tưởng. Tín dụng cho chẩn đoán không khóa trong đơn thuốc. Cùng một rủi ro, kế hoạch khác: ngăn chặn sự thông minh siêu đẳng dưới luật pháp, và giữ những công cụ giúp con người. Hãy để giấc mơ về một vị thần được hướng dẫn cẩn thận trên kệ cho đến khi thế giới đồng ý không xây dựng một vị thần trong bóng tối.