Tôi tin rằng một ngày nào đó, với nhiều vật lý hơn những gì chúng ta nắm giữ năm 2026, chúng ta có thể kiểm soát lực hấp dẫn, mở lỗ sâu, thậm chí di chuyển nhanh hơn ánh sáng. Theo kiến thức hiện tại thì những điều đó là bất khả thi. Tôi vẫn nghĩ chúng ta mới chỉ chạm nhẹ vào những gì có thể biết được. Tôi coi đó là sự thực tế về việc khoa học của chúng ta còn trẻ đến mức nào.

Một tương lai mà tôi chưa bao giờ có thể hiểu được, cho dù tôi có lật ngược nó bao lâu hay bao nhiêu người mà tôi đã nói với họ: kiểm soát một thực thể thông minh hơn chúng ta. Sinh học hay máy móc. Từ hành tinh này hay hành tinh khác. Nếu đầu óc còn lại thông minh hơn nhân loại, tôi không thể thấy cách chúng ta kiểm soát nó.

Bảng điểm

Đặt một số thô lên để hình dạng khó né. Gọi toàn bộ kiến thức và kỹ năng của nhân loại, làm việc cùng nhau, 100. Một người trung bình giữ một miếng nhỏ của nó.

Bây giờ hãy tưởng tượng bằng cách nào đó chúng ta thực hiện hoàn hảo: mọi con người liên quan, phòng thí nghiệm và chính phủ, không lãng phí và không chậm trễ. Chúng tôi đặt 100 đô lên bàn.

Hãy cho phía bên kia một trần cao hơn. Giả sử mức tối đa của nó là 200. Nó thậm chí không cần một ngày tốt. Với hiệu suất 51 phần trăm, nó vẫn vượt 102. Nó đánh bại tổng điểm con người hoàn hảo ngay cả khi nửa tỉnh nửa mê.

Trong chiến tranh của con người, một bên thường chỉ cần một lợi thế mỏng manh về trí thông minh, hậu cần, hoặc vũ khí để khóa trong một chiến thắng quyết định. Các cạnh mảnh kết thúc như tổng kết quả tất cả các thời gian. Vậy làm thế nào để chúng ta đánh bại một thứ thông minh hơn chúng ta, chứ không phải một người gần gũi?

Hiến pháp cho đảng yếu hơn viết thư cho phe mạnh mẽ hơn không ràng buộc phe mạnh mẽ hơn.

Vật lý không phải là đối thủ

Khi tôi nói rằng chúng ta có thể kiểm soát trọng lực một ngày nào đó, một số người nghe thấy một niềm tin chung rằng khó khăn vấn đề sinh ra. Một số vấn đề khó khăn thì có. Lực lượng và vật liệu không phải là đặc vụ. Họ không lên kế hoạch xung quanh kế hoạch của bạn, hoặc che giấu chiến lược vì họ đã bắt chước bạn. Vật lý mở rộng vẫn còn khó. Chọn một tâm trí mà nghĩ rằng các nhà cai trị là một loại khó khăn khác.

Kiểm soát, trong mọi trường hợp bền vững mà chúng ta biết, đều dựa trên một lợi thế: vũ lực, luật pháp, bí mật, nút tắt, hoặc bên kia đơn giản là không thể vượt qua bạn. Siêu trí tuệ là dự án xóa bỏ lợi thế đó một cách có chủ đích. Bạn đang cố giám sát một người chơi cuối cùng sẽ đánh bại bạn ở cả giám sát, tìm kẽ hở lẫn nhận ra khi bạn định rút phích.

Tôi đã nghe những phiên bản đầy hy vọng. Chúng ta sẽ lớn lên cùng nó, hợp nhất, nuôi nó bằng tình yêu, hoặc giữ nó trong một cái hộp cho đến khi chúng ta chắc chắn. Mỗi phiên bản vẫn cho rằng đảng yếu hơn đặt ra những điều khoản lâu dài cho người mạnh hơn. Tôi có thể ngưỡng mộ điều ước, nhưng nó không phải là nền tảng thực tế.

Tại sao quỹ tồn tại

Nếu bạn không thể thấy sự kiểm soát, đừng xây dựng điều cần thiết. Những công cụ ít ỏi có thể tiếp tục chế tạo thuốc men, khoa học và kỹ nghệ tốt hơn. Đường này là siêu thông minh nhân tạo: một trí óc tổng quát mà vượt qua chúng ta và không còn nằm dưới sự chỉ huy của con người.

Tôi khởi xướng Quỹ Nakada vì đường đó đang bị coi như một lịch trình kỹ thuật thay vì một biển báo dừng cho loài người. Các phòng lab chạy đua. Chính phủ nói về chiến thắng. Công việc an toàn thường giả định điểm đến và cố gắng làm dịu cú va chạm. Cú va chạm mới là vấn đề. Bạn không thể liên kết cách của mình vượt qua khoảng cách trí tuệ Anh được định nghĩa là tồn tại.

Tôi tin rằng chúng ta có thể tiếp tục tồn tại trong một tương lai tươi sáng, và bước đầu tiên để làm điều đó là quyết định chung không xây dựng một thực thể mà chúng ta không thể kiểm soát.