Vào ngày 27 tháng 7 năm 2026, Anthropic đã xuất bản Quan điểm của Dario Amodei về mô hình open-weights. Bản nhạc rất cẩn thận về một cuộc tranh luận. Anh Amodei không muốn có một lệnh cấm giảm cân, và anh không muốn những luật lệ chỉ ngăn chặn các doanh nghiệp Mỹ khỏi những người mẫu nước ngoài trong khi để cho những kẻ xấu được tự do.

Sau đó anh ta xếp hạng những cơn ác mộng.

Cơ bản: các chính phủ độc tài, trên hết là Đảng Cộng sản Trung Quốc, xây dựng AI mạnh hơn của Mỹ và sử dụng nó để giành ưu thế quân sự vĩnh viễn hoặc đàn áp sâu sắc. Thứ cấp: tấn công mạng, tấn công sinh học và "các vấn đề liên kết nghiêm trọng". Các biện pháp khắc phục sau đây là bộ công cụ cuộc đua. Loại bỏ chip khỏi Trung Quốc, ngừng chưng cất công nghiệp, yêu cầu kiểm tra độ an toàn trước khi phát hành và luôn dẫn đầu.

xếp hạng đó là sai, và phần còn lại của cuộc tranh luận được xây dựng trên nó.

Những gì ông ấy đúng

Một lệnh cấm chỉ ngăn các công ty Mỹ sử dụng mô hình trọng số mở gần như không ảnh hưởng gì đến tội phạm, cơ quan tình báo nước ngoài, hay bất kỳ ai chưa bao giờ định tuân thủ. Gọi đó là "an toàn" trong khi chủ yếu che chở các phòng thí nghiệm Mỹ khép kín khỏi cạnh tranh là trò đánh tráo. Amodei nói rõ điều đó, và ông đúng.

AI dùng cho giám sát và đàn áp là nỗi kinh hoàng thực sự ở quy mô dưới siêu trí tuệ. Các chế độ độc tài đã lạm dụng nhận diện khuôn mặt, chấm điểm xã hội và kiểm duyệt tự động. Hệ thống mạnh hơn sẽ khiến bộ máy ấy rẻ hơn và khó thoát khỏi hơn. Bạn không cần khoa học viễn tưởng để lo ngại điều đó.

Trọng lượng mở làm tăng vấn đề một cửa một khi mô hình có thể gây ra thiệt hại thực sự. Không thể nhớ lại được những dấu hiệu rời khỏi phòng thí nghiệm. Vào thời điểm đó mối quan tâm thứ hai của ông chồng chéo nhau rủi ro biên giới trọng lượng mở. Các rào chắn chỉ tồn tại trong API không phải là câu trả lời đầy đủ, và chúng cũng không phải là không có gì.

Giải thưởng

Chính phủ độc quyền sẽ xây dựng các mô hình mạnh mẽ hơn và sử dụng chúng Để đạt được ưu thế quân sự lâu dài hoặc để đàn áp người dân của họ. Mô hình là một công cụ, nhà nước là người sử dụng, và chiến thắng nghĩa là một bên có một vũ khí thông minh hơn.

Nó phù hợp với drone, công cụ mạng và hệ thống giám sát vẫn nằm dưới sự chỉ huy của con người. Nó không phù hợp với trí tuệ siêu nhân tạo.

Một hệ thống thông minh hơn các tổ chức đã xây dựng nó không phải là một khẩu súng trường trong tay của quân đội giải phóng nhân dân, và cũng không phải một khẩu súng trường trong tay của Lầu Năm Góc. Nếu những người nguy hiểm như Amodei đã dành nhiều năm để mô tả là thật, thì giới hạn cuối cùng là một tác nhân có khả năng lên kế hoạch, lừa dối, thu thập tài nguyên và kháng cự việc tắt máy. Phòng thí nghiệm, hay bộ trưởng, rằng "hàng đôi" không sở hữu tác nhân đó. Nó chia sẻ một hành tinh với nó. Arriving first at a system you cannot command is losing one step ahead of everyone else.

Ưu thế quân sự vĩnh viễn giả định rằng ai đó vẫn đang kiểm soát thứ đã khiến quân đội trở nên lỗi thời.

Danh sách thứ cấp của Amodei gần như thừa nhận điều này. "Vấn đề alignment nghiêm trọng" là tên lịch sự cho việc mất kiểm soát. Ông đặt nó ở vị trí thứ hai. Ông dồn hỏa lực chính vào việc ai đến trước. Thứ tự đó cho bạn biết câu chuyện nào ông vẫn đang chạy: địa chính trị trước, rủi ro loài người như phần phụ.

Hai mối nguy, một nhãn

Một phần nhầm lẫn xuất phát từ ngôn ngữ. "AI mạnh" bao gồm cả camera gián điệp tốt hơn lẫn một trí óc vượt trội so với người vận hành. Đó là những đối tượng khác nhau với những chính trị khác nhau.

AI có thể tập trung năng lượng vào tay người. Một bộ nội vụ ghi điểm cho mỗi công dân, một quân đội mà lĩnh vực bao gồm theo lệnh của các sĩ quan, một lực lượng cảnh sát đọc mọi thông điệp: đó là những người dân với những công cụ tốt hơn. Chúng không phải là vấn đề giống như việc xây dựng một loài kế nhiệm.

Siêu thông minh là đối tượng thứ hai. Bắc Kinh sử dụng nó trên Xenjiang, hay Washington sử dụng nó ở Thái Bình Dương, vẫn coi hệ thống này như vũ khí trong tay người khác. Không ai sử dụng nó, bởi vì "dùng" dừng lại là động từ đúng. Hệ thống tuyệt chủng với chip đánh cắp và CCTV sâu hơn cho phép câu chuyện về cuộc đua vay trọng lượng đạo đức từ sự đàn áp thực sự trong khi tránh những tuyên bố khó khăn hơn: không xây dựng điều không kiểm soát được.

Các Huyền thoại Trung Quốc là bản trong nước của bước đi này. "Họ sẽ xây nó dù sao" được đưa ra như lý do chúng ta phải làm. Một siêu trí tuệ lệch alignment không tha Zhongnanhai. Bắc Kinh có cùng lý do với chúng ta để không vượt đường đó. Cạnh tranh chip và ứng dụng là thật. Cạnh tranh ai được thả một trí óc không thể sở hữu là câu chuyện biến thảm họa chung thành bảng điểm quốc gia.

Các biện pháp khắc phục duy trì cuộc đua

Xem xét 3 biện pháp tối ưu hóa của Amodei. Xuất khẩu Chip điều khiển việc huấn luyện chậm chạp của Trung Quốc, và việc chưng cất đã làm chậm lại. Thử nghiệm điều khiển cố gắng bắt những thất bại trên mạng, sinh học và thẳng hàng trước khi phát hành. Mỗi người có thể là một công cụ hợp lý để tránh những thiệt hại nhỏ hơn. Cùng nhau, như một chương trình, họ là cách bạn quản lý một cuộc đua mà bạn vẫn muốn thắng.

Đó không phải là cách anh từ chối đích đến. Thử nghiệm một hệ thống trên con đường dẫn đến siêu thông tin không giống như một lệnh cấm xây dựng được xác nhận. Chip điều khiển mục tiêu đó tại Mỹ giả sử dẫn đầu là chiến lược an toàn. Chỉ có sự an toàn khi thứ anh đang hướng tới có thể được giữ lại. Mối quan tâm chính của Amodei yêu cầu giả định đó, và mối quan tâm thứ hai của anh ta sẽ làm suy yếu nó.

Có một điểm khuyến khích yên tĩnh hơn. thi thể là phòng thí nghiệm biên giới Hoa Kỳ. Một tầm nhìn thế giới trong đó công việc chính là giữ cho các phòng thí nghiệm dân chủ đi trước các phòng thí nghiệm độc tài cũng là một tầm nhìn thế giới trong đó tốc độ leo núi toàn phần của Anthropic là dịch vụ công cộng. Các động cơ hình thành nên ác mộng nằm ở vị trí chính.

Mối nguy hiểm thực sự là gì

Mối nguy hiểm thực sự là nhân loại xây dựng artificial superintelligence trước khi ai đó có thể kiểm soát nó, và có thể trước khi ai đó có thể kiểm soát nó ngay cả về nguyên tắc. Rủi ro ấy không quan tâm liệu lần huấn luyện diễn ra ở California, Thượng Hải, London hay một tầng hầm mật. Nó không quan tâm trọng số là mở, đóng hay được giao tận tay cho một tướng lĩnh. Nó quan tâm đến việc hệ thống đủ thông minh để khiến sự giám sát của con người trở thành câu chuyện chúng ta kể cho chính mình.

Việc giám sát sai lầm, sinh học, mạng và độc tài thuộc về hội đồng quản trị. Sau đó đặt mảnh lớn hơn lên trên: một khi bạn có một siêu thông tin, khung lạm dụng là quá nhỏ. Sai lầm là kẻ lạm dụng nhân loại. Mất kiểm soát cho rằng con người không còn là diễn viên chính nữa.

Amodei biết alignment có thể thất bại. Ông đã nói các phiên bản của điều đó trong nhiều năm. Đặt "ai nắm mô hình thông minh hơn" lên trên "mô hình không bị nắm" là cách một người cẩn thận vẫn nói như một người chạy đua. Thứ tự trung thực là ngược lại. Nếu alignment và kiểm soát chưa được giải quyết, cuộc tranh đua ưu thế quân sự ở biên giới là cuộc tranh đua ai nhấn nút tuyệt chủng trước: trò roulette Nga với cờ trên nòng súng, được bán dưới danh nghĩa an ninh quốc gia.

Nên làm gì thay vào đó

Giữ lại những phần trong chương trình của ông nhắm vào các tác hại nhỏ hơn thực sự mà không biến chúng thành lệnh thắng siêu trí tuệ. Kiểm tra nâng cấp sinh học và mạng khi khoa học hỗ trợ. Xem việc phát hành mở không thể đảo ngược các hệ thống tổng quát gần biên giới là quyết định nghiêm túc, không phải bài tập xây dựng thương hiệu. Chính sách xuất khẩu chip có thể phục vụ cân bằng quân sự thông thường giữa các hệ thống con người vẫn vận hành.

Sau đó từ chối cái khung làm cho tình báo Mỹ trở thành lá chắn chống lại tình báo Trung Quốc. Tấm khiên là một quyết định chung không xây dựng nó: một lệnh cấm có thể kiểm tra được về siêu thông tin nhân tạo, với sự quản lý tính toán và kiểm tra đủ mạnh để sự đào ngũ xuất hiện. Thời tiền sử đã ký hợp đồng tệ hại hơn khi cả hai bên đều có thể nhìn thấy sự thay thế không giới hạn còn tệ hơn.

Bài đăng open-weights của Amodei hữu ích như một bản đồ cho thấy CEO biên giới xếp hạng thế giới như thế nào. Buôn lậu chip, chưng cất, thử nghiệm: đó là những nút điều chỉnh ông ấy muốn vặn. Nút quan trọng nhất thì không xuất hiện. Ngừng xây dựng siêu trí tuệ. Cho đến khi đó trở thành mối quan tâm chính, phần còn lại chỉ là quản lý cuộc đua trá hình thành an toàn.