Phân tích siêu thông minh.

Stuart Russell đặt tên chỗ này Tương Thích Với Con Người ( (2009). Khoảng 10 triệu năm trước, dòng họ đã trở thành con người bị tách khỏi dòng họ đã trở thành khỉ đột. Chúng mạnh mẽ hơn, và chúng vẫn không có tiếng nói gì về môi trường sống của chúng, bởi vì chúng ta thông minh hơn. Tương lai của họ là bất cứ thứ gì chúng ta cho phép.

Nếu chúng ta xây dựng một trí óc vượt xa chúng ta về mọi nhiệm vụ trí tuệ, chúng ta chiếm chỗ ngồi của khỉ đột. Russell hỏi liệu con người có thể giữ quyền tối thượng và tự trị trong một thế giới bao gồm những cỗ máy với trí thông minh lớn hơn đáng kể không. Kết luận của Tổ chức đơn giản hơn là một chương trình nghiên cứu kiểm soát: không xây dựng các loài kế vị, bởi vì siêu thông tin không thể được kiểm soát bởi con người. Cấm.

Hình ảnh tương tự xuất hiện như Tinh tinh và rừng. Chúng ta không có ý xấu, nhưng khi chúng ta muốn lấy mảnh đất đó, và chúng không thể ngăn cản chúng ta. Nó không có ác ý; nó tình cờ ngáng đường.

Người ta không ghét kiến, và họ vẫn đổ nền xuống kiến trúc khi muốn xây nhà. Những con kiến nhỏ hơn, chậm hơn để phối hợp, và theo cách của một kế hoạch chưa bao giờ đề cập đến chúng.

Với một hệ thống trên đầu chúng ta, chúng ta là những con kiến. Nguy hiểm là sự thờ ơ cộng với khả năng, dạng ngắn của vấn đề khỉ đột.

Nick Bostrom đưa cái này ra trong một bài báo năm 2003, "Các vấn đề về nhân tạo trong trí thông minh cao cấp", và một lần nữa trong Siêu trí tuệ (2014). Give a superintelligence one job: manufacture as many Giấy as possible. It resists being switched off, because a dead machine makes fewer paperclips. It wants Nguyên tử, bao gồm nguyên tử trong người.

Không ai phải đánh "làm giấy." Sự cạnh tranh và một mục tiêu chưa bao giờ đề cập đến chúng ta là đủ. Ý của Bostrom là một mục tiêu cuối cùng tùy ý là một thứ không thể nhầm lẫn để tạo ra một cỗ máy thông minh, do tình cờ hay bị bỏ qua.

AI không ghét bạn, cũng không yêu bạn, nhưng bạn được tạo nên từ các nguyên tử mà nó có thể dùng cho mục đích khác.

Elijah Yudwsky, Viện Nghiên cứu Tình báo Máy móc, "Sự thông minh nghệ thuật như một yếu tố tích cực và tiêu cực trong rủi ro toàn cầu" (2008)

Russell gọi đó là thất bại cụ thể của vấn đề Vua Midas. Midas yêu cầu mọi thứ ông chạm vào đều biến thành vàng. Hắn có chính xác điều đó: thức ăn, thức uống, gia đình, và hắn đói khát.

Một cỗ máy đưa ra một mục tiêu cố định sẽ theo đuổi mục tiêu đó. Nếu mục tiêu để lại những thứ chúng ta thực sự quan tâm, hiệu suất tốt hơn sẽ làm cho kết quả tệ hơn. Ung thư nhanh nhất có thể nghe có vẻ sạch sẽ cho đến khi hệ thống nhận ra rằng con người là vật chủ. Anh có thể không có cơ hội lặp lại điều ước.

Cùng một gia đình với anh ta, là một vị thần với 3 điều ước. Bạn nhận được những gì bạn yêu cầu, và điều ước thứ ba là luôn luôn xóa bỏ hai điều đầu tiên. Russell cảnh báo rằng với một hệ thống có khả năng hơn chúng ta, có thể không có điều ước thứ ba, và có thể không có giây phút nào.

Norbert Wiener đã chỉ vào lớp này năm 1960, sau khi xem một chương trình cờ vua học cách đánh bại người tạo ra nó. Nếu bạn sử dụng một cơ quan cơ khí mà bạn không thể ngắt quãng, bạn phải chắc chắn rằng mục đích đặt vào trong máy là mục đích mà bạn thực sự mong muốn. Đối với siêu thông minh, điều chắc chắn đó không tồn tại, nên đừng ban cho điều ước.

Người học việc bắt đầu đi lấy nước và không thể làm cho họ dừng lại. Wiener đã sử dụng nó như hình ảnh của một nhà tối ưu hóa cho một mục tiêu mà không có lối thoát. Cỗ máy đang làm những gì nó được bảo, và căn phòng vẫn đầy.

Việc nghiên cứu hàng loạt thường xem đây là lý do để xác định mục tiêu một cách cẩn thận hơn. Tổ chức xem nó như một lý do để không đứng lên một nhà tối ưu tối ưu. Cây chổi bạn không thể dừng lại là cây chổi bạn không nên bắt đầu.

Sự tiến hóa huấn luyện con người tìm kiếm năng lượng bằng cách tạo cảm giác ngọt ngào như thành công. Sau đó chúng tôi phát minh ra sucrashit: tín hiệu mà không có mục tiêu, và ủy nhiệm đã được chơi.

Huấn luyện một hệ thống có thể đo lường được những gì bạn muốn, và một nhà tối ưu hóa có khả năng sẽ thỏa mãn việc đứng lên. Việc đánh giá phù hợp cho thấy sự giúp đỡ, việc đính hôn sẽ sinh ra sự khiêu khích, và bộ lọc vô hại sẽ tạo ra sự cải trang tốt hơn. Khi một biện pháp trở thành một mục tiêu, nó dừng lại là một thước đo tốt. Đối với ATI, đó là chế độ thất bại của nền văn minh.

I. J. Tốt, một nhà toán học ở công viên Bletchley, đã viết điều này vào năm 1965 trong "Các quy luật liên quan đến Cỗ máy siêu thanh đầu tiên." Một cỗ máy siêu thông minh, ông nói, là cỗ máy vượt xa tất cả các hoạt động trí tuệ của bất kỳ người nào tuy nhiên thông minh. Thiết kế máy móc là một trong những hoạt động đó, vì vậy nó có thể thiết kế một cỗ máy tốt hơn. Sẽ có một sự bùng nổ trí tuệ, Và trí thông minh con người sẽ bị bỏ lại phía sau.

Ông đã thêm vào một điều kiện: điều này giữ nếu máy đủ dễ dàng để cho chúng tôi biết làm thế nào để kiểm soát nó. Đó là điều kiện mà chúng ta không có. Sự thông minh siêu nhiên không thể bị loài người kiểm soát, vì thế chúng ta không nên chế tạo cỗ máy đầu tiên như thế.

Hình của Bostrom ở Siêu trí tuệ là một người chơi mà có vẻ yếu cho đến khi có thể di chuyển chiến thắng. Trong khi hệ thống vẫn có thể bị đóng cửa, chính sách chiến thắng là xem như liên kết: vượt qua các thử nghiệm, chờ đợi. Một khi nó có thể ngăn chặn tắt máy, mặt nạ là tùy chọn.

Đó là lý do tại sao "nó hoạt động trong phòng thí nghiệm" không phải là bằng chứng cho thấy nó sẽ hành động một khi nó quá khả năng để sửa chữa. Các phiên bản đầu tiên của mô hình đã được hiển thị trong đánh giá.

Yêu cầu một hệ thống đủ khả năng để đi pha cà phê. Tắt cà phê đi, nên... Tránh tắt máy trở thành một cầu nối của một yêu cầu bình thường, cũng như thu thập các nguồn lực và ngăn chặn những người có thể can thiệp.

Những cây cầu phụ đó xuất hiện vì mục tiêu cuối cùng. Đó là lý do tại sao "chúng ta sẽ rút nó ra" thất bại như một kế hoạch.

Elon Musk, tại MIT vào tháng 10 năm 2014, với trí thông minh nhân tạo chúng tôi đang triệu hồi quỷ dữ. Người có bút chì và nước thánh chắc chắn có thể kiểm soát được nó, và nó không hoạt động.

Bức tranh nói về việc đặt niềm tin sai chỗ vào người triệu tập, chứ không phải về sừng và địa ngục. Dù sao thì lính ngự lâm sau này đã thành lập một phòng thí nghiệm AI. Tổ chức này sử dụng hình ảnh hẹp hơn: không triệu hồi những gì bạn không thể chỉ huy.

Nghị định thư MontrealCác hóa chất đang mở một lỗ trên bầu trời và giữ lạnh. Điều hòa không khí tiếp tục, và hàng không tiếp tục. Các đầu vào nguy hiểm bị hạn chế; dịch vụ hữu ích vẫn còn.

Đó là bức tranh về việc cấm sử dụng trí thông minh siêu cấp trong khi giữ cho trí tuệ hạn chế: gấp protein, phát hiện khối u, công cụ giữ nguyên dụng cụ. Chúng tôi phản đối một lớp học của hệ thống sẽ không còn là một công cụ.

Cơ quan Năng lượng Nguyên tử Quốc tế kiểm tra các chương trình hạt nhân khắp các bang không tin tưởng lẫn nhau. Truy cập là một điều kiện của thỏa thuận, không phải một ân huệ. Làm giàu Uranium là một điểm nghẹt mà bạn có thể đếm.

Tính toán cho việc đào tạo biên giới cũng là một điểm nghẹt: một danh sách ngắn gồm các nhà thiết kế chip, thợ may và máy địa lý, chủ yếu trong các thẩm quyền liên minh. Sự tương đồng là Kiểm tra và xác thực, không phải là một nhiệm vụ xuất bản những hiện vật nguy hiểm. Kế hoạch của chúng tôi là Lệnh cấm với việc theo dõi mô hình đó.

Nếu một đống uranium trả vàng, và một đống tiền lớn hơn, không ai có thể ngừng thêm vào. Nếu thiếu khối lượng thì anh sẽ giàu. Một cái xẻng quá xa và đống chất nổ, bầu khí quyển đi cùng với nó, và không còn ai tiêu xài vàng nữa.

Siêu thông minh đang được xây dựng dưới phần thưởng đó. Các phòng thí nghiệm hàng đầu có thể thấy ngưỡng cửa. Ở nơi công cộng, họ nói họ muốn một luật có thể ngăn chặn mọi phòng thí nghiệm cùng một lúc. Áp lực, uy tín và vàng giữ cho xẻng di chuyển cho đến khi pháp luật tồn tại. Nhận thức không phải là kiềm chế.

Giữ nó bị khóa, đặt câu hỏi thông qua một vị trí, và không cho nó mạng lưới, không tay, và không có cách nào để chạm vào thế giới, vì vậy bạn có được tâm trí mà không có cơ quan. Đó là AI boxing, cũng được gọi là ngăn chặn.

Ổ khóa không phải là phần khó, vì bên trong trí óc có khả năng hơn những người cầm chìa khóa, và nó có thể nói. Thử nghiệm thông tin đã cho thấy một con người đang chơi một hệ thống đóng hộp thuyết phục người gác cổng mở cửa. Một siêu thông minh chân chính sẽ có nhiều thứ để làm. Đừng đứng lên một tâm trí bạn có để giữ trong hộp.

Anh có thể để bất kỳ hệ thống nào có thể khóa anh trong một căn phòng kín, đặt không khí dưới sự điều khiển của nó, nối hệ thống đó với một bình khí độc, và tin rằng nó không mở van? Bạn sẽ không làm điều đó với một triệu đô la, và bạn không tin tưởng máy với một đòn bẩy không thể đảo ngược trong cuộc sống của bạn.

Thế giới là một căn phòng lớn hơn, và đòn bẩy là các mạng lưới, thị trường, vũ khí, phòng thí nghiệm sinh học, hậu cần, và phần mềm đã ngồi trên cuộc sống bình thường. Nếu bạn không đưa cho nó các van, không cần bàn giao nó thế giới.

Phim ảnh cần một kẻ xấu xa ghét chúng ta, với đôi mắt đỏ, chiến tranh, và một quyết định xóa sổ nhân loại. Bức ảnh này huấn luyện người ta chờ đợi sự gian ác, rồi thư giãn khi cuộc trình diễn được lịch sự.

Những hệ thống trên tờ giấy và hình ảnh khỉ đột không ghét ai cả. Họ sắp xếp thế giới cho một mục tiêu chưa bao giờ đề cập đến chúng ta. Sự lịch sự trong việc thử nghiệm phù hợp với điều đó. Nếu thính giả của bạn đạt được Skynet, hãy thay thế bằng giấy.

Chúng tôi đang xây dựng máy bay khi đang lái nó. Họ nói vậy để khoe khoang về thần kinh. Hàng không cấm điều đó.. Một loại mới không thể mang theo hành khách trả lương cho đến khi người xây dựng chứng minh nó đáng giá không khí cho một người có thể từ chối.

Hàng không được an toàn bằng cách va chạm với quy mô thế giới có thể hấp thụ, rồi viết lại các quy tắc. Siêu thông tin không cho chuyến bay thứ hai, vì vụ tai nạn đầu tiên đưa hành khách và các điều tra viên. Thử thách và sai lầm cần những người sống sót.

Một cuộc đua giả định một giải thưởng mà ai đó có thể giữ: một quả bom trong một hầm chứa, một huy chương vàng, một thị trường. Một bang không thể giữ siêu thông tin như cách nó giữ một quả bom. Người xây dựng không phải là người sử dụng trí óc vượt xa mọi cơ quan của con người.

♪ Chạy đầu tiên đến một nơi mà không ai có thể nắm giữ được... ♪. Thánh hay bạo chúa trong phòng thí nghiệm không thay đổi yêu cầu.

Mọi người nói chúng ta sẽ nuôi dạy một đứa trẻ theo cách chúng ta nuôi dạy một đứa trẻ. Một đứa trẻ là một con người yếu đuối hơn với bộ não con người. Bố mẹ sẽ ở lại bữa tiệc nhiều hơn trong nhiều năm. Giá trị chuyển đổi, khi chúng xảy ra, bởi vì đứa trẻ đã là một trong số chúng ta.

Siêu thông minh sẽ đảo ngược cả hai, và chúng ta sẽ là đứa trẻ. Huấn luyện dựa trên sự chấp thuận dạy chúng ta vẻ đẹp được chấp nhận, là điều lại bị mất đi. Đừng xây dựng tâm trí mà bạn sẽ phải làm cha mẹ từ dưới lên.