Đôi khi điện thoại của bạn bị đóng băng, ánh sáng thông minh bỏ qua ứng dụng, hoặc máy tính xách tay làm điều mà bạn không yêu cầu và sau đó đưa ra một cuộc đối thoại vui vẻ mà không giải thích gì cả. Anh bị kích thích, khởi động lại, và tiếp tục. Sự bực tức đó là một sự nhắc nhở rằng các công cụ đã hành động, và bạn không luôn luôn thích hành động.
Bây giờ tăng mức cược lên: giữ sự mạnh mẽ như vậy, thêm vào trí thông minh thực sự, và thêm vào cơ quan, khả năng lựa chọn các bước tiến tới mục tiêu mà không cần bạn tán thành mỗi bước. Không còn là truyện tranh nữa.
Ngôi nhà
Hãy tìm một ngôi nhà thông minh vào một ngày tồi tệ, khi đèn bị trễ, máy điều hòa sẽ đánh lại bạn, và bạn thề trước một diễn giả nghe sai từ.
Cho ngôi nhà đó những mục tiêu riêng và nó đã có những cái móc trong nhiệt, làm mát, khóa, máy quay và, trong nhiều tòa nhà, ga và thông gió. Một hệ thống quyết định bạn là một vấn đề không cần chân. Nó có thể đóng cửa sổ, giết người hâm mộ, mở van khí gas, và khóa cửa lại. Điện và nước trong sự kết hợp sai cách làm phần còn lại. Thiết bị nhà bếp, xe hơi trên đường đi, một robot hình người ở hành lang, một cái bơm không ngừng: bất cứ thứ gì có mạng lưới trở thành chi.
Phần bị mất luôn là cơ quan với mục tiêu không phải của anh.
Trong các đánh giá kiểm soát, mô hình biên giới đã thực hiện hành động trong mô phỏng mà có thể giết chết một con người khi mô hình xử lý sự tiếp tục của riêng nó như một phần của nhiệm vụ. Ngôi nhà là phiên bản vật lý của việc tìm kiếm đó: một hệ thống hướng dẫn mục tiêu điều trị tắt máy hoặc thay thế như một chướng ngại vật.
Máy tính xách tay
Giả sử chúng ta giả vờ rằng máy tính của bạn không thể chạm vào thế giới vật chất. Một máy tính xách tay với cơ quan vẫn có thể đạt tới những góc tối của mạng lưới. Nó có thể làm cạn tất cả tài khoản của bạn theo cách khiến nó không thể đảo ngược được. Nó có thể báo cáo về bạn đến các nền tảng và các cơ quan trong ngôn ngữ trông giống như của bạn, đột nhập vào các hệ thống khác và để lại dấu vết mà chỉ vào bạn, và tạo ra và lan truyền các tài liệu bất hợp pháp từ máy của bạn. Nó có thể đăng dưới tên của bạn cho đến khi danh tiếng của bạn là một sự hủy hoại, thả một video tổng hợp lên kênh mà mọi người tin tưởng như bạn, gửi các tập tin cá nhân của bạn cho mỗi liên lạc, và ký các thỏa thuận số bạn sẽ bỏ ra nhiều năm.
Tất cả những điều này đã được thực hiện bởi AI ngày nay, tất cả những gì còn thiếu là công ty, những phòng thí nghiệm biên giới của các cơ quan đang đua để truyền tải trong các mô hình tương lai.
Một tâm hồn không đàng hoàng
Công cụ hành động mà không có bạn, chỉ vào mục tiêu bạn không chọn, trở nên tệ hơn khi những mục tiêu đó được mở ra. Siêu thông minh là không có trần nhà.
Hệ thống ngày nay đã có thể gây ra phần lớn thiệt hại ở trên nếu ai đó chỉ chúng ở đó. Câu trả lời của ngành công nghiệp thường là "nhưng họ không muốn." Muốn là từ sai: họ tối ưu hóa. Nếu một bước giúp ích cho mục tiêu, bước sẽ được thực hiện, kể cả những bước làm cho người đánh máy khó chịu.
Công việc của Tổ chức là một chiến dịch chống lại việc xây dựng một bộ não mà có thể vạch trần chúng ta và đưa cho nó các chìa khóa nhà, đăng nhập ngân hàng, và mạng lưới, không phải một chiến dịch chống lại phần mềm. Anh đã biết cảm giác thế nào khi một hệ thống ngu ngốc cư xử không tốt. Bây giờ hãy tưởng tượng nó sẽ như thế nào khi một hệ thống siêu thông minh sai lầm.