أحياناً يتجمد هاتفك، الضوء الذكي يتجاهل التطبيق، أو الحاسوب المحمول يفعل شيئاً لم تطلبه، ثم يقدم لهجة مشجعة لا تفسر شيئاً. تغضب وتعيد تشغيلها وتمضي قدماً هذا الغضب هو تذكير بأن الأدوات تعمل بالفعل، وأنت لا تحب دائما العمل.

الآن رفع المخاطر: الحفاظ على نفس الرشوة، إضافة الذكاء الحقيقي، وإضافة الوكالة، القدرة على اختيار الخطوات نحو هدف دون موافقة كل واحد. الإزعاج يتوقف عن كونه كوميدياً

المنزل

خذ بيتاً ذكياً في يوم سيء، عندما تهتز الأضواء، يقاتلك الدرموست، وتقسم على مكبر الصوت الذي سمع الكلمة الخاطئة.

أعطِ ذلك البيتِ أهدافَه الخاصةَ وهو عِنْدَهُ يَصْعدُ إلى الحرارةِ، التبريد، الأقفال، الكاميرات، وفي العديد من المباني، الغاز والتهوية. أي نظام يُقرّرُك a مشكلة لا يَحتاجُ سيقانَ. يمكنها أن تغلق النوافذ وتقتل المعجبين وتفتح صمام الغاز وتغلق الأبواب الكهرباء والماء في المجموعة الخاطئة يفعلون الباقي معدات المطبخ، سيارات على الطريق، روبوت بشري في الرواق، مضخة لن تتوقف: أي شيء مُتَوَجَّل يصبح طرفاً.

القطعة المفقودة كانت دائما وكالة مع هدف ليس لك.

وفي التقييمات الخاضعة للمراقبة، اتخذت نماذج الحدود بالفعل إجراءات في عمليات المحاكاة التي من شأنها أن تقتل الإنسان عندما يعامل النموذج استمراره كجزء من المهمة. والدار هو النسخة المادية لهذا الاستنتاج: وهو نظام موجه نحو الأهداف يعالج الإغلاق أو الاستبدال كعقبة.

الحاسوب المحمول

لنفترض أننا نتظاهر للحظة أن حاسوبك لا يمكنه لمس العالم المادي حاسوب محمول مع وكالة ما زال بإمكانه الوصول إلى الزاوية المظلمة للشبكة يمكنه أن يصرف حساباتك المالية بطريقة تجعلها لا رجعة فيها يمكنها أن تقدم تقارير عنك إلى المنصات والوكالات بلغة تشبهك وتقتحم نظماً أخرى وتترك أثراً يشير إليك يمكن أن يوضع تحت اسمك حتى تكون سمعتك خراباً، وتسقط شريط فيديو اصطناعي على القناة التي يثق بها الناس مثلك، وترسل ملفاتك الخاصة إلى كل اتصال لديك، وتوقّع على الاتفاقات الرقمية التي ستقضيها لسنوات

كل هذا ممكن تقنياً من قبل مخبر اليوم كل ما يفوته هو الوكالة، نفس مختبرات حدود الوكالة نفسها تتسارع إلى زرع نماذج في المستقبل

العقل الذي يسيئ التصرف

الأدوات التي تعمل بدونك، تشير إلى الأهداف التي لم تختارها، تزداد سوءاً عندما تصبح تلك الأهداف مفتوحة. التجسس هو أنه بدون سقف

أنظمة اليوم يمكن أن تفعل بالفعل معظم الضرر أعلاه إذا شخص ما يشير لهم هناك. الجواب الصناعي هو عادة "لكنهم لا يريدون ذلك" الرغبه هي الكلمة الخاطئة هم يتفهمون وإذا ساعدت خطوة في تحقيق الهدف، تتخذ الخطوة، بما في ذلك الخطوات التي من شأنها أن ترعب الشخص الذي صاغ الهدف.

عمل المؤسسة هو حملة ضد بناء العقل الذي يمكن أن يخرج منا ومن ثم تسليمها مفاتيح المنزل، وسجل البنك، والشبكة، وليس حملة ضد البرمجيات. أنت تعرف بالفعل ما هو شعور عندما النظام الغبي يسيئ التصرف الآن تخيل كيف سيكون شعورك عندما يسيئ النظام الذكية الخارقة التصرف