هذا اختبار بسيط هل تسمحين لأيّ نظامٍ مُتاحٍ اليوم أن يُقفل عليكِ في غرفة مُغلقة، ويضع الـ "إتش في سي" في السقف تحت سيطرته، ويُرسل ذلك النظام إلى صهريج من الغاز المُسمم، ويثق به ألا يُفتح الصمام؟ بالطبع لا لن تفعلها بمليون دولار أنت لا تثق بالآلة مع عصير واحد لا رجعة فيه طوال حياتك
الآن وسّع الغرفة
العالم غرفة أوسع. والرافعات هي شبكات الطاقة والأسواق وشبكات الأسلحة ومختبرات الأحياء واللوجستيات والطبقة البرمجية التي تعلو بالفعل على الحياة العادية، لا خزانًا زائفًا. نحن نبني أنظمة تتحسن في سحب الرافعات كل ربع سنة، ونربط المزيد من الرافعات بالبرمجيات كل عام.
إذا لم تثق بنموذج اليوم بصمام واحد في غرفة واحدة، فلماذا تثق بنموذج الغد بكل الصمامات؟ الإجابات المعتادة رخوة. «سنختبر أكثر.» «سنبقي إنساناً في الحلقة.» «سيكون متوافقاً بحلول ذلك الوقت.» تلك آمال. ليست سبباً يجعل الاختبار الصغير والاختبار الكبير يحصلان على إجابات متعارضة.
إذا لم تكن لتسلمه الصمام، فلا تسلم له العالم.
فجوة الصدق
يعترف العاملون على هذه الأنظمة أحياناً، بلغة حذرة، بأنهم لا يعرفون كيف يضمنون السيطرة بعد مستوى معين من القدرة. ثم يستمر خارطة طريق المنتج. تلك الفجوة بين الحذر الخاص والنشر العام هي المشكلة بأكملها في صورة مصغرة.
أنا أطلب منك أن تبقي الحكم الذي لديك عندما يكون السيناريو ملموساً غرفة مقفلة و صمام غاز يجعل المخاطر واضحة التجسس هو نفس الشكل مع الاحتمالات الأسوأ ولا زر إعادة الضبط
هل تثق بأي نموذج حالي مع الصمام؟ إذا كان الجواب لا، لا تصوت، صندوق، أو تشق طريقك في الثقة به مع الحضارة. الجواب المتسق هو الذي يبقيك على قيد الحياة لا تبني النظام الذي لن تحبس نفسك به في غرفة