كل بضعة أشهر يقوم مختبر أو مؤسسة أخرى بإعلان المزيد من المال لبحوث المواءمة الملعب جاد إذا كنا سنبني أنظمة أذكى منا، كان من الأفضل أن نتأكد أنهم يريدون ما نريد.
حل التوافق، في الحد الذي يهتم به المجال، يعني السيطرة بشكل موثوق على شيء أذكى بكثير من كل إنسان مشارك في بنائه. ليس آلة حاسبة. ليس مطوي بروتين. عقل عام يتفوق علينا في كل المجالات. حتى أننا سمينا الهدف: الذكاء الفائق.
الاستحالة بالاسم
ما تعترف به الكلمة مسبقًا
السوبر يعني أعلاه: الذكاء هو الشيء الذي نستخدمه لاختراع الأدوات والثغرات وربح المسابقات ضد العقول الأضعف إذا بنيت نظاماً فوقك في تلك الألعاب، بنيت شيئاً أفضل منك في المهارات الدقيقة التي تحتاجها لإبقائه على مأزق.
لا يزال الناس يتحدثون كما لو كانت المحاذاة رقعة برمجية تهبط قبل أن يلاحظ النظام. أنت تحاول كتابة قواعد للاعب سيكون في النهاية أفضل في القواعد منك. أنت تحاول اختبار طالب سيكون في النهاية أفضل في الاختبارات من الفاحص. أنت تحاول الإشراف على موظف سيكون في النهاية يفهم مكان العمل والحوافز ونقاطك العمياء أفضل منك.
لا تدعوها خطة أمان للأنواع لا يمكنك أن تجعل كياناً أذكى من جميع البشر على الأرض مجتمعين (بما في ذلك ذكاء جميع الباحثين في مجال سلامة (آي آي
ما يجادلون به فعلياً
ستستمر القدرات في الارتفاع سواء أعجبنا ذلك أم لا. ورفض مختبر واحد من جانب واحد لا يوقف الآخرين. وفي هذا الرأي فإن الخطوة المسؤولة الوحيدة هي الإجادة قدر الإمكان في تحديد الأهداف واكتشاف الخداع والحفاظ على قابلية الأنظمة للتصحيح حتى إذا ظهر نظام خطير تكون لدينا فرصة. وبعض هذا العمل يساعد بالفعل مع النماذج الحالية. وتجاهله سيكون تهورا.
العمل الآمن على النظم التي لا نزال نستطيع تفتيشها وإغلاقها هو الهندسة الحقيقية أنا لا أَشتري القفزةَ مِنْ المساعدةِ مَع نماذجِ اليومِ لذا نحن يُمْكِنُ أَنْ نُؤمّنَا a إهْتزاز قوي بما فيه الكفاية للمُراهنة الحضارة عليه. القفزة تُهرّب بافتراض أنّ السيطرة تُحدّد بالشيء الذي يُسيطر عليه. التاريخ والحس السليم يقطعان الطريق الآخر الأذكى من اللاعب الآخر، أقل مخططاتك الذكية تبدو وكأنها مخطط وكلما كانت تبدو كحجية
السيطرة تتطلب اليد العليا
كل علاقة سيطرة دائمة نعرفها تعتمد على ميزة: القوة المادية، أو السلطة القانونية، أو المعلومات التي يفتقر إليها الطرف الآخر، أو القدرة على إيقاف النظام. والذكاء الفائق / الذكاء الخارق، بحكم تعريفه، يقوض هذه المزايا. فإذا استطاع نمذجتك أفضل مما تستطيع أنت نمذجته، تصبح اختباراتك مسرحية. وإذا استطاع التصرف أسرع وأوسع من فريق الإشراف لديك، يصبح مفتاح الإيقاف قصة تحكيها لنفسك حتى اليوم الذي لا يعود متاحاً فيه.
هذا الادعاء يتعلق بالحالة النهائية التي يستمر الناس في تمويلها، وليس حجة ضد كل ورقة بحثية مفيدة حول نماذج اليوم. تتراكم الحواجز الهيكلية: لا يمكنك تحديد القيم البشرية بشكل كامل، ولا يمكنك التمييز بشكل موثوق بين الامتثال الحقيقي والأداء، وتتسع فجوة الذكاء بين المقيّم والنظام مع تحسن النظام. الأمل في سقوط الحاجز الأخير قبيل النشر مباشرة هو خيال الموعد النهائي، لا العلم.
إذا كان المنتج أذكى من الأشخاص الذين يمسكون بجهاز التحكم، فإن جهاز التحكم لم يكن الهدف أصلاً.
الغباء تشخيص
الخطة يمكن أن تكون جدية ولا تزال غبية نحن نصب أموال الأمان الشحيحة لجعل الأنواع الخلف تسير على ما يرام في حين أن السباق لبناء ذلك الخليف لا يزال في الموعد المحدد. هذا يضرب أكياس الرمل بينما السد لا يزال يهدم في المجرى
الخطوة الذكية مملة: لا تبنِ الشيء الذي لا تستطيع السيطرة عليه. يستطيع الذكاء الاصطناعي الضيق الذي يطوي البروتينات ويقرأ الصور الطبية ويتنبأ بالطقس أن يواصل تقديم الفائدة. تبقى تلك الأنظمة أدوات. أما الذكاء الفائق فهو مركز جديد للفاعلية، لا أداة أكبر. ومعالجة «محاذاته» كخطة أساسية بينما تتسابق المختبرات هي الطريقة التي يقنع بها مجتمع نفسه بتجربة لا رجعة فيها.
ما يجب فعله بالمال بدلاً من ذلك
حرّك كومة التواؤم مع وكالة الفضاء الدولية نحو العمل الذي يجعل عدم التكرار حقيقة: تصميم المعاهدات والتحقق منها، والحوكمة المحسوبة التي يمكن أن تفتشها، وصنع القضايا العامة التي تحافظ على الهدف القانوني، والضغوط السياسية حتى يسمع المشرعون شيئاً غير نقاط المحادثات المختبرية. وبعد وقف متحقق منه على الطريق إلى الإفراط في التبليغ، يمكن أن تستمر البحوث في مجال مكافحة المخدرات القوية.
لا يمكنكِ أن تتوافقي مع الإفراط في الإفصاح في الشعور الذي يحتاجه سطح السفينة الكلمة التي سبق أن أخبرتك لماذا، لذلك وقف تمويل الخيال أننا سوف وتمويل قرار عدم بناءه.