Open Philanthropy و80,000 Hours والسلالة البحثية التي مرت عبر Future of Humanity Institute فعلوا شيئا ما زالت معظم المؤسسات ترفض فعله. لقد تعاملوا مع الذكاء الفائق الاصطناعي كطريقة محتملة لنهاية القصة البشرية، ووجهوا أموالا ومواهب حقيقية نحو ذلك الادعاء. في المخاطرة نفسها كانوا مبكرين وكانوا على صواب.
يكمن الخطأ التالي في الاستنتاج الذي يلي ذلك. من «قد يقيد هذا مستقبل البشرية تقييداً دائماً»، أصبح الجواب المهيمن لدى أنصار المدى الطويل: تمويل بحوث التوافق التقني، وتمويل حوكمة الذكاء الفائق التي تبطئ أو توجه الحدود الأمامية، والإبقاء على مسار مفتوح لبناء الأنظمة متى بدت أكثر أماناً. وهذه أيضاً الخطة الخاطئة للخطر الذي سموه بشكل صحيح.
لماذا بدت المحاذاة وكأنها الرافعة
لا يزال الحجم والإهمال والقابلية للمعالجة مهمة. فقد يؤثر ذكاء فائق منحرف التوافق على كل شخص حي وكل جيل بعده. ولسنوات لم يعامل أحد من ذوي السلطة ذلك كاحتمال حقيقي. وبدا العمل التقني على سوء تحديد الأهداف والخداع والرقابة كأحد الروافع القليلة التي قد ترفع فرص النتيجة الجيدة إذا وصلت أنظمة قوية على أي حال. وبدت عمليات إغلاق المختبرات من جانب واحد ميؤوساً منها في ظل المنافسة. لذا اختلطت المحفظة المسؤولة بين علم التوافق وسياسة شراء الوقت والتأثير الحذر داخل المختبرات والحكومات التي ستبني الأنظمة على أي حال.
والجانب السلبي هو الحضارة وأُهمل الموضوع. بعض أعمال السلامة التقنية على النظم التي لا نزال نستطيع تفتيشها وإغلاقها هي الهندسة العادية مختبرات ريفية و ولايات متنافسة تجعل "شركة واحدة تستقيل" استراتيجية ضعيفة
أين ينكسر الاستدلال
الفجوة هي الافتراض الهادئ بأن الوجهة محددة سلفا. إذا كان الذكاء الفائق قادما بغض النظر عن كل شيء، فإن المهمة الوحيدة المتبقية هي جعل وصوله أقل فتكا. يبدو تمويل المحاذاة والتقييمات و"التوسع المسؤول" منطقيا في ظل هذا الافتراض. فتصبح المشروع الأخلاقي الرئيسي لجيل يعتقد أنه لا يستطيع اختيار الحالة النهائية. لا يزال معظم المال والمكانة يذهبان إلى جعل السباق أكثر أمانا، لا إلى إنهاء السباق نحو الذكاء الفائق.
يمكننا اختيار وجهتنا فالأسلحة النووية، وكيمياء الأوزون، واستنساخ البشر لكل منهما لحظات عندما قررت الحكومات أن بعض الدول النهائية لا تستحق المخاطر المتبقية. التجسس يعود إلى تلك القائمة بشكل دائم لا يمكن السيطرة على التجسس من قبل البشر
بمجرد التخلي عن افتراض الحتمية، يبدو المحفظة مختلفا. رأس المال الأماني النادر الذي ينفق على جعل السباق يبدو قابلا للإدارة هو رأس مال لم ينفق على إنهاء السباق. الحوكمة التي تبطئ الحدود فقط لتتمكن المختبرات من «اللحاق بالأمان» ما زالت تعامل بناء العقل غير القابل للسيطرة بوصفه الخطة. عمل المحاذاة الذي يفترض أننا سنخلق نوعا خلفا ثم نكبله يخلط بين برنامج بحث واستراتيجية بقاء.
لقد أصابوا في السجل وأخطأوا في الوجهة.
البحث بعد التوقف، لا بدلاً منه
العمل الذي يجعل أنظمة اليوم أكثر شفافية، أصعب لإساءة الاستخدام، أو أسهل للإغلاق يمكن أن لا تزال مهمة. وبعد وقف متحقق منه على الطريق إلى الإفراط في التبليغ، يمكن أن تستمر البحوث في مجال السيطرة على أجهزة المخابرات القوية دون رصد تجاري لمخاطر الانقراض.
ما يفشل هو التعامل مع المحاذاة التقنية كإجابة أساسية بينما تتوسع مختبرات الحدود على نفس الجدول الزمني. فذلك يقلب المشكلة رأسًا على عقب. وعندما لا تستطيع السيطرة على الجانب السلبي، والجانب السلبي هو الجميع، فالخطوة المسؤولة هي توقفوا عن بناء الشيء الخطير. لا يمكن السيطرة على الذكاء الفائق / الذكاء الخارق. يستمر الذكاء الاصطناعي الضيق. أما الفئة الضيقة من الأنظمة التي ستتجاوز الذكاء البشري في كل مجال فلا تستمر.
التباطؤ المؤقت حتى يمكن للأمان اللحاق به هو الرهان الذي يفترض أن شخص ما سيخترع طريقة مصدقة للسيطرة على عقل أذكى من صناعه في الوقت المناسب تحت ضغط تنافسي لا أحد لديه هذه الطريقة، ليس على نطاق صغير وليس على العموم. المختبرات الرئيسية تقول الكثير في الأماكن العامة
الناس غالباً ما يقدمون خدمات الوقاية تحت "الفأر" التوقف هو بضع سنوات من غرفة التنفس ثم استئناف. نريد من الحكومات منع الإفراط الاصطناعي و استمر في منعه بشكل دائم التجسس لا يمكن السيطرة عليه إنّ المعاهدة مُنحرفة عن السباق.
ما الذي يجب أن يفعله المال بدلاً من ذلك
نقل كومة التواؤم إلى العمل الذي يجعل من غير الممكن إنفاذه: تصميم المعاهدات والتحقق منها، والحوكمة المحوسبة على مستوى الرقاقة التي يمكن تفتيشها، وصنع القضايا العامة التي تحافظ على الهدف القانوني والمبلِّغين عن المخالفات، والعمل في مجال الشفافية الذي يزيد من تكلفة القدرة على القفز الهادئ، والتنظيم السياسي بحيث يستمع المشرعون من الناخبين بدلاً من أن يستمعوا فقط من أصحاب الضغط في المختبرات. يمول قرار عدم بنائه
لقد اكتسبت فترة طويلة الفضل في تسمية مخاطرة لا يزال معظم النخبة يعاملونها كخيط علمي الائتمان للتشخيص لا يغلق في الوصفة الطبية نفس المخاطرة، خطة مختلفة: منع الإفراط في القانون، والحفاظ على الأدوات التي تساعد البشر. دع حلم إله متحكم بعناية على الرف حتى يوافق العالم على عدم بناء واحد في الظلام