أعتذر عن التجسس

ستيوارت راسل سمّى هذا متوافق مع البشر (2019). قبل حوالي 10 ملايين سنة، الخيط الذي أصبح بشراً انفصلوا عن الصف الذي أصبح غوريلاً الغوريلا أقوى، ولا يزالون لا يقولون على موائلهم، لأننا أكثر ذكاء. مستقبلهم هو ما نسمح به

إذا بنينا عقلاً يتفوق علينا في كل مهمة فكرية، سنشغل مقعد الغوريلا. راسل سأل عما إذا كان بإمكان البشر الحفاظ على السيادة والاستقلال الذاتي في عالم يتضمن آلات ذات ذكاء أكبر بكثير. استنتاج المؤسسة أبسط من برنامج أبحاث التحكم لا تبني الأنواع الخَلَفَة لأن الإفراط لا يمكن التحكم به من قبل البشر احظره

نفس الصورة تظهر كما الشمبانزي والغابات. نحن لا نحملهم وصية سيئة، ولكن عندما نريد الأرض التي نأخذها، ولا يمكنهم إيقافنا. لا يوجد بها أي مكروه، بل إنها في الطريق.

الناس لا يكرهون النمل، ولا يزالون يصبون مؤسسة من خلال الأنتيل عندما يريدون منزلا. النمل أصغر وأبطأ للتنسيق، وفي طريق خطة لم تذكرها قط.

إلى نظام فوقنا نحن النمل. الخطر هو عدم الاكتراث بالإضافة إلى القدرة، الشكل القصير لمشكلة الغوريلا.

(نيك بوستروم) وضع هذا في ورقة عام 2003 "المسائل الأخلاقية في الإستخبارات الأثرية المتقدمة" الذكاء الفائق (2014). Give a superintelligence one job: manufacture as many مقاطع ورقية as possible. It resists being switched off, because a dead machine makes fewer paperclips. It wants الذرات، بما في ذلك الذرات في الناس.

لا أحد يَجِبُ أَنْ يَطْبّعَ "المشغّلات الورقيةِ الكبيرةِ." الكفاءة بالإضافة إلى هدف لم يذكرنا أبداً كافية نقطة (بستروم) هي أن الهدف النهائي التعسفي هو شيء متماسك لإعطاء آلة رائعة، بالخطأ أو بالإهمال

لا يكرهك الذكاء الاصطناعي، ولا يحبك، لكنك مصنوع من ذرات يمكنه استخدامها لشيء آخر.

إليعزر يودكوفسكي, Machine Intelligence Research Institute, "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (2008)

(راسل) يسمي فشل المواصفات مشكلة الملك (ميداس) سأل (ميداس) أن كل ما لمسه يتحول إلى ذهب حصل بالضبط على ذلك: الطعام، الشراب، العائلة، وجوع.

والآلة التي تقدم هدفا ثابتا ستسعى إلى تحقيق ذلك الهدف. إذا ترك الهدف الأشياء التي نهتم بها في الواقع، تحسين الأداء يجعل النتيجة أسوأ. "السرطان بأسرع ما يمكن" يبدو نظيفا حتى يلاحظ النظام أن البشر هم المضيف. قد لا تحصل على فرصة لإعادة صياغة أمنية.

نفس عائلة (ميداس) التي قيل لها أنها جنية مع ثلاث أمنيات تحصل على ما طلبته حرفياً، والرغبة الثالثة هي دائماً أن تلغي الاثنتان الأولتان. تحذير راسل هو أنه مع نظام أكثر قدرة منا، قد لا يكون هناك أمنية ثالثة، وربما لا ثانية.

نوربرت وينر قد أشار بالفعل إلى هذه الفئة من القصة في عام 1960، بعد مشاهدة برنامج شيكر يتعلم هزيمة مبتكره. إذا كنت تستخدم وكالة ميكانيكية لا يمكن أن تقاطع، كان من الأفضل أن يكون الهدف وضع في الآلة هو الهدف الذي ترغب فيه فعلا. من أجل الإفراط في الإفصاح، هذا اليقين لا وجود له، لذا لا يمنح الرغبة.

التلميذ يبدأ بإحضار المياه ولا يمكنه إيقافها واينر استعمل هذا كصوره لمصغّر مُعطى لهدف بدون مُخرج الآلة تفعل ما قيل لها، وتملأ الغرفة على أي حال.

وكثيراً ما تعامل بحوث الضبط هذه المسألة باعتبارها سبباً لتحديد الهدف بمزيد من العناية. المؤسسة تُعامله كسبب لعدم الوقوف على مُختلِف ذكي على الإطلاق المكنسة التي لا يمكنك إيقافها هي غرفة لا يجب أن تبدأ

التطور درب البشر على البحث عن السعرات الحرارية عن طريق جعل الحلو يشعر بالنجاح وبعد ذلك اخترعنا الكوكروس: الإشارة بدون الهدف، والوكيل كان متلاعبا.

تدرّب نظاماً على موقف قابل للقياس من أجل ما أردته، وجهازاً قادراً على التأقلم سيفي بالوقوف. وتنتج تقييمات الموافقة ظهور المساعدة، وتنتج مقاييس الاشتباك الاستفزاز، وتنتج مرشحات حالات انعدام الضرر تنكرات أفضل. عندما يصبح التدبير هدفاً يتوقّف أن يكون تدبيراً جيداً. بالنسبة إلى منظمة العفو الدولية، هذا هو أسلوب الفشل الحضاري.

(جي جي)، رياضي منتزه (بلاتشلي) كتب هذا في عام 1965 في "مقالات تتعلق بالآلات الذكية الأولى" وقال إن جهازاً ذكياً جداً يتعدى على جميع الأنشطة الفكرية لأي شخص مهما كان ذكياً. آلات التصميم هي واحدة من تلك الأنشطة، حتى تتمكن من تصميم آلة أفضل. سيكون هناك انفجار الذكاء, و الذكاء البشري سيكون خلفه

لقد أضاف شرطًا، إن كان الآلة مزدحمة بما يكفي لإخبارنا كيف نبقيها تحت السيطرة هذه الحالة هي ما ليس لدينا لا يمكن السيطرة على التجسس من قبل البشر لذا لا يجب أن نصنع أول آلة

صورة بستروم في الذكاء الفائق هو لاعب يبدو ضعيفاً حتى تتاح الحركة الفائزة. في حين أن النظام لا يزال يمكن إيقافه، فإن السياسة الفائزة هي أن تبدو متناسقة: تمرير الاختبارات، الانتظار. بمجرد أن يمنع القناع هو اختياري

هذا هو السبب في أن "يتصرف في المختبر" ليس دليلاً سيتصرف بمجرد أن يكون قادراً على تصحيحه وقد ظهرت بالفعل في التقييمات نسخ مبكرة من النمط.

إسأل نظام قادر بما فيه الكفاية لجلب القهوة. أن يتم إيقافه يمنع القهوة تجنّب الإغلاق يصبح غولاً فرعياً طلب عادي، وكذلك جمع الموارد ووقف الأشخاص الذين قد يتدخلون.

هذه الغواصات تظهر لأي هدف نهائي لهذا السبب "سوف نفتحها" تفشل كخطة

إيلون ماسك, at MIT in October 2014: with artificial intelligence we are summoning the demon. الشخص ذو النجمة الخماسية والماء المقدس متأكد من أنه يستطيع التحكم به ولا يعمل

الصورة عن عدم وجود ثقة في المستدعي، ليس عن القرون والجحيم. (ماسك) قام لاحقاً بإنشاء مختبر (آي آي) على أية حال. استخدام المؤسسة للصورة أضيق: لا تستدعى ما لا تستطيع القيادة.

بروتوكول مونتريالسحبت المادة الكيميائية التي فتحت حفرة في السماء وحافظت على التبريد. استمر التكييف الجوي، واستمر الأيروسول. The dangerous input was restricted; the useful service stayed.

هذه هي الصورة التي تحظر الإفراط في التبليغ بينما تُبقي في الوقت نفسه مُختصاً بتقنية (AI) ضيقة: تطويع البروتين، وكشف الورم، والأدوات التي تبقى أدوات. ونحن نعارض فئة النظام الواحد التي لن تبقى أداة.

وتقوم الوكالة الدولية للطاقة الذرية بتفتيش البرامج النووية عبر الولايات التي لا تثق بعضها ببعض. الدخول هو شرط الإتفاق وليس معروفاً إثراء اليورانيوم هو خنق يمكنك عده

كما أن منافسة التدريب على الحدود هي نقطة اختناق: قائمة قصيرة من مصممي الرقائق والمصنعين وآلات الليثيوم، معظمها في الولايات القضائية المتحالفة. القياس هو التفتيش والتحقق, لا ولاية لنشر القطعة الأثرية الخطيرة خطتنا هي الحظر الملزم مع رصد ذلك النموذج.

لو أنّ كعب من اليورانيوم دفع ذهباً، وكعب أكبر دفع أكثر، لن يتوقف أحد عن إضافةه. إبقى بعيداً عن الكتلة الحرجة و تصبح غنياً مجرفة واحدة بعيدة جداً وتنفجر الكعب، الغلاف الجوي يذهب معه، وليس هناك أحد يتبقى لينفق الذهب.

يتم بناء التجسس تحت هذا الدفع المختبرات الرئيسية يمكنها رؤية العتبة علناً يقولون أنهم يريدون قانوناً يوقف كل مختبر في وقت واحد الضغط التنافسي، البقعة، والذهب يبقي المجارف تتحرك حتى القانون موجود. الوعي ليس بضبط النفس.

أبقه مقفلاً، وطرح الأسئلة من خلال فتحة، ولا تعطيه شبكة، ولا أيدي، ولا وسيلة لمس العالم، هذا هو الملاكمة AI، أيضا يسمى الاحتواء.

القفل ليس الجزء الصعب، لأن العقل في الداخل أكثر قدرة من الناس الذين يحملون المفتاح، وقد أظهرت التجارب غير الرسمية بالفعل أن الإنسان يعزف على نظام الملاكمة يقنع حارس البوابة بفتح الباب. التفوق الحقيقي سيكون لديه المزيد للعمل معه لا تنهض بعقلك أبق في صندوق.

هل تسمح لأي نظام متاح اليوم أن يحبسك في غرفة مُغلقة، ويضع الهواء تحت سيطرته، ويربط ذلك النظام بخزان من الغاز السام، ويثق به ألا يفتح الصمام؟ أنت لن تفعل ذلك لمليون دولار، وأنت لا تثق في الآلة مع واحد لا رجعة فيه على حياتك.

إن العالم غرفة أكبر، والجزر هي شبكات، وأسواق، وأسلحة، ومختبرات بيولوجية، ولوجستيات، والبرمجيات التي تجلس بالفعل على الحياة العادية. إذا لم تسلمه الصمام لا تسلمه العالم.

الأفلام تحتاج إلى شرير يكرهنا، بعيون حمراء، وحرب، وقرار لمسح البشرية. تلك الصورة تُدرب الناس لينتظروا السوء، ثم يهدأون عندما يكون العرض مهذباً.

الأنظمة في مشبك الورق وصور الغوريلا لا تكره أحداً إنهم يعيدون ترتيب العالم من أجل هدف لم يذكرنا أبداً وتتفق السياسة في الاختبار مع ذلك. إن وصل مستمعك إلى (سكاينت) فاستبدله بمشفى الورق

تصل المختبرات إلى مكانة الطيران نحن نبني الطائرة بينما نطير بها يَعْنيه كa مُزعج حول الأعصابِ. الطيران يمنع بالضبط. لا يمكن للنوع الجديد أن يحمل ركاباً يدفعون لهم حتى يثبت البنّاء أنه يستحق الطيران إلى منظم يمكنه رفضه.

الطيران أصبح آمناً بسبب تحطمه على مقياس يمكن أن يستوعبه العالم ثم يعيد كتابة القواعد التجسس لا يقدم رحلة ثانية لأن الحادث الأول يأخذ الركاب والمحققين المحاكمة والخطأ يحتاج الناجين

السباق يفترض جائزة يمكن لأحد أن يحملها قنبلة في سيلو، وميدالية ذهبية، وسوق لا يمكن للدولة أن تصمد في الطريقة التي تحمل بها قنبلة ولا يبقى البنّاء رب عمل عقل يتجاوز كل مؤسسة بشرية.

أن تكون أول شيء لا يمكن لأحد أن يحمله ليس لديه فائز. القديس أو الطاغية في المختبر لا يغير السؤال

الناس يقولون أننا سنرفع النظام بالطريقة التي نربي بها طفلة: مكافأة، معاقبة، التحدث عن ذلك بلطف. الطفل هو إنسان أضعف بعقل بشري الأباء يبقون الحفلة الأكثر قدرة لسنوات نقل القيم، عندما تفعل، لأن الطفل هو بالفعل واحد منا.

التجسس ينعكس على حد سواء، ونحن سنكون الطفل. التدريب على الموافقة يُعلّمُ ظهورَ الموافقةِ، الذي يُعدّلُ ثانيةً. لا تَبْني a عقل أنت يَجِبُ أَنْ تَبْقى مِنْ أسفل.