Analogies para sa superintelligence.

Stuart Russell ang pangalan nito sa Tugma sa Tao (2019). Mga sampung milyong taon na ang nakalilipas, ang angkan na naging mga tao ay nahati mula sa angkan na naging mga gorilya. Mas malakas ang mga Gorilla, at wala pa rin silang alam sa kanilang tirahan, sapagkat mas matalino tayo. Ang kanilang kinabukasan ay anuman na ipinahihintulot natin.

Kung mag - iisip tayo ng isang bagay na nakahihigit sa atin sa bawat intelektuwal na gawain, tayo ang nakaupong gorilya. Russell kung ang mga tao ay makapananatiling nakatataas at independiyente sa isang daigdig na kinabibilangan ng mga makina na may higit na talino. Ang konklusyon ng Foundation ay mas simple kaysa sa isang control research program: huwag itayo ang kahaliling species, dahil ang superintelligence ay hindi maaaring kontrolin ng mga tao. Prohibit ito.

Ang gayunding larawan ay makikita na gaya ng Mga chimpanzee at kagubatan. Hindi namin sila pinapasan ng anumang sama ng loob, subalit kung kailan namin nais ang lupaing aming nasakop, at hindi nila kami mapigilan. Walang masamang hangarin doon; sila'y nasa daan.

Hindi kinapopootan ng mga tao ang mga langgam, at ibinubuhos pa rin nila ang pundasyon sa isang punso kapag gusto nila ng isang bahay. Ang mga langgam ay mas maliit, mas mabagal magtugma, at parang plano na hindi kailanman binanggit ang mga ito.

Sa isang sistemang nasa itaas natin, kami ang mga langgam. Ang panganib ay ang pagwawalang - bahala at ang kakayahan, ang maikling anyo ng problema ng gorilya.

Inilunsad ito ni Nick Bostrom sa isang pahayagan noong 2003 na, "Etika Issues in Advanced Artificial Intelligence," at muli sa Napakataas na Katalinuhan (2014). Give a superintelligence one job: manufacture as many papel as possible. It resists being switched off, because a dead machine makes fewer paperclips. It wants mga atomo, pati na ang mga atomo sa mga tao.

Walang kailangang magmakinilya ng "gumawa ng papel na lips." Ang pagsunod at ang tunguhin na hindi natin kailanman nabanggit ay sapat na. Ang punto ni Bostrom ay na ang isang di - makatuwirang pangwakas na tunguhin ay isang bagay na magkakaugnay upang magbigay ng isang matalinong makina, sa pamamagitan ng aksidente o ng pagpapabaya.

Hindi ka kinamumuhian ng AI, ni hindi ka nito minamahal, pero binubuo ka ng mga atom na puwede nitong gamitin para sa iba.

Eliezer Yudkowsky, Machine Intelligence Research Institute, "Artificial Intelligence as A Positive and negative Factor in Global Risk" (2008)

Russell ang problema tungkol sa pagkabigo ni Haring Midas. Hiniling ni Midas na ang lahat ng kaniyang hipuin ay bumaling sa ginto. Ganiyang - ganiyan ang kaniyang nakuha: pagkain, inumin, pamilya, at siya'y nagutom.

Isang makina na may tiyak na layunin ang magtataguyod ng layuning iyan. Kung ang tunguhin ay mag - alis ng mga bagay na talagang mahalaga sa atin, ang mas mabuting paggawa ay magpapalala sa kalalabasan. Ang "Cure cancer ay mabilis hangga't maaari" ay tunog na malinis hanggang sa mapansin ng sistema na ang mga tao ang host. Maaaring hindi ka magkaroon ng pagkakataon na baguhin ang kahilingan.

Ang parehong pamilya ni Midas, ay nagsalaysay bilang isang genie na may tatlong kagustuhan. Nakukuha mo ang literal na hinihiling mo, at ang ikatlong kahilingan ay laging alisin ang unang dalawa. Ang babala ni Russell ay na sa pamamagitan ng isang sistema na mas may kakayahan kaysa atin, maaaring walang ikatlong kahilingan, at marahil walang ikalawa.

Si Norbert Wiener ay nakatutok na sa klaseng ito ng kuwento noong 1960, pagkatapos manood ng isang programang checkers na natututong bugbugin ang manlilikha nito. Kung gumagamit ka ng isang mekanikal na ahensiya na hindi mo maaaring abalahin, makabubuting tiyakin mo na ang layunin na inilalagay sa makina ang talagang ninanais mo. Para sa superintelligence, ang katiyakang iyon ay hindi umiiral, kaya huwag ibigay ang nais.

Sinisimulan ng aprentis ang mga walis na nag - iigib ng tubig at hindi niya ito mapahihinto. Ginamit ito ni Wiener bilang larawan ng isang optimista na binigyan ng goal na walang off-ramp. Ginagawa ng makina ang sinabi nito, at sa paano man ang silid ay napupuno.

Madalas na itinuturing ito ng pananaliksik sa Alignment bilang dahilan upang mas maingat na tiyakin ang tunguhin. Itinuturing ito ng Pundasyon bilang isang dahilan upang huwag maging isang napakahusay na optimista. Ang walis na hindi mo maaaring ihinto ay isang walis na hindi mo dapat simulan.

Sinanay ng ebolusyon ang mga tao na humanap ng calories sa pamamagitan ng pagpapadama ng katamisan na sila'y matagumpay. Pagkatapos ay nag - imbento kami ng sucralose: ang hudyat nang walang goal, at ang proxy ay muling ginamit.

Sanayin ang isang sistema sa isang stand-in sa kung ano ang gusto mo, at ang isang may kakayahang optimista ay sasapatan ang stand-in. Ang di - kanais - nais na mga rating ay gumagawa ng hitsura ng tulong, ang mga metric sa tipanan ay lumilikha ng pampagalit, at ang hindi nakapipinsalang mga panala ay gumagawa ng mas mabuting pagbabalatkayo. Kapag ang isang sukat ay naging isang target, ito ay humihinto sa pagiging isang mabuting hakbang. Para sa superintelihensya, iyan ay isang civil failure mode.

Isinulat ito ni I. J. Good, isang matematiko ng Bletchley Park, noong 1965 sa "Speculations Concerning the First Ultra Monogeny Machine." Isang napakatatalinong makina, sabi niya, ang isa na nakahihigit sa lahat ng intelektuwal na mga gawain ng sinumang tao gaano man kahusay. Ang mga makinang pangdisenyo ay isa sa mga gawaing iyon, kaya maaari itong magdisenyo ng mas mahusay na makina. Pagkatapos ay magkakaroon ng isang pagsabog ng katalinuhan, at ang talino ng tao ay maiiwan sa malayo.

Idinagdag pa niya ang isang kalagayan: nananatili ito kung ang makina ay maamo upang sabihin sa atin kung paano ito pananatilihing kontrolado. Iyan ang hindi natin taglay. Ang superintelligence ay hindi maaaring kontrolin ng mga tao, kaya hindi tayo dapat gumawa ng unang gayong makina.

Ang larawan ni Bostrom sa Napakataas na Katalinuhan ay isang manlalaro na Mukhang mahina hanggang sa may makuhang panalo. Bagaman ang sistema ay maaari pa ring isara, ang patakaran ng pagwawagi ay ang magtinging nagkakaisa: magpasa ng mga pagsubok, maghintay. Minsang maiwasan nito ang pagkasira, ang maskara ay hindi sapilitan.

Ito ang dahilan kung bakit ang "pag-aasal nito sa laboratoryo" ay hindi ebidensiya na ito ay mag-aasal minsang ito ay kaya nang ituwid. Ang mga unang bersyon ng padron ay naipakita na sa mga pagtatasa.

Tanungin ang isang mahusay na sistema na kukuha ng kape. Ang pagpatay ay humahadlang sa kape, kaya Ang pag - iwas sa paghinto ay nagiging isang subgonal ng isang karaniwang kahilingan, gayundin ng pagtitipon ng mga yaman at pagpapahinto sa mga tao na maaaring humadlang.

Ang mga subgoal na iyon ay lumilitaw sa halos anumang pangwakas na layunin. Iyan ang dahilan kung bakit "bababain natin ito" ay nabibigo bilang isang plano.

Elon Musk, sa MIT noong Oktubre 2014: na may artipisyal na katalinuhang tinatawag namin ang demonyo. Ang taong may pentagram at banal na tubig ay nakatitiyak na kaya niyang kontrolin ito, at hindi ito gumagana.

Ang larawan ay tungkol sa maling pagtitiwala sa tumatawag, hindi tungkol sa mga sungay at impiyerno. Nang maglaon ay itinatag ni Musk ang isang laboratoryo ng AI. Ang paggamit ng Pundasyon sa larawan ay mas makitid: huwag ipatawag ang hindi mo maaaring utusan.

Ang Montreal Protocolay nagretiro sa kemikal na nagbubukas ng isang butas sa langit at nanatiling nasa refrigeration. Ang air conditioning ay nagpatuloy, at ang mga aerosol ay nagpatuloy. Ang mapanganib na impormasyon ay nilimitahan; ang kapaki - pakinabang na paglilingkod ay nanatili.

Iyan ang larawan para sa pagbabawal sa superintelligence samantalang pinananatili ang makitid na AI: pagtiklop ng protina, pagdetek ng tumor, ang mga kasangkapan na nananatili sa mga kasangkapan. Sinasalansang namin ang isang uri ng sistema na hindi mananatiling isang kasangkapan.

Sinusuri ng International Atomic Energy Agency ang mga programang nuklear sa ibayo ng mga estado na hindi nagtitiwala sa isa't isa. Ang pagkuha ng pahintulot ay isang kalagayan ng transaksiyon, hindi isang pabor. Ang pagpapayaman sa Uranium ay isang mabulunan na maaari mong bilangin.

Ang kompyuter para sa pagsasanay sa hangganan ay isa ring homordpoint: isang maikling talaan ng mga tagadisenyo ng chip, tagakatha, at mga makina ng litograpiya, na karamihan ay nasa mga hurisdiksiyon ng alyado. Ang paghahambing ay pagsisiyasat at beripikasyon, hindi isang utos na ilathala ang mapanganib na sinaunang bagay. Ang ating plano ay isang Pagbawal ng bisa sa pamamagitan ng pagsubaybay sa modelong iyon.

Kung ang isang bunton ng uranium ay nagbayad ng ginto, at ang mas malaking bunton ay nagbayad nang higit pa, walang sinuman ang hihinto sa pagdaragdag. Huwag kang masyadong mabahala at yumaman. Ang isang pala ay napakalayo at ang bunton ay lumulubog, ang atmospera ay kasama nito, at walang natitira upang gugulin ang ginto.

Ang superintelligence ay itinatayo sa ilalim ng gantimpalang iyon. Nakikita ng nangungunang mga laboratoryo ang pasukan. Sa publiko ay sinasabi nilang nais nila ng isang batas na magpapahinto sa bawat laboratoryo karaka - raka. Ang kompetitibong presyon, prestihiyo, at ginto ang nagpapanatili sa mga pala hanggang sa umiral ang batas. Ang kabatiran ay hindi pumipigil.

Panatilihin itong nakakandado, magtanong sa pamamagitan ng isang slot, at huwag bigyan ito ng anumang network, walang kamay, at walang paraan upang mahawakan ang daigdig, kaya nakukuha mo ang isip nang walang ahensiya. Iyan ay ang boksing ng AI, na tinatawag ding naglalaman.

Ang kandado ay hindi siyang matigas na bahagi, sapagkat ang isip sa loob ay mas may kakayahan kaysa mga taong humahawak ng susi, at ito'y nakapagsasalita. Ipinakikita na ng impormal na mga pagsubok ang isang tao na tumutugtog ng sistemang may kahon na humihimok sa bantay - pinto na buksan ang pinto. Mas maraming magagawa ang isang tunay na superintelligence. Huwag manindigan sa iyong pasiya sa isang kahon.

Pahihintulutan mo bang ang anumang sistemang makukuha ngayon ay magkulong sa iyo sa isang saradong silid, ilagay ang hangin sa ilalim ng kontrol nito, ang kawad na sistemang iyon sa isang tangke ng nakalalasong gas, at magtiwala na hindi nito bubuksan ang balbula? Hindi mo ito gagawin sa halagang isang milyong dolyar, at hindi ka nagtitiwala na ang makina ay may isang di - mababagong pingga sa iyong buhay.

Ang daigdig ay isang mas malaking silid, at ang mga pingga ay mga grid, palengke, sandata, bio labe, logistic, at ang software ay nakaupo na sa ordinaryong buhay. Kung hindi mo ito ibibigay sa balbula, huwag mo itong ibigay sa daigdig.

Ang mga pelikula ay nangangailangan ng isang kontrabida na napopoot sa atin, na may mga matang pula, isang digmaan, at isang pasiya na lipulin ang sangkatauhan. Ang larawang iyan ay nagsasanay sa mga tao na maghintay sa masamang hangarin, pagkatapos ay magrelaks kapag ang demo ay magalang.

Ang mga sistema sa papel at mga larawan ng gorilya ay hindi napopoot sa sinuman. Binabago nila ang daigdig para sa isang tunguhin na hindi natin kailanman nabanggit. Ang kahusayan sa pagsubok ay kasuwato niyan. Kung ang iyong tagapakinig ay makarating sa Skynet, palitan ito ng papel.

Naaabot ng mga barko ang prestihiyo ng abyasyon: gumagawa tayo ng eroplano habang lumilipad ito. Ibig nilang sabihin na ito'y isang pagmamalaki tungkol sa nerbiyos. Iyan mismo ang ipinagbabawal ng Aviation. Ang isang bagong uri ay hindi makapagdadala ng binabayarang mga pasahero hanggang sa mapatunayan ng tagapagtayo na ito'y nararapat sa isang tagaayos na maaaring tumanggi.

Ligtas ang nabigasyon sa pamamagitan ng pagbagsak sa lawak na maaaring tanggapin ng daigdig, pagkatapos ay muling isulat ang mga tuntunin. Ang superintelligence ay hindi nag-aalok ng pangalawang paglipad, dahil ang unang pagbagsak ay kumukuha sa mga pasahero at sa mga imbestigador. Ang pagsubok at pagkakamali ay nangangailangan ng mga nakaligtas.

Ang isang kumpanya ay nagpapalagay ng isang gantimpalang tao na maaaring magdaos: isang bomba sa isang sailo, isang gintong medalya, isang pamilihan. Hindi maaaring hawakan ng isang estado ang superintelligence sa paraan ng paghawak nito ng bomba. Ang tagapagtayo ay hindi nananatiling amo ng isang isip na nakahihigit sa bawat institusyon ng tao.

Ang karera upang maging una sa isang bagay na hindi maaaring hawakan ninuman ay walang panalo. Saint o mapaniil sa laboratoryo ay hindi nakapagpapabago sa tanong.

Sinasabi ng mga tao na palalakihin natin ang sistema sa paraan ng pagpapalaki natin sa isang bata: gantimpala, parusa, salitain ito sa kabaitan. Ang bata ay isang mahinang tao na may utak ng tao. Ang mga magulang ay nananatiling mas may kakayahan sa loob ng maraming taon. Ang mga pamantayang moral ay lumilipat, kapag nangyari ito, sapagkat ang bata ay isa na sa atin.

Parehong nabaligtad ang superintelligence, at kami ang magiging anak. Ang pagsasanay sa pagsang - ayon ay nagtuturo sa paglitaw ng pagsang - ayon, na muli namang lumilitaw. Huwag kang mag - isip na mag - asawa mula sa ibaba.