Ang Open Philanthropy, 80,000 Hours, at ang research lineage na dumaan sa Future of Humanity Institute ay gumawa ng isang bagay na tinatanggihan pa rin ng karamihan sa mga institusyon. Tinuring nila ang artificial superintelligence bilang isang plausible na paraan kung paano magwawakas ang kwento ng sangkatauhan, at inilipat nila ang tunay na pera at talento patungo sa claim na iyon. Sa mismong panganib, maaga sila at tama sila.
Kung saan nagkamali ang portfolio ay ang susunod na hinuha. Mula sa "maaaring permanenteng putulin nito ang hinaharap ng sangkatauhan," naging: pondohan ang teknikal na alignment research, pondohan ang superintelihensya governance na nagpapabagal o nagpapatnubay sa frontier, at panatilihin ang landas para sa pagbuo ng mga sistema kapag mukhang mas ligtas na. Ito rin ang maling plano para sa panganib na tama nilang pinangalanan.
Kung bakit ang pagkakahanay ay parang pingga
Mahalaga pa rin ang scale, neglectedness, at tractability. Ang isang misaligned superintelligence ay maaaring makaapekto sa bawat buhay na tao at sa bawat henerasyon pagkatapos nila. Sa loob ng maraming taon, halos walang may kapangyarihan ang tumuring dito bilang isang live possibility. Ang technical work sa goal misspecification, deception, at oversight ay mukhang isa sa mga iilang levers na makakapagtaas ng tsansa ng magandang outcome kung sakaling dumating pa rin ang powerful systems. Ang unilateral lab shutdowns ay mukhang walang pag-asa sa ilalim ng competition. Kaya ang responsible portfolio ay pinaghalo ang alignment science, policy na bumibili ng oras, at maingat na impluwensya sa loob ng mga lab at gobyerno na gagawa ng mga system sa anumang paraan.
Ang downside ay sibilisasyonal at ang paksa ay napabayaan. Ang ilang teknikal na gawaing pangkaligtasan sa mga sistemang maaari pa rin nating suriin at patayin ay ang ordinaryong inhinyeriya. Ang mga rival labe at karibal na estado ay gumagawa sa "isang kompanya na tumigil" sa mahinang stratehiya.
Saan nasisira ang inference
Ang break ay ang tahimik na assumption na ang destinasyon ay fixed. Kung darating ang superintelligence kahit ano pa ang mangyari, ang tanging trabaho na natitira ay gawing hindi gaanong nakamamatay ang pagdating. Ang alignment funding, evals, at "responsible scaling" ay may saysay sa ilalim ng assumption na iyon. Nagiging pangunahing moral na proyekto sila ng isang henerasyon na naniniwalang hindi nito mapipili ang end state. Karamihan sa pera at prestige ay napupunta pa rin sa paggawang mas ligtas ng lahi, hindi sa pagtatapos ng lahi patungo sa superintelihensya.
Maaari nating piliin ang ating patutunguhan. Ang nuklear na mga sandata, kimika ng ozone, at ang cloning ng tao ay may mga sandali nang ipasiya ng mga pamahalaan na ang ilang mga dulong estado ay hindi sulit na panatilihin ang panganib. Ang superintelligence ay kabilang sa listahang iyon nang permanente. Ang superintelligence ay hindi maaaring kontrolin ng mga tao.
Kapag inalis mo ang pagpapalagay ng hindi maiiwasan, iba ang hitsura ng portfolio. Ang kakaunting safety capital na ginugugol sa paggawa ng lahi na parang mapapamahalaan ay capital na hindi ginugugol sa pagtatapos ng lahi. Ang governance na nagpapabagal lamang sa frontier para "mahabol ng mga lab ang safety" ay patuloy na tinatrato ang pagbuo ng hindi makontrol na isipan bilang plano. Ang alignment work na nagpapalagay na lilikha tayo ng isang kahaliling species at pagkatapos ay lalagyan ito ng tali ay nagkakamali ng research program bilang survival strategy.
Nakuha nila ang ledger ngunit mali ang patutunguhan.
Pananaliksik pagkatapos ng paghinto, hindi kapalit nito
Ang trabaho na gumagawa sa mga sistema sa ngayon na mas malinaw, mas mahirap gamitin, o mas madaling isara ay mahalaga pa rin. Pagkatapos ng isang napatunayang paghinto sa landas tungo sa superintelligence, ang pananaliksik upang makontrol ang malakas na AI ay maaaring magpatuloy nang walang komersiyal na stopwatch na nakatutok sa panganib ng pagkalipol.
Ang nabigo ay ang pagtrato sa technical alignment bilang pangunahing sagot habang patuloy na nagpapalaki ang frontier labs sa parehong kalendaryo. Binabaliktad nito ang problema. Kapag hindi mo makontrol ang downside, at ang downside ay ang lahat, ang responsableng hakbang ay itigil ang pagbuo sa mapanganib na bagay. Hindi mapipigilan ang superintelligence. Patuloy ang narrow AI. Ang makitid na uri ng mga sistema na lalampas sa katalinuhan ng tao sa lahat ng larangan ay hindi.
Ang pansamantalang mabagal na pag - abante upang maging ligtas ay isang iskedyul na pumusta na nag - iisip na may mag - iimbento ng isang mabisang paraan upang makontrol ang isip nang mas matalino kaysa sa mga gumagawa nito, sa tamang panahon, sa ilalim ng matinding panggigipit. Walang sinuman ang may gayong pamamaraan, hindi sa maliit na antas at hindi sa pangkalahatan. Ang nangunguna sa mga laboratoryo ay gayundin ang sinasabi sa publiko.
Ang mga tao ay kadalasang nagsasalansan ng prebensiyon sa ilalim ng "pause". Ang paghinto ay ilang taon ng paghinga at pagkatapos ay bumabalik. Gusto nating magkaroon ng mga gobyerno hadlangan ang artipisyal na superintelligence at patuloy na hadlangan ito nang permanente. Ang superintelligence ay hindi maaaring kontrolin. Ang kasunduan ay isang off-ramp mula sa lahi.
Ano ang dapat gawin ng pera sa halip
Ilipat ang paraon-for-superintelihensya stage tungo sa trabaho na gumagawa sa non-creation na pagpapatupad: tratent design at verification, chip-level compance na maaaring siyasatin, pampublikong kaso-paggawa na nagpapanatili sa goal legable, pollder at transparency na gawain na nagpapataas sa halaga ng mga tahimik na integrated, at pampulitikang pag-organisa na ang mga mambabatas ay nakaririnig mula sa mga botante sa halip na mula lamang sa mga laber lobbyista. Ituon ang pasiya na huwag itayo ito.
Ang longtermismo ay umani ng kredito sa pagpapangalan ng panganib na itinuturing pa rin ng karamihan ng mga piling tao bilang kathang-isip ng agham. Ang pangalan para sa diyagnosis ay hindi naka-lock sa reseta. Ang parehong panganib, iba't ibang plano: iwasan ang superintelligence sa ilalim ng batas, at panatilihin ang mga kasangkapan na tumutulong sa mga tao. Iwanan mo ang panaginip ng isang maingat na diyos sa istante hanggang sa sumang - ayon ang daigdig na huwag magtayo ng isa sa dilim.