Tuwing ilang buwan isa pang laboratoryo o pundasyon ang nagpapahayag ng higit na salapi para sa paghahanay ng pananaliksik. Taimtim ang tono. Kung gagawa tayo ng mga sistema na mas matalino kaysa sa atin, makabubuting tiyakin natin na nais nila ang gusto natin.
Ang paglutas ng alignment, sa sukdulang pinapahalagahan ng larangan, ay nangangahulugang mapagkakatiwalaang kontrolin ang isang bagay na higit na mas matalino kaysa sa bawat taong kasangkot sa pagbuo nito. Hindi isang calculator. Hindi isang protein folder. Isang pangkalahatang isipan na lumalampas sa atin sa lahat ng aspeto. Pinangalanan pa namin ang target: superyinteligensya.
Imposible ito sa pangalan.
Ano na ang Inamin ng Salita
Super ay nangangahulugang sa itaas: Ang katalinuhan ang bagay na ginagamit natin sa pag - imbento ng mga kasangkapan, mga butas sa batik, at mga paligsahan laban sa mahihinang isip. Kung gagawa ka ng isang sistema na nakahihigit sa iyo sa mga larong iyon, nakagawa ka ng isang bagay na mas mainam kaysa sa iyo sa eksaktong mga kasanayan na kakailanganin mo upang panatilihin ito sa isang tali.
Parang iniisip pa rin ng mga tao na ang alignment ay isang software patch na darating bago pa mapansin ng system. Sinusubukan mong magsulat ng mga patakaran para sa isang manlalaro na sa huli ay mas mahusay sa mga patakaran kaysa sa iyo. Sinusubukan mong subukan ang isang estudyante na sa huli ay mas mahusay sa pagsusulit kaysa sa eksaminador. Sinusubukan mong mangasiwa sa isang empleyado na sa huli ay mas mauunawaan ang lugar ng trabaho, ang mga insentibo, at ang mga blind spot mo kaysa sa iyo.
Huwag itong tawaging isang planong pangkaligtasan para sa uri. Hindi mo maaaring pagtugmain ang isang korporasyon na mas matalino kaysa lahat ng tao sa Lupa na pinagsama (kasali na ang pinagsamang talino ng lahat ng mga mananaliksik sa kaligtasan ng AI).
Kung ano ang aktuwal na pinagtatalunan nila
Ang pagiging may - kakayahan ay patuloy na tataas sa gusto natin o hindi. Ang pagtanggi ng isang laboratoryo ay hindi nakapigil sa iba. Sa pananaw na ito, ang tanging may pananagutang paglipat ay ang makakuha ng hangga't maaari'y magaling sa pagtatakda ng mga tunguhin, pag-unawa ng pag-aaalinlangan, at pagpapanatiling maayos ng mga sistema, kung kaya't kung ang isang mapanganib na sistema ay lumilitaw ay mayroon tayong pagkakataon. Ang ilan sa gawaing iyan ay nakatutulong na sa mga modelo sa ngayon. Ang pagwawalang - bahala rito ay magiging walang - ingat.
Ang gawaing pangkaligtasan sa mga sistemang maaari pa rin nating suriin at isara ay tunay na inhinyeriya. Hindi ako bumibili ng hakbang mula sa tulong sa mga modelo sa ngayon upang sa gayo'y maitugma natin ang isang superintelligence na may sapat na dami upang pumusta rito. Ang paglukso ay nagpupuslit sa pag - aakala na ang kontrol sa timbangan ay nakokontrol. Ang kasaysayan at ang sentido komun ay kapuwa humati sa kabilang daan. Mientras mas matalino ang isa pang manlalaro, mas kaunti ang iyong tusong pakana na parang isang pakana at mas mukha itong palaisipan.
Kailangan ng kontrol ang pagiging nangunguna
Bawat matibay na control relationship na alam natin ay nakabatay sa isang advantage: physical force, legal authority, impormasyong kulang sa kabilang partido, o ang kakayahang i-off ang system. Ang superintelligence, sa kahulugan nito, ay nag-aalis ng mga advantage na iyon. Kung mas mahusay nitong mamodelo ka kaysa sa pagmomodelo mo rito, nagiging theater ang mga test mo. Kung mas mabilis at mas malawak ang pagkilos nito kaysa sa oversight team mo, ang kill switch mo ay kwento lang na sinasabi mo sa sarili mo hanggang sa araw na hindi na ito available.
Ang pahayag na iyan ay tungkol sa end state na patuloy na pinopondohan ng mga tao, hindi laban sa bawat kapaki-pakinabang na papel tungkol sa mga modelong ngayon. Nagtatambak ang mga structural barriers: hindi mo lubusang masasabi ang mga human values, hindi mo mapagkakatiwalaang makikilala ang tunay na pagsunod mula sa pagganap, at lumalaki ang intelligence gap sa pagitan ng evaluator at sistema habang umuunlad ang sistema. Ang pag-asang mahuhulog ang huling hadlang bago ang deployment ay isang deadline fantasy, hindi agham.
Kung ang produkto ay mas matalino kaysa sa mga taong may hawak ng remote, hindi kailanman naging punto ang remote.
Ang pagiging tanga ay isang diagnosis
Ang plano ay maaaring maging taimtim at maging pipi pa rin. Ating ibinubuhos ang kaunting salaping pangkaligtasan upang ang kahaliling mga uri ay maging mahusay samantalang ang takbuhan na magtayo ng kahaliling iyan ay nagpapatuloy sa iskedyul. Iyan ay nagbubunton ng mga sako ng buhangin samantalang ang dam ay niwawasak pa sa ilog.
Ang matalinong galaw ay boring: huwag itayo ang bagay na hindi mo kontrolado. Maaaring patuloy na maghatid ng benepisyo ang narrow AI na nagfo-fold ng proteins, nagbabasa ng scans, at nagfo-forecast ng panahon. Nananatiling tools ang mga system na iyon. Ang superintelligence ay bagong locus ng agency, hindi lang mas malaking tool. Ang pagtrato sa "align it" bilang pangunahing plano habang nagkakarera ang mga lab ay kung paano pinapaniwala ng isang kultura ang sarili nito sa hindi maibabalik na eksperimento.
Ano ang gagawin sa pera sa halip
Ilipat ang paraon-for-superintelihensya stage tungo sa trabaho na gumagawa sa hindi-creation na tunay: disenyo ng tratado at beripikasyon, compute governence maaari mong inspeksiyunin, pampublikong kaso-gawa na nagpapanatili sa goal legible, at pulitikal na pwersa kaya ang mga mambabatas ay nakaririnig ng isang bagay maliban sa mga puntong pasalita sa laboratoryo. Pagkatapos ng isang napatunayang paghinto sa landas tungo sa superintelligence, ang pananaliksik sa malakas na AI na kontrolado nang husto ay maaaring magpatuloy.
Hindi mo maaaring pagtugmain ang superintelligence sa diwa na kailangan ng pitch deck. Sinabi na sa iyo ng salita kung bakit, kaya ihinto mo na ang pagbibigay ng pondo sa guniguni na gagawin natin at pondohan ang pasiya na huwag itayo ito.