Narito ang isang simpleng pagsubok. Pahihintulutan mo ba ang anumang sistema ng AI na makukuha ngayon na magkulong sa iyo sa isang saradong silid, ilagay ang HVAC sa kisame sa ilalim ng kontrol nito, ang kawad na sistemang iyon sa isang tangke ng nakalalasong gas, at magtiwala na hindi nito bubuksan ang balbula? Siyempre hindi. Hindi mo ito gagawin sa halagang isang milyong dolyar. Hindi ka nagtitiwala na ang makina ay may isang di - mababagong pingga sa iyong buhay.
Ngayon, sukatin ang silid
Ang mundo ay mas malaking silid. Ang mga pingga ay mga grid ng enerhiya, merkado, network ng armas, bio lab, logistik, at ang software layer na nakaupo na sa ibabaw ng ordinaryong buhay, hindi isang prop tank. Nagtatayo tayo ng mga sistema na lalong nagiging mahusay sa paghila ng mga pingga bawat quarter, at lalong iniuugnay natin ang mga pingga sa software bawat taon.
Kung hindi mo pagkakatiwalaan ang modelong ngayon sa isang balbula sa isang silid, bakit pagkakatiwalaan ang bukas na model sa lahat ng mga ito? Ang karaniwang sagot ay malambot. "Mas susubukan pa namin." "May tao pa rin sa loop." "Naka-align na siguro noon." Mga pag-asa lang iyon. Hindi iyon dahilan kung bakit dapat magkaiba ang sagot sa maliit na pagsubok at malaking pagsubok.
Kung hindi mo ibibigay sa kanya ang balbula, huwag mong ibigay sa kanya ang mundo.
Ang Honesty Gap
Ang mga taong nagtatrabaho sa mga sistemang ito ay minsan ay umamin, sa maingat na pananalita, na hindi nila alam kung paano masisiguro ang kontrol lampas sa isang tiyak na antas ng kakayahan. Pagkatapos ay nagpapatuloy pa rin ang roadmap ng produkto. Ang agwat sa pagitan ng pribadong pag-iingat at pampublikong pag-deploy ang buong problema sa maliit na sukat.
Hinihiling ko sa inyo na panatilihin ang hatol na taglay na ninyo kapag ang tanawin ay matatag. Isang nakakandadong silid at isang balbula ng gas ang nagpapahalata sa mga tulos. Ang superintelligence ay parehong hugis na may mas malubhang kalamangan at walang renovate button.
Magtitiwala ka ba sa anumang kasalukuyang modelo sa pamamagitan ng balbula? Kung ang sagot ay hindi, huwag bumoto, pondohan, o ipagwalang - bahala ang iyong paraan upang magtiwala rito sa sibilisasyon. Ang di - nagbabagong sagot ang siyang nagpapanatili sa iyo na buháy: huwag gumawa ng sistema na hindi mo maikandado sa isang silid.