Voici un simple test. Voulez-vous laisser tout système d'IA disponible aujourd'hui vous verrouiller dans une pièce scellée, mettre le CVC dans le plafond sous son contrôle, filer ce système dans un réservoir de gaz toxique, et lui faire confiance de ne pas ouvrir la valve? Bien sûr. Tu ne le ferais pas pour un million de dollars. Vous ne faites pas confiance à la machine avec un seul levier irréversible sur votre vie.
Maintenant, dimensionnez la salle
Le monde est une pièce plus grande. Les leviers sont les réseaux énergétiques, les marchés, les réseaux d'armes, les laboratoires de bio, la logistique et la couche logicielle qui repose déjà sur la vie ordinaire, pas un réservoir de décor. Nous construisons des systèmes qui deviennent meilleurs pour actionner ces leviers chaque trimestre, et nous connectons davantage de leviers au logiciel chaque année.
Si vous ne confieriez pas à un modèle d'aujourd'hui une seule vanne dans une seule pièce, pourquoi confieriez-vous à celui de demain toutes les vannes ? Les réponses habituelles sont molles. « Nous testerons davantage. » « Nous garderons un humain dans la boucle. » « Ce sera aligné d'ici là. » Ce sont des espoirs. Ce ne sont pas une raison pour que le petit test et le grand test reçoivent des réponses opposées.
Si vous ne lui confieriez pas la valve, ne lui donnez pas le monde.
Le fossé de l'honnêteté
Les personnes qui travaillent sur ces systèmes admettent parfois, avec prudence, qu'elles ne savent pas comment garantir le contrôle au-delà d'un certain niveau de capacités. Pourtant, la feuille de route produit continue. Cet écart entre la prudence privée et le déploiement public résume tout le problème.
Je vous demande de garder le jugement que vous avez déjà quand le scénario est concret. Une pièce verrouillée et une soupape à gaz rendent les enjeux évidents. La superintelligence est la même forme avec de pires chances et aucun bouton de remise à zéro.
Vous feriez confiance à un modèle actuel avec la valve ? Si la réponse est non, ne votez pas, ne financez pas ou n'évaluez pas votre façon de faire confiance à la civilisation. La réponse cohérente est celle qui vous maintient en vie: ne construisez pas le système avec lequel vous ne vous enfermeriez pas dans une pièce.