"Je suis optimiste. La race humaine ne disparaîtra sûrement pas. C'est jamais arrivé avant." Vous l'entendez après des panneaux de sécurité, dans des salles vertes et des fils de commentaires, offert pour fermer le sujet: la prudence comme un défaut de personnalité, l'élan comme santé émotionnelle, une revendication de risque passé clandestinement dans une humeur.
L'optimisme est permis, mais pas traiter un tempérament comme une preuve.
Ce que « jamais arrivé auparavant » dit vraiment
L'extinction humaine n'a, par définition, aucun témoin humain par la suite. Chaque personne vivante échantillonne les timelines dans lesquelles l'espèce a continué. Appelez cela de la sélection, pas de la philosophie : un gagnant de loterie est une mauvaise source sur les probabilités de gagner, et « je n'ai jamais eu d'accident de voiture mortel » est un piètre argument contre les ceintures de sécurité.
Les archives fossiles sont moins sentimentales. La grande majorité des espèces ayant jamais vécu ont disparu. Plusieurs extinctions massives ont fait table rase pour ce qui a suivi. Homo sapiens est jeune à l'échelle géologique et a déjà traversé des goulots d'étranglement, des épidémies et des guerres qui auraient pu nous anéantir lors d'un lancer de dés moins favorable. « Ça n'est jamais arrivé avant » est une affirmation sur la mince tranche d'histoire dont nous pouvons encore parler.
C'est des premières fois que naissent les catastrophes
Avant 1945, aucune ville n'avait été détruite par une seule bombe. Avant 1918, aucune pandémie n'avait emprunté les réseaux ferroviaires et maritimes mondiaux à cette vitesse. Avant les travaux sur l'ozone des années 1980, personne n'avait mené l'expérience humaine consistant à amincir la couche qui empêche la lumière ultraviolette de stériliser la surface. Chacun de ces événements était, auparavant, quelque chose qui ne s'était jamais produit. Ceux qui ont agi n'ont pas attendu qu'un cas concret soit disponible comme étude de cas.
L’intelligence artificielle superintelligente relève de cette catégorie. Il n’existe aucune série historique de superintelligences mal alignées sur laquelle faire une moyenne. Il y a en revanche un mécanisme : des systèmes qui poursuivent des objectifs, améliorent leurs propres capacités et finissent par surpasser les institutions censées les corriger. C’est ce mécanisme qu’on invoque quand les taux de base restent muets. Exiger un précédent d’extinction humaine par l’IA avant de prendre le mécanisme au sérieux, c’est demander le cadavre avant le diagnostic.
Chaque première catastrophe ressemble, à l’avance, à quelque chose qui ne s’est jamais produit auparavant.
Optimisme, bien orienté
Il existe une forme d'optimisme que je respecte. Elle dit : les gens ont déjà coordonné sous la pression. Des traités ont tenu. Des industries ont été contraintes de changer de cap quand la science était claire et que la politique s'est organisée. La dossier de retenue Cela va du contrôle des armes nucléaires aux produits chimiques qui mangeaient la couche d'ozone. Cet optimisme se fait sentir. Il suppose que l'avenir reste une décision.
La version greenroom fait le contraire. Elle traite la survie comme le réglage par défaut de l'univers et l'inquiétude comme une mauvaise manière. Elle confond « je préfère les bons résultats » avec « les bons résultats sont donc probables ».
Quand Geoffrey Hinton, Yoshua Bengio et des centaines de chercheurs ont placé le risque d’IA de niveau extinction sur la même liste que les pandémies et la guerre nucléaire, ils faisaient ce que font les experts quand un mécanisme semble solide et que l’inconvénient est total : quelque chose de banal, pas un casting pour des méchants dans une keynote tech. Vous pouvez ne pas être d’accord avec leurs chiffres. Vous ne pouvez pas rejeter la catégorie en annonçant votre type de personnalité.
Le coût de la clôture du sujet
Si la discussion sur l'extinction est reformulée comme un problème d'ambiance, la construction continue sans combat. Ensuite, le seul geste poli est de changer le sujet à la productivité et aux applications. Entre-temps, l'échelle des labos, le décalage des evals, problème de contrôle reste non résolu. L'humeur a été confondue avec la gouvernance.
Je veux que l'humanité se poursuive. Le vouloir est la moitié facile. La moitié la plus difficile est de refuser une voie de développement qui concentre un pouvoir incorrigible dans des systèmes que personne ne peut éteindre de manière fiable, et d’effectuer le travail politique a arrêt contraignant exige. Si l'optimisme ne signifie que « arrêter de parler des inconvénients », il est devenu une berceuse.
Nous n'avons jamais disparu, et ce n'est pas une preuve que nous survivrons à la superintelligence.