Open Philanthropy, 80,000 Hours et la lignée de recherche qui passait par le Future of Humanity Institute ont fait ce que la plupart des institutions refusent encore de faire. Ils ont traité la superintelligence artificielle comme une façon plausible dont l'histoire humaine pourrait se terminer, et ils ont dirigé de l'argent et des talents réels vers cette affirmation. Sur le risque lui-même, ils ont été précoces et ils avaient raison.
Là où le portefeuille a déraillé, c'est dans l'inférence suivante. De « cela pourrait réduire durablement l'avenir de l'humanité », la réponse dominante des long-termistes est devenue : financer la recherche technique sur l'alignement, financer la gouvernance de superintelligence qui ralentit ou oriente la frontière, et garder une voie ouverte pour construire les systèmes une fois qu'ils paraissent plus sûrs. C'est aussi le mauvais plan pour le risque qu'ils ont correctement identifié.
Pourquoi l'alignement ressemblait au levier
L’échelle, la négligence et la tractabilité comptent toujours. Une superintelligence mal alignée pourrait affecter chaque personne vivante et toutes les générations suivantes. Pendant des années, presque personne au pouvoir n’a traité cela comme une possibilité réelle. Les travaux techniques sur la mauvaise spécification des objectifs, la tromperie et la supervision semblaient l’un des rares leviers susceptibles d’améliorer les chances d’un bon résultat si des systèmes puissants arrivaient malgré tout. Les arrêts unilatéraux de laboratoires semblaient sans espoir face à la concurrence. Aussi le portefeuille responsable associait-il science de l’alignement, politiques gagnant du temps et influence prudente au sein des laboratoires et des gouvernements qui construiraient les systèmes de toute façon.
Le revers est civilisationnel et le sujet a été négligé. Certains travaux de sécurité technique sur les systèmes que nous pouvons encore inspecter et éteindre est l'ingénierie ordinaire. Les laboratoires rivaux et les États rivaux font de "une entreprise quitte" une stratégie faible.
Où le raisonnement s'effondre
La rupture réside dans l’hypothèse tacite que la destination est fixée. Si la superintelligence arrive quoi qu’il arrive, alors la seule tâche restante est d’en rendre l’arrivée moins mortelle. Financements de l’alignement, évaluations et « scaling responsable » prennent sens sous cette hypothèse. Ils deviennent le projet moral principal d’une génération qui croit ne pas pouvoir choisir l’état final. L’argent et le prestige vont encore majoritairement à rendre la course plus sûre, pas à y mettre fin.
Nous pouvons choisir notre destination. Les armes nucléaires, la chimie de l'ozone et le clonage humain ont chacun eu des moments où les gouvernements ont décidé que certains États finals ne valaient pas de risque résiduel. La superintelligence fait partie de cette liste. La superintelligence ne peut être contrôlée par les humains.
Une fois abandonnée l’hypothèse d’inévitabilité, le portefeuille change. Le capital de sécurité rare dépensé à rendre une course gérable est du capital non dépensé pour y mettre fin. Une gouvernance qui ne fait que ralentir la frontière pour que les laboratoires « rattrapent leur retard en matière de sécurité » considère encore la construction d’un esprit incontrôlable comme le plan. Les travaux d’alignement qui supposent que nous créerons une espèce successeur puis la musellerons confondent un programme de recherche avec une stratégie de survie.
Ils ont bien géré le registre mais se sont trompés de destination.
La recherche après l'arrêt, pas à la place
Le travail qui rend les systèmes d'aujourd'hui plus transparents, plus difficiles à utiliser ou plus faciles à arrêter peut encore compter. Après un arrêt vérifié sur le chemin de la superintelligence, la recherche sur le contrôle de l'IA puissante peut se poursuivre sans un chronomètre commercial enregistré au risque d'extinction.
Ce qui échoue, c’est de traiter l’alignement technique comme la réponse principale pendant que les laboratoires de pointe avancent au même rythme. Cela inverse le problème. Quand on ne peut pas maîtriser le risque et que ce risque concerne tout le monde, la démarche responsable consiste à arrêter de construire la chose dangereuse. La superintelligence ne peut pas être contrôlée. L'IA étroite continue. La classe étroite de systèmes qui dépasseraient l'intelligence humaine dans tous les domaines n'existe pas.
Un ralentissement temporaire afin que la sécurité puisse rattraper son retard est un pari de calendrier qui suppose que quelqu'un invente une façon validée de contrôler un esprit plus intelligent que ses décideurs, à temps, sous pression concurrentielle. Personne n'a cette méthode, pas à petite échelle et pas en général. Les labos disent autant en public.
Les gens déposent souvent la prévention sous "pause". Une pause est quelques années de salle de respiration, puis reprendre. Nous voulons que les gouvernements prévenir la superintelligence artificielle et continuez à l'empêcher définitivement. La superintelligence ne peut pas être contrôlée. Le traité est un hors-bord de la race.
Ce que l'argent devrait faire à la place
Déplacer la pile d'alignement pour l'superintelligence vers un travail qui rend la non-création exécutoire : conception et vérification des traités, gouvernance de calcul au niveau des puces qui peut être inspectée, élaboration de cas publics qui maintient l'objectif lisible, dénonciateur et travail de transparence qui augmente le coût des sauts de capacité silencieux, et organisation politique afin que les législateurs entendent des électeurs plutôt que seulement des lobbyistes de laboratoire. Financer la décision de ne pas la construire.
Le long-termisme a gagné le mérite de nommer un risque que la plupart des élites traitent encore comme de la science-fiction. Le crédit pour le diagnostic ne verrouille pas la prescription. Même risque, plan différent: prévenir la superintelligence en vertu de la loi, et garder les outils qui aident les humains. Laissez le rêve d'un dieu soigneusement dirigé sur le plateau jusqu'à ce que le monde ait accepté de ne pas en construire un dans l'obscurité.