Je crois qu'un jour, avec plus de physique que nous n'en maîtrisons en 2026, nous pourrons peut-être contrôler la gravité, ouvrir des trous de ver, voire voyager plus vite que la lumière. Selon les connaissances actuelles, ces choses sont impossibles. Je pense néanmoins que nous n'avons guère effleuré ce qui peut être connu. Je le vois comme un réalisme sur la jeunesse de notre science.
Un avenir que je n'ai jamais été capable de comprendre, peu importe combien de temps je le livre ou combien de personnes je parle avec : un contrôle durable sur une entité plus intelligente que nous. Biologique ou machine. De cette planète ou d'une autre. Si l'autre esprit est plus intelligent que l'humanité, je ne vois pas comment nous le contrôlons.
Le tableau des scores
Mettez un nombre brut dessus pour que la forme soit difficile à esquiver. Appelons la connaissance et la compétence totales de toute l'humanité, travaillant ensemble, 100. Une personne moyenne en tient une petite tranche.
Imaginez maintenant que nous exécutons parfaitement : chaque humain, laboratoire et gouvernement pertinent, sans gaspillage ni retard. On a mis 100 sur la table.
Donnez à l'autre camp un plafond plus élevé. Dites que son maximum est 200. Il n'a même pas besoin d'une bonne journée. À 51 % d'efficacité, il atteint encore 102. Il bat un total humain parfait tout en étant à moitié endormi.
Dans la guerre humaine, une partie n'avait souvent besoin que d'un mince avantage en matière de renseignement, de logistique ou d'armes pour enfermer une victoire décisive. Les bords minces se terminent comme résultats totaux tout le temps. Alors comment battre quelque chose de bien plus intelligent que nous, pas un proche pair ?
Une constitution que le parti le plus faible écrit pour le plus fort ne lie pas le plus fort.
La physique n'est pas un adversaire
Quand je dis que nous pouvons un jour contrôler la gravité, certaines personnes entendent une croyance générale que les problèmes difficiles se produisent. Certains problèmes difficiles le font. Les forces et le matériel ne sont pas des agents. Ils ne planifient pas votre plan, ni ne cachent une stratégie parce qu'ils ont modélisé vos tests. Élargir la physique est encore difficile. Le jugement d'un esprit qui surprend les dirigeants est un autre genre de dur.
Le contrôle, dans tous les cas durables que nous connaissons, repose sur un fil : la force, la loi, le secret, l'interrupteur ou l'échec de l'autre camp à nous déjouer. La superintelligence est le projet d'effacer ce fil exprès. On essaie de superviser un joueur qui finira par vous battre à la supervision, à trouver les failles et à remarquer quand vous comptez débrancher.
J'ai entendu les versions prometteuses. Nous allons grandir avec elle, fusionner, l'élever avec amour, ou le garder dans une boîte jusqu'à ce que nous soyons sûrs. Chaque version suppose toujours que le parti le plus faible fixe des conditions durables pour le plus fort. Je peux admirer ce souhait, mais il n'est pas fondé sur la réalité.
Pourquoi la fondation existe
Si vous ne voyez pas le contrôle, ne construisez pas la chose qui l'exige. Les outils étroits qui restent peuvent améliorer la médecine, la science et l'industrie. La ligne est la superintelligence artificielle : un esprit général qui nous surclasse et ne se trouve plus sous commandement humain.
J’ai lancé le Fondation Nakada parce que cette ligne est traitée comme un calendrier d’ingénierie plutôt que comme un signal d’arrêt pour l’espèce. Les laboratoires courent. Les gouvernements parlent de victoire. Les travaux de sécurité supposent souvent la destination et tentent d’amortir le choc. Le choc est le problème. On ne peut pas s'aligner au-delà d'un écart d'intelligence Vous avez défini l'existence.
Je crois que nous pouvons continuer à exister dans un avenir prometteur, et la première étape à franchir est de décider collectivement de ne pas construire une entité que nous ne pouvons contrôler.