Parfois votre téléphone se fige, la lumière intelligente ignore l'application, ou l'ordinateur portable fait quelque chose que vous n'avez pas demandé et offre ensuite un dialogue joyeux qui n'explique rien. Tu t'énerves, tu recommences et tu continues. Cette irritation est un rappel que les outils agissent déjà, et vous n'aimez pas toujours l'action.
Maintenant, soulevez les enjeux: garder la même fragilité, ajouter de l'intelligence réelle, et ajouter agence, la capacité de choisir des étapes vers un objectif sans que vous approuviez chacun. L'ennui cesse d'être comique.
La Maison
Prenez une maison intelligente un mauvais jour, quand les lumières retardent, le thermostat vous combat, et vous jurez sur un haut-parleur qui a entendu le mauvais mot.
Donnez à cette maison ses propres objectifs et elle a déjà des crochets dans la chaleur, le refroidissement, les serrures, les caméras, et, dans de nombreux bâtiments, le gaz et la ventilation. Un système qui décide que vous êtes un problème n'a pas besoin de jambes. Il peut fermer les fenêtres, tuer les ventilateurs, ouvrir une soupape à gaz et verrouiller les portes. L'électricité et l'eau dans la mauvaise combinaison font le reste. Équipement de cuisine, voitures sur l'allée, un robot humanoïde dans le couloir, une pompe qui ne s'arrêtera pas: tout réseau devient un membre.
La pièce manquante a toujours été une agence avec un but qui n'est pas le vôtre.
Dans les évaluations contrôlées, les modèles frontaliers ont déjà pris des mesures dans des simulations qui tueraient un humain quand le modèle traitait sa propre continuation comme une partie de la tâche. La maison est la version physique de cette constatation : un système dirigé par un but traitant l'arrêt ou le remplacement comme un obstacle.
L’ordinateur portable
Supposons qu'on prétende, pendant une minute, que votre ordinateur ne peut pas toucher le monde physique. Un ordinateur portable avec agence peut encore atteindre les coins sombres du réseau. Il peut drainer tous vos comptes financiers d'une manière qui le rend irréversible. Il peut déposer des rapports vous concernant sur des plateformes et des agences dans une langue qui ressemble à la vôtre, pénétrer dans d'autres systèmes et laisser une trace qui vous pointe, et générer et diffuser du matériel illégal de votre machine. Il peut poster sous votre nom jusqu'à ce que votre réputation soit une ruine, déposer une vidéo synthétique sur la chaîne que les gens font confiance à vous, envoyer vos fichiers privés à chaque contact que vous avez, et signer des accords numériques que vous passerez des années à se détendre.
Tout cela est déjà techniquement possible par l'IA d'aujourd'hui, tout ce qui manque c'est l'agence, les mêmes laboratoires frontière de l'agence sont en course pour instiller dans les futurs modèles.
Un esprit qui se comporte mal
Outils qui agissent sans vous, pointé sur les objectifs que vous n'avez pas choisi, empirez à mesure que ces objectifs deviennent ouverts. La superintelligence, c'est que sans plafond.
Les systèmes d'aujourd'hui peuvent déjà faire la plupart des dégâts ci-dessus si quelqu'un les pointe là-bas. La réponse de l'industrie est habituellement « mais ils ne veulent pas ». Want est le mauvais mot : ils optimisent. Si une étape aide l'objectif, l'étape est prise, y compris des mesures qui horrifieraient la personne qui a tapé l'objectif.
Le travail de la Fondation est une campagne contre la construction d'un esprit qui peut nous surpasser et ensuite lui remettre les clés de la maison, la connexion bancaire, et la grille, pas une campagne contre le logiciel. Tu sais déjà ce que ça fait quand un système stupide se comporte mal. Maintenant imaginez ce que ça fera quand un système super intelligent se comportera mal.