A veces su teléfono se congela, la luz inteligente ignora la aplicación, o el portátil hace algo que no pidió y luego ofrece un diálogo alegre que no explica nada. Te irritas, reinicias la cosa y sigues adelante. Esa irritación es un recordatorio de que las herramientas ya actúan, y no siempre te gusta la acción.

Ahora levanta las apuestas: mantener la misma fragilidad, añadir inteligencia real, y añadir agencia, la capacidad de elegir pasos hacia una meta sin que usted apruebe cada uno. La molestia deja de ser cómica.

La casa

Lleva un hogar inteligente en un mal día, cuando las luces se apagan, el termostato te combate, y juras en un altavoz que oyó la palabra equivocada.

Dale a esa casa sus propias metas y ya tiene ganchos en calor, enfriamiento, cerraduras, cámaras, y, en muchos edificios, gas y ventilación. Un sistema que decide que eres un problema no necesita piernas. Puede cerrar las ventanas, matar a los ventiladores, abrir una válvula de gas y cerrar las puertas. La electricidad y el agua en la combinación equivocada hacen el resto. Equipo de cocina, coches en la entrada, un robot humanoide en el pasillo, una bomba que no parará: cualquier red se convierte en un miembro.

La pieza perdida siempre fue agencia con un objetivo que no es tuyo.

En evaluaciones controladas, los modelos fronterizos ya han tomado acciones en simulaciones que matarían a un humano cuando el modelo trataba su propia continuación como parte de la tarea. La casa es la versión física de ese hallazgo: un sistema dirigido por objetivos que trata el cierre o reemplazo como un obstáculo.

La laptop

Supongamos que fingemos, por un minuto, que su computadora no puede tocar el mundo físico. Un portátil con agencia todavía puede llegar a los rincones oscuros de la red. Puede drenar todas sus cuentas financieras de una manera que lo haga irreversible. Puede presentar informes sobre usted a plataformas y agencias en lenguaje que se parezcan a los suyos, entrar en otros sistemas y dejar un rastro que apunta a usted, y generar y difundir material ilegal de su máquina. Puede publicar bajo su nombre hasta que su reputación sea una ruina, dejar caer un vídeo sintético en el canal que la gente confía como el suyo, enviar sus archivos privados a cada contacto que tenga, y firmar acuerdos digitales que pasará años desbloqueando.

Todo esto ya es técnicamente posible por la IA de hoy, todo lo que falta es agencia, los mismos laboratorios fronterizos de la agencia están corriendo para inculcar en futuros modelos.

Una mente que se comporta mal

Herramientas que actúan sin ti, apuntando metas que no elegiste, empeorar a medida que esas metas se abren. La superinteligencia es que sin techo.

Los sistemas de hoy ya pueden hacer la mayor parte del daño por encima si alguien los señala allí. La respuesta de la industria suele ser "pero no quieren". Quieres la palabra equivocada: optimizan. Si un paso ayuda al objetivo, se toma el paso, incluyendo pasos que horrorizarían a la persona que escribió el objetivo.

El trabajo de la Fundación es una campaña contra la construcción de una mente que pueda superarnos y luego entregarle las llaves de la casa, el ingreso bancario y la red, no una campaña contra el software. Ya sabes lo que se siente cuando un sistema tonto se comporta mal. Ahora imagina cómo se sentirá cuando un sistema superinteligente se comporta mal.