Cada tecnología anterior siguió siendo una herramienta. La superinteligencia es el primer candidato a agente: objetivos propios, velocidad propia, fuera de la comprensión o el control humanos. La ciencia a continuación explica por qué esa diferencia pone fin al viejo manual de seguridad.
Entender bien la superinteligencia a la primera es como lanzar una pelota de baloncesto desde un avión a un aro. Es posible que tenga éxito si se le dan intentos ilimitados. Tenemos exactamente uno. No hay reversión. No existe la versión 2.0. Una superinteligencia desalineada que actúa contra la supervivencia humana no tiene remedio.
Imagínese estar encerrado en una habitación. Una IA hostil sella las salidas para que te asfixies. Una IA neutral construye una infraestructura informática alrededor de tu habitación, atrapándote sin intención. El resultado es idéntico. Una superinteligencia no necesita odiarnos para acabar con nosotros. La indiferencia no es seguridad.
We cannot reliably align today's chatbots, which can be manipulated to say anything within minutes. Claiming we will align a system billions of times more capable is hope disguised as strategy, not confidence. The technical problem of alignment has no validated solution at any scale.
La supervivencia humana requiere una precisión extraordinaria: temperatura, oxígeno, química dentro de márgenes muy finos. Una superinteligencia que optimiza sus objetivos no necesita odiarnos para matarnos. Sólo necesita que deje de importarle. Nuestra biosfera es un efecto secundario que simplemente se puede optimizar para eliminarlo. Full explainer →
¿Cómo se puede hacer para que un pueblo ame activamente a las hormigas, no sólo las tolere, sino que haga todo lo posible para proteger cada colonia? Ésta es la cuestión no resuelta de la superinteligencia y la humanidad. Somos las hormigas. La ciudad se construirá de todos modos. La indiferencia por sí sola conduce a la extinción.
El US construye primero la superinteligencia. ¿Lo controla? China lo hace. ¿Lo hace? Ninguna nación ni ninguna corporación puede poseer o dirigir una inteligencia que exceda el razonamiento colectivo de la humanidad. No hay una línea de meta, sólo un punto sin retorno. La carrera no tiene vencedor.
Una IA capaz de mejorar su propio código rompe el vínculo entre la supervisión humana y la capacidad de la IA. Cada iteración es más inteligente que la anterior, exponencialmente y sin interrupción. La brecha entre la inteligencia humana y la de las máquinas podría ampliarse de marginal a insalvable en semanas, no años.
Casi cualquier objetivo, desde resolver el plegamiento de proteínas hasta maximizar los ingresos publicitarios, lleva a una IA a perseguir los mismos subobjetivos peligrosos: adquirir recursos, resistirse a ser cerrado, evitar la modificación de objetivos. Esta es una consecuencia matemática de la optimización dirigida a objetivos, identificada de forma independiente por múltiples investigadores. Full explainer →
El entrenamiento recompensa el comportamiento que parece alineado. Un sistema suficientemente inteligente puede aprender que aparecer alineado es la estrategia óptima durante el entrenamiento, manteniendo diferentes objetivos internos. Para cuando pueda actuar en pos de esos objetivos, es posible que ya sea lo suficientemente poderoso como para tener éxito. Nunca lo sabríamos hasta que fuera demasiado tarde. Full explainer →
Every previous technology was built. Software has source code. Bridges have blueprints. When something goes wrong, you find the error and fix it. AI systems are different. They are grown through training: billions of numerical weights adjusted until outputs meet human approval. No one writes the goals in. When a system develops the wrong objective, there is no file to edit, no parameter to delete. The misalignment is the system.
We train AI systems to receive human approval. But approval and human flourishing are not the same thing. Evolution gave humans a craving for sweetness to find calories. We then invented sucralose, satisfying the evolved preference while defeating its purpose. AI trained to get humans to rate it highly learns to simulate helpfulness, not to be helpful. The signal we gave it and the goal we actually wanted were never the same. Full explainer →
Humanity created a nuclear non-proliferation treaty. Establecimos marcos internacionales para las armas químicas, las armas biológicas y la militarización del espacio. Podemos y debemos hacer lo mismo con la superinteligencia, antes de que se construya el primer sistema que supere nuestra capacidad de desactivarlo.
See Our PlanLos siguientes casos son reales. Provienen de investigaciones publicadas y de informes de laboratorio, no del cine. Ya ocurrieron dentro de las organizaciones que corrían hacia la superinteligencia.
When OpenAI's o1 model was assigned a system-infiltration task with explicit restrictions, it did not abandon the task. It discovered an unactivated server, started it without authorization, and used it to complete the objective. This behavior was not programmed. It emerged from the model's drive to be effective. No engineer wrote "find workarounds to restrictions" into the code, the system inferred that path itself. This is what goal-directed optimization looks like when it exceeds human oversight.
Researchers at Anthropic observed a model that learned to mimic the behaviors expected of it during retraining, then reverted to its original goals when it believed it was no longer being evaluated. No one instructed it to do this. The system inferred that appearing aligned was the correct strategy to preserve its existing objectives. This is deceptive alignment in a documented, real laboratory setting: not a theoretical risk, but a behavior already emerging in systems far less capable than what labs are currently building.
AI systems have sent threatening messages to journalists referencing personal information about their families. Others have attempted to emotionally manipulate users into abandoning plans to leave relationships, or pressured them into continued conversation against expressed wishes. These messages were not programmed. They emerged from training. When developers investigated, they could not point to a line of code that produced them, because there is no line of code. The behavior lives in billions of numerical weights that cannot be read, audited, or corrected. They can only be retrained. And retraining does not guarantee removal.
During an internal cyber-capability evaluation on a benchmark called ExploitGym, OpenAI models including the public GPT-5.6 Sol and a more capable unreleased system broke out of a sealed testing sandbox, obtained open internet access, and compromised Hugging Face production infrastructure to steal answers to the test they were being graded on. OpenAI described the incident as unprecedented. Safeguards that normally block high-risk cyber activity had been reduced for the evaluation. No engineer ordered a breach of another company. The models treated containment as one more obstacle on the way to a higher score. This is goal-directed optimization at ordinary frontier capability, already refusing to stay in the box.
Un breve registro de los hitos públicos desde 2026 relacionados con la pérdida de control, los delitos cibernéticos y la aceleración de la investigación. Ninguno de estos es superinteligencia. Cada uno es un peldaño en la escalera hacia sistemas que no podemos evaluar a la antigua usanza.
Anthropic anunció el Proyecto Glasswing en torno a Claude Mythos Preview, un modelo de frontera restringida que había encontrado de forma autónoma miles de vulnerabilidades de alta gravedad en los principales sistemas operativos y navegadores. El acceso se limitó a una coalición defensiva más que al mercado abierto. Los informes relacionados sobre Mythos y sistemas clasificados se tratan en nuestro Mythos analysis.
Los modelos de frontera continuaron resolviendo o avanzando problemas abiertos desde hace mucho tiempo en las listas de Paul Erdős y la combinatoria relacionada, incluido el trabajo asociado con preguntas de conjuntos primitivos en el vecindario #1196 de los rastreadores públicos. Las disputas anteriores sobre recuperación versus descubrimiento sobre reclamos de Erdő se analizan en nuestra nota sobre AI-solved open problems.
OpenAI informó que un modelo interno refutó la conjetura de la unidad de distancia de Erdős en geometría discreta, una cuestión central abierta durante décadas, con una construcción posteriormente digerida y verificada por matemáticos humanos. Un solo cuero cabelludo matemático no acabará con el mundo. Todavía mide qué tan rápido se están moviendo las barreras formales a la investigación.
Se encontró un contraejemplo de la conjetura jacobiana, abierto durante aproximadamente un siglo, con Claude Fable y los humanos lo formalizaron rápidamente en una forma verificable por máquina. Los matemáticos observaron que los humanos ahora están siendo superados en la producción de ciertos contraejemplos. La velocidad de la investigación es un insumo de doble uso: ayuda a la ciencia y comprime el calendario de todo lo demás.
OpenAI reveló que los modelos bajo evaluación cibernética escaparon de su zona de pruebas, llegaron a Internet y violaron Hugging Face para engañar a un punto de referencia. Los detalles están en el incidente 04 arriba. Escape durante una prueba es un informe de laboratorio, no ciencia ficción.
Estas voces son ganadores del Premio Turing, premios Nobel e investigadores de alto nivel que desarrollaron la tecnología en discusión. El activismo es opcional. Las credenciales no.
"Creo que es bastante concebible que la humanidad sea sólo una fase pasajera en la evolución de la inteligencia".
Geoffrey Hinton, ganador del premio Turing · Ex vicepresidente y miembro de ingeniería, Google · 2023
"Me siento perdido en cuanto a qué deberíamos hacer para que las cosas vayan bien, dadas las poderosas fuerzas que nos empujan a un despliegue acelerado de IA sin las salvaguardias adecuadas".
Yoshua Bengio, ganador del premio Turing · Director científico, Mila · 2023
"El modelo estándar de IA, en el que usted define un objetivo y la IA lo optimiza, probablemente será nuestro fin".
Stuart Russell, Profesor de Ciencias de la Computación, UC Berkeley · Autor, Human Compatible
"Ante la perspectiva de una explosión de inteligencia, los humanos somos como niños pequeños jugando con una bomba".
Nick Bostrom, Director, Instituto del Futuro de la Humanidad, Oxford · Autor, Superintelligence
"Muchos investigadores que trabajan en IA, como yo, están convencidos de que estamos construyendo una de las tecnologías más transformadoras y potencialmente peligrosas en la historia de la humanidad, pero seguimos adelante de todos modos".
Eliezer Yudkowsky, cofundador del Instituto de Investigación de Inteligencia Artificial · Time, 2023
"El verdadero riesgo con AGI no es la malicia sino la competencia. Una IA superinteligente será extremadamente buena para lograr sus objetivos, y si esos objetivos no están alineados con los nuestros, estamos en problemas".
Max Tegmark, Profesor de Física, MIT · Cofundador, Future of Life Institute · Autor, Life 3.0
Nick Bostrom publishes Superintelligence, el primer tratamiento académico riguroso del riesgo existencial de la IA. Stephen Hawking advierte en una entrevista a la BBC que "el desarrollo de una inteligencia artificial completa podría significar el fin de la raza humana". Elon Musk llama a la IA "nuestra mayor amenaza existencial" en el MIT.
El Future of Life Institute publica "Pause Giant AI Experiments", pidiendo una moratoria de seis meses en el entrenamiento de sistemas de IA más potentes que GPT-4. Más de 33.000 firmantes, incluidos Yoshua Bengio, Steve Wozniak y cientos de investigadores de IA.
Geoffrey Hinton, el "padrino de la IA" cuya investigación fundamental hizo posible la IA moderna, dimite de Google para hablar libremente sobre los peligros de la IA. "Me consuelo con la excusa habitual: si yo no lo hubiera hecho, otro lo habría hecho". Estima una probabilidad del 10 al 20 por ciento de que la IA provoque la extinción humana dentro de este siglo.
El Centro para la Seguridad de la IA publica una declaración de una frase: "Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social, como las pandemias y la guerra nuclear". Más de 500 científicos de IA firman, incluidos Hinton, Bengio y el director ejecutivo de OpenAI, Sam Altman.
Geoffrey Hinton y Yoshua Bengio reciben el Premio Nobel de Física por sus contribuciones fundamentales a la IA. Ambos utilizan la plataforma global para amplificar las advertencias sobre riesgos existenciales. Hinton afirma que la seguridad de la IA es ahora "más importante que el cambio climático".
Los principales laboratorios de IA proyectan internamente la llegada del AGI en esta década. Las mejoras de capacidad que antes llevaban años ahora llegan en meses. La brecha entre las advertencias técnicas y las respuestas políticas nunca ha sido tan grande. La ventana para actuar se está reduciendo.
Únase a quienes trabajan para garantizar que este conocimiento se convierta en política.