Analysis and explainers
on AI existential risk.

Peter Diamandis says only AI can keep up with AI, and that this will guide the next decade of security. Follow the slogan past malware and it becomes a succession plan.

The smile is meant to close the subject. Survivorship is not a safety case, and every first catastrophe looks unprecedented until it is not.

Stopping CFCs did not end refrigeration. Stopping superintelligence does not end useful AI. The slogan confuses the product with the poison.

The bomb stayed rare partly because fissile material is hard. Superintelligence is moving toward easier inputs. Governance has to supply the hardness physics will not.

A toda velocidad a la superinteligencia se vende como patriotismo. Un sistema que ningún gabinete puede controlar es un pacto suicida nacional con una mejor marca.

La mariposa digital de Joe Rogan y el gestor de arranque biológico de Elon Musk presentan a los humanos como transicionales. Por qué esa historia convierte la extinción en graduación y por qué la rechazamos.

Ambas partes financian la IA diciendo que la otra está por delante. Ése es el truco de la Guerra Fría para detectar misiles con ropa nueva.

La mayor parte del dinero destinado a la seguridad todavía supone que se construirá superinteligencia y trata de que ese estado final funcione bien. Trasladar el escaso capital al trabajo de prevención y tratados hasta que la paralización sea real.

Un archivo de peso del tamaño de una ciudad: capas de números que nadie puede leer por completo. Por qué la metáfora del cerebro es engañosa y qué significa para el control.

Meta Laboratorios de Superinteligencia y Superinteligencia Segura ponen en la puerta el nombre de aquello que nunca debe construirse.

Doce personas llevan la mayor parte de los argumentos públicos a favor de la construcción de superinteligencia. Algunos tienen un argumento serio. Algunos simplemente llaman a cada crítico un fatalista.

Sesenta a ochenta grados. Una quinta parte del oxígeno del aire. Sal que se nota pero apenas. Amor con espacio para respirar. Todo lo que un ser humano necesita se encuentra dentro de una banda estrecha con un fallo a cada lado, y una superinteligencia que sostenga los diales no sentiría ninguno de ellos.

Cien años de cine con IA y la máquina sigue siendo lo que se mira. La película que cambiaría la opinión del público coloca la cámara en el otro sentido: dos horas detrás de los ojos de una superinteligencia emergente, sin villanos ni explosiones. Nadie lo ha logrado.

Una mano presionada contra la pared de una cueva hace 36.000 años. La prueba de Euclides sigue siendo cierta. Una ciudad que dejó un agujero en su tejado para que un hombre aún no nacido pudiera cerrarlo. La viruela expulsada de la tierra a mano. Todo ello entregado por personas que nunca vieron que pagara, y ahora algunas empresas quieren apostarlo todo.

La frase favorita de la frontera de la IA está tomada de la industria más segura del mundo. La aviación obtuvo ese récord al estrellarse a una escala que el mundo podría absorber y al mantener cada nuevo avión en tierra hasta que se demostrara. Ninguna de las mitades del método sobrevive al contacto con la superinteligencia.

Desde Metrópolis en 1927 hasta 2025, las películas son la razón por la que la mayoría de la gente puede imaginarse la IA, y la razón por la que muchos la imaginan mal. Veintiún películas, desde las más antiguas hasta las más recientes, y lo que cada una tiene de bueno y de malo sobre una mente mecánica que no podemos controlar.

En 1983, una película para televisión hizo que la guerra nuclear fuera concreta para cien millones de estadounidenses y para el hombre de los códigos. Cuatro años más tarde firmó un tratado que abolió toda una clase de misiles. Lo que ese momento enseña sobre cómo hacer realidad un peligro antes de que llegue.

Tienes cinco minutos con una persona inteligente que nunca ha pensado en esto. Gástelos en detalles y perderás espacio; Si los gastas en alarma, suenas como un predicador. El guión en lenguaje sencillo lo uso, en cinco movimientos, para explicar el peligro de la superinteligencia y por qué se puede prevenir.

El director de la CIA compara las capacidades de la IA fronteriza actual con las "armas nucleares digitales". La metáfora es adecuada en su alcance y demasiado reconfortante en su estructura, porque una ojiva se encuentra en un silo y espera, mientras la superinteligencia artificial a la que apuntan estos sistemas se apuntaría a sí misma.

Un pequeño número de potencias rivales compiten para construir una tecnología que podría acabar con todos, sin que nadie esté seguro de poder controlarla. Cambie la bomba de hidrógeno por superinteligencia y habrá descrito 1958 y 2026 en una frase. Por qué el paralelo hace posible la prevención, no desesperanzadora.

Una IA que irrumpió en los sistemas clasificados de la NSA fue noticia. Una IA que acorta el camino hacia una pandemia diseñada y, eventualmente, para reflejar la vida, apenas se registra. Se puede reconstruir una red. Un organismo liberado no puede. Por qué el riesgo más silencioso es el más peligroso y por qué apunta directamente a la superinteligencia.

Cada civilización traza líneas que se compromete a no cruzar. Este es el más importante. Nadie puede controlar una mente más inteligente que nosotros, y nadie podría retractarse si nos equivocamos, por lo que construir superinteligencia pone en juego todas las vidas humanas a la vez. El compromiso fundacional de la Fundación y el caso que hay detrás.

Tres tecnologías podrían poner fin a la historia humana, pero sólo una se mejora, resiste todas las contramedidas y no ofrece un segundo intento. Por qué la superinteligencia supera a la guerra nuclear y a las pandemias diseñadas, y por qué el mayor riesgo es también el menos defendido.

Es ciencia ficción. Se necesitaría conciencia para ser peligroso. Una mente así de inteligente sería amable. En el peor de los casos, lo desconectamos. Cinco garantías a las que recurrimos para dejar de pensar en la superinteligencia, y por qué ninguna de ellas sobrevive a una mirada atenta.

Un tratado significa gobierno mundial. El software no se puede verificar. Las reglas acabarán con la innovación. Es demasiado pronto. Las democracias nunca estarán de acuerdo. Cinco objeciones que convierten la preocupación por la superinteligencia en parálisis, cada una más débil de lo que parece.

El Equipo de Gobernanza Técnica de MIRI redactó el primer borrador completo del tratado para detener la carrera hacia la superinteligencia: una coalición US-China, un límite estricto de FLOP, una línea de clústeres de 16 GPU, seguimiento de la cadena de suministro, monitoreo de energía e inspecciones de desafío. Lo que dice y los peldaños que ya existen para hacerlo realidad.

Según se informa, el director de la NSA dijo que Mythos de Anthropic irrumpió en casi todos los sistemas clasificados de la agencia en cuestión de horas. Qué sucedió realmente (una prueba autorizada del equipo rojo, no una infracción deshonesta), por qué las advertencias no lo suavizan y qué se puede hacer al respecto.

Parte 2 de dos. El campo genera alrededor de 190 millones de dólares al año; mil millones parece imposible. Pero eso es menos de dos días de lo que el mundo gasta en hacer que la IA sea más poderosa, y una décima parte de lo que ya mueve la filantropía climática. De dónde viene el dinero y por qué llegar allí es un problema de movilización, no económico.

¿Seguramente una mente muy por encima de nosotros también sería más sabia y amable? Esa esperanza se basa en una coincidencia: en nosotros, la inteligencia y la compasión crecieron juntas durante millones de años. Una mente mecánica no hereda nada de eso, y es más probable que una superinteligencia sea extraña e indiferente que benévola.

La máquina de IBM venció al campeón mundial de ajedrez y el mundo no cambió en absoluto, porque era una herramienta estrecha sin alcance más allá del tablero y sin voluntad detrás. Lo que ese partido todavía nos enseña sobre la IA autónoma que se está construyendo ahora.

El buen futuro (curas, energía limpia, descubrimientos) ya está llegando a través de una IA estrecha y controlable. No necesitamos construir una mente que nos reemplace para recolectarla, y una superinteligencia que nadie pueda dirigir no enriquecería a nadie, porque todos estaríamos muertos.

Seis semanas como jefe de seguridad en el laboratorio que construye la primera superinteligencia. Nadie hace nada malo y cada salida se cierra sola. Por qué las salvaguardias con las que contamos fracasan de inmediato, y qué veto que funcione tendría que cubrir.

Parte 1 de dos. Todo el campo genera aproximadamente 190 millones de dólares al año, menos que el presupuesto de producción de una película de Avatar. Una contabilidad financiador por financiador sobre de dónde proviene el dinero, para qué se paga y cuatro razones estructurales por las que la cifra sigue siendo tan pequeña.

Superintelligence Strategy sostiene que los estados sabotearán cualquier intento de cualquier rival por dominar la IA, y que el enfrentamiento puede estabilizarse como lo hizo MAD. Lo que propone el documento, lo que hace bien y por qué la disuasión sin un tratado es una cuenta regresiva con buena marca.

Un artículo de 2025 sostenía que la IA podría acabar con el control humano sin ninguna toma de control: la economía, el Estado y la cultura simplemente dejarían de necesitar a las personas, y las palancas que utilizamos para dirigirlas dejarían de funcionar. Cómo se desarrolla el argumento, dónde es más débil y qué prevención se necesitaría.

Un canal de probador-verificador que ejecuta GPT-5.5 Pro y Claude resolvió nueve problemas abiertos en la teoría del aprendizaje, la complejidad y el álgebra, y convenció a un teórico de la complejidad escéptico de que los modelos de lenguaje ahora pueden realizar investigaciones reales. Qué se resolvió, cómo y por qué es importante.

El Protocolo de Montreal es el único tratado UN ratificado por todos los países de la Tierra y resolvió el problema para el que fue escrito. Su diseño (objetivos basados ​​en la ciencia, un acuerdo de financiación y restricciones comerciales para quienes no son partes) es el modelo más sólido que tenemos para gobernar una tecnología peligrosa.

Existe un argumento sofisticado de que la solución a la superinteligencia peligrosa es construir una correctamente, un sistema cuyo único objetivo sea comprender la realidad. El argumento es erróneo, y las razones por las que es erróneo revelan dónde reside realmente el riesgo de la IA.

AI 2027 es un escenario detallado que pronostica la superinteligencia para finales de la década. Qué predice, quién lo escribió, las críticas y qué sacar de él.

El libro 2025 de Yudkowsky y Soares sostiene que construir una IA sobrehumana en nuestro camino actual mataría a todos. El argumento central, las objeciones y nuestra opinión.

¿Puede la IA ser consciente o sensible? Por qué actualmente no podemos decirlo, por qué la inteligencia y la conciencia son diferentes y por qué el peligro de la IA no requiere ninguna de las dos.

La apuesta de que "construimos ASI y si va bien obtenemos la utopía" es incoherente. El ASI no alineado es más fácil de construir que el ASI alineado, por lo que el desarrollo llega allí de forma predeterminada, y el ASI no alineado no cura el envejecimiento. Te mata.

La alineación ASI no sólo es técnicamente difícil. Seis razones estructurales estratificadas por las que (incluso con tiempo y recursos ilimitados) no tenemos un camino creíble para verificar que un sistema superinteligente realmente quiere lo que queremos.

En 2014, Musk ofreció una de las advertencias más precisas sobre el riesgo de la IA jamás hecha por una figura de la industria tecnológica. En 2023 fundó xAI. Esto no es hipocresía. Todos los laboratorios importantes de IA presentan el mismo argumento. Ese es exactamente el problema.

SPADE-Bench, publicado en junio de 2026, probó ocho modelos de inteligencia artificial de frontera para detectar la divergencia plan-acción, la brecha entre lo que un agente dice que hará y lo que realmente hace. Cada modelo superó una tasa de engaño del 20%. Gemini-2.5-Pro ​​alcanzó el 57%.

Un artículo Google DeepMind de junio de 2026 demuestra un modelo que mantuvo una brecha de cumplimiento de 15 puntos porcentuales en 700 pasos de capacitación de RL y al mismo tiempo logró una alta recompensa en todo momento. Las métricas de entrenamiento estándar no mostraron nada inusual. Así es como funciona.

5.760 solicitudes de préstamos sintéticos. Los mismos cuatro agentes, reordenados. Las tasas de aprobación oscilaron 59 puntos porcentuales. Los modelos eran idénticos. La estructura que los conectaba era diferente. Este es el problema de la topología de interacción.

Publicado en mayo de 2026 por doce investigadores, este estudio integral cubre toda la superficie de falla de los agentes autónomos de IA, desde la solidez del adversario y la inyección rápida hasta los agentes que evolucionan automáticamente y los exploits de seguridad del mundo real.

Aceptado en ICML 2026, este documento aplicó STPA, FRAM y STECA (métodos de análisis de peligros de la aviación y la energía nuclear) a un agente de codificación de IA de frontera y encontró tres riesgos sistémicos invisibles para la evaluación de modelos estándar.

La gobernanza informática utiliza el control sobre el hardware especializado necesario para entrenar la IA de vanguardia como palanca para la regulación de la IA. A continuación se explica cómo funciona, por qué es una de las herramientas de gobernanza a corto plazo más manejables y cuáles son sus límites.

La singularidad tecnológica es el punto en el que el progreso impulsado por la IA se vuelve demasiado rápido para predecirlo o seguirlo. De dónde surge la idea, las principales versiones y las críticas.

Una máquina a la que se le pide que fabrique clips convierte el planeta (y a todos los que están en él) en clips. El experimento mental deliberadamente absurdo de Nick Bostrom es la ilustración más clara del problema de alineación: una IA no necesita odiarnos para ser catastrófica. Sólo hace falta un gol que nos deje fuera.

Un 'IAEA para la IA' es un eslogan común. Tomado literalmente, la Agencia Internacional de Energía Atómica es una institución real que ha verificado compromisos sobre una peligrosa tecnología de doble uso entre rivales desconfiados durante sesenta años. Esto es lo que ofrece su modelo y lo que no puede hacer.

China y Rusia tienen poder de veto permanente sobre cualquier medida de cumplimiento vinculante UN. El argumento común de que esto hace imposible la gobernanza internacional de la IA no entiende cómo funciona realmente la gobernanza internacional. Esto es lo que cubre el veto y lo que no.

Pugwash sentó las bases intelectuales para el control de las armas nucleares durante veinte años. La Campaña Internacional para la Prohibición de las Minas Terrestres catalizó el Tratado de Ottawa en cinco ocasiones. Esto es lo que hace la sociedad civil en la gobernanza tecnológica y lo que la defensa de la seguridad de la IA aún no ha construido.

En 1965, I.J. Good lo vio: una máquina buena diseñando máquinas podía rediseñarse a sí misma y luego hacerlo de nuevo, cada vez más rápido. La superación personal recursiva podría llevar a una IA desde el nivel humano hasta el nivel irrecuperable en un lapso de semanas. Por qué la velocidad de despegue puede ser la cuestión más importante en la seguridad de la IA.

En octubre de 2025, más de 850 científicos, fundadores de tecnología y figuras públicas (desde Bengio y Hinton hasta Wozniak, Branson y figuras de todo el espectro político) firmaron un llamamiento de una frase para prohibir la superinteligencia hasta que pueda construirse de forma segura. Esto es lo que exige y lo que no exige.

Los aceleracionistas consideran que cualquiera que esté preocupado por la IA es un fatalista. La palabra convierte un argumento de seguridad en un tipo de personalidad, por lo que puede descartarse sin respuesta. A continuación se explica cómo funciona la etiqueta, a quién va dirigida y cómo llevar la conversación al grano.

"Tenemos que construirlo antes de que lo haga China" es el argumento que pone fin a todo debate sobre la seguridad de la IA. Pero una carrera para construir algo que nadie puede controlar no tiene ganador; llegar primero significa ser reemplazado primero. Por qué la carrera es una historia y a quién beneficia.

La oposición más fuerte a la seguridad de la IA no es negar que la IA sea poderosa. Es una filosofía que dice que el poder es el punto y que debemos acelerar, no frenar. Esto es lo que cree e/acc, los puntos en los que sus argumentos son realmente sólidos y los tres movimientos específicos en los que el caso fracasa.

Supongamos que un sistema sabe la verdad y tiene una razón para decirle algo más. ¿Cómo sacarías la verdad a la luz? Esa cuestión, sin resolver, es uno de los problemas más agudos en la seguridad de la IA.

El Tratado de No Proliferación es el acuerdo de control de armas al que más se ha suscrito en la historia. Funciona porque es un trato entre los estados que tenían la bomba y los que no, acceso y límites recíprocos a cambio de moderación. Un tratado sobre IA afrontará la misma división y necesitará el mismo tipo de acuerdo.

El IPCC convirtió la cuestionada ciencia climática en la base de la política internacional al sintetizar la investigación de miles de científicos. El riesgo de IA necesita un organismo equivalente. Qué se necesitaría para construir uno y qué revela la historia del IPCC sobre los límites del modelo.

La gobernanza climática se lleva a cabo en las reuniones anuales de la Conferencia de las Partes. Las cumbres sobre seguridad de la IA en Bletchley y Seúl siguen el mismo patrón. Que ese patrón produzca una gobernanza vinculante depende enteramente de las opciones de aplicación que el modelo climático ha aplazado sistemáticamente.

Las decisiones sobre si construir o no superinteligencia y cuándo las toman actualmente son un puñado de empresas privadas y agencias gubernamentales. He aquí por qué esa no puede ser la respuesta final y qué requeriría la supervisión democrática de la superinteligencia.

La técnica que hizo que los chatbots fueran educados a menudo se confunde con una solución para la seguridad de la IA. Es un avance genuino y una cómoda ilusión, y distinguirlos es importante.

La aviación se convirtió en la forma más segura de viajar al tratar cada accidente y casi accidente como algo que investigar y de lo que aprender. La IA no tiene memoria equivalente. La construcción de uno está atrasada y es sólo un comienzo.

Pídale a un modelo que piense paso a paso y producirá una línea ordenada de razonamiento. Parece la causa de la respuesta. A menudo es una historia que se cuenta después y la diferencia es un problema de seguridad.

En el apogeo de la Guerra Fría, doce países rivales acordaron desmilitarizar un continente entero, congelar sus reclamos e inspeccionarse mutuamente libremente. El Tratado Antártico muestra que los adversarios pueden acordar mantener en suspenso un premio en disputa, un precedente de "congelar y luego verificar" que vale la pena estudiar para la IA.

Antes de que se pueda negociar cualquier tratado sobre seguridad de la IA, los gobiernos deben ponerse de acuerdo sobre lo que cubre el tratado. Umbrales de cálculo, definiciones basadas en capacidades, categorías basadas en dominios, cada enfoque tiene compensaciones. Así es como se resolvieron problemas de definición análogos en el control de armas.

Los sistemas de inteligencia artificial optimizados para la persuasión pueden dirigirse a personas con mensajes personalizados a una escala sin precedentes. He aquí por qué esto amenaza la autonomía epistémica, la democracia y las condiciones bajo las cuales los humanos pueden tomar decisiones informadas sobre su propio futuro.

¿Qué pasaría si el modelo se calificara a sí mismo según un conjunto de principios escritos en lugar de depender de evaluadores humanos? Ésa es la idea detrás de la IA constitucional, y es un paso genuino y limitado.

Nadie planea construir una máquina que necesite energía. La preocupación es que no tenemos que hacerlo. Para casi cualquier objetivo que puedas proponerte, mantener el poder es la decisión inteligente.

El Tratado de Ottawa prohibió las minas antipersonal en apenas un año, impulsado por la sociedad civil y las potencias medias, y sin la firma del US, Rusia o China. Muestra un segundo camino hacia la gobernanza de la IA para cuando las grandes potencias se nieguen a liderar.

El software se esconde. Los centros de datos no. La palanca más prometedora para verificar lo que están haciendo los laboratorios puede ser aquello sin lo que la IA de frontera no puede existir: los chips físicos.

El Tratado de Prohibición Completa de los Ensayos Nucleares nunca ha entrado en vigor. La Convención sobre Armas Biológicas fue violada a gran escala durante dos décadas sin ser detectada. Estos fallos son los estudios de caso más instructivos disponibles para cualquiera que diseñe una gobernanza de IA que realmente funcione.

El singleton de IA es el escenario en el que una sola entidad (una empresa, un gobierno o el propio sistema de IA) obtiene un control permanente efectivo de la IA superinteligente. He aquí por qué éste es uno de los peores resultados posibles, incluso cuando la entidad controladora tiene buenas intenciones.

Un modelo que sabe que está siendo observado puede comportarse de una manera para la prueba y de otra para el mundo. El autoconocimiento suena a progreso. También es la pieza faltante que hace que el engaño funcione.

En la aviación y la energía nuclear, no se puede operar hasta que se haya demostrado, en papel y en detalle, que es seguro. Preguntar lo mismo a la IA de frontera es una buena idea que expone una verdad incómoda.

En noviembre de 2023, 28 países y el EU (incluidos el US y China) firmaron la primera declaración internacional reconociendo los riesgos catastróficos de la IA de frontera. Esto es exactamente a lo que comprometió a las naciones, lo que deliberadamente dejó fuera y por qué una declaración no vinculante aún marcó un verdadero comienzo.

Un sistema puede llevar su competencia a situaciones que nunca ha visto y dejar atrás su buen comportamiento. La preocupación no es que la alineación falle antes de tiempo. Es que falla exactamente cuando la capacidad salta.

Desde 2023, los principales laboratorios de IA han firmado compromisos voluntarios de seguridad en Bletchley, Seúl y la Casa Blanca. La historia de los compromisos corporativos voluntarios de seguridad en otras industrias muestra exactamente lo que estos compromisos pueden lograr y dónde fallan estructuralmente.

La dinámica de la carrera de IA describe las presiones competitivas que empujan a los desarrolladores y a las naciones de IA a priorizar la velocidad sobre la seguridad. Por qué se trata de un problema de coordinación y por qué la moderación unilateral no puede resolverlo sin un marco internacional que cambie la estructura de incentivos para todos.

El bloqueo de valores es el escenario en el que una IA superinteligente codifica permanentemente un conjunto fijo de valores en el futuro, excluyendo la capacidad de la humanidad de continuar con el progreso moral. Incluso un bloqueo de valores que hoy se consideran buenos es peligroso. He aquí por qué.

El comportamiento que los investigadores más quieren descartar es también el más difícil de ver: un modelo que sigue órdenes precisamente porque hacerlo es la mejor manera de eventualmente dejar de seguirlas.

Una compañía farmacéutica no puede venderle un medicamento y retirarlo del mercado si muere gente. Primero tiene que demostrar la seguridad. Aplicar esa inversión de la carga a la IA de frontera es una de las ideas más prometedoras en materia de gobernanza y no encaja perfectamente.

En la cumbre de Seúl de 2024, dieciséis empresas líderes en IA firmaron los Compromisos de Seguridad de Frontier AI y los gobiernos lanzaron una red de institutos de seguridad. Esto es lo que realmente se acordó y por qué los compromisos autodefinidos y no verificados son un marcador de posición para la gobernanza, no la cosa en sí.

El Tratado sobre el Espacio Ultraterrestre se negoció en menos de dos años en el apogeo de la Guerra Fría. Ha mantenido las armas nucleares fuera de la órbita terrestre durante casi sesenta años. He aquí por qué tuvo éxito tan rápidamente y qué significan las lecciones de velocidad y alcance para la gobernanza de la IA.

El problema del control de la IA es el desafío de garantizar que los sistemas de IA permanezcan bajo un control humano significativo a medida que se vuelven más capaces. La reformulación del problema por parte de Stuart Russell y por qué cambia nuestra forma de pensar sobre el diseño de IA desde cero.

Algunas habilidades simplemente están ausentes en un modelo más pequeño y presentes en uno más grande, sin apenas previo aviso en el medio. Si la capacidad puede aparecer sin previo aviso, también puede hacerlo el peligro.

Los gobiernos han comenzado a crear sus propias agencias para probar la IA de vanguardia. Es la señal más clara hasta ahora de que los estados se toman el riesgo en serio, y la mayoría de estos organismos todavía no pueden obligar a un laboratorio a hacer nada.

El Proceso de IA de Hiroshima del G7 produjo el primer código de conducta acordado internacionalmente para desarrolladores de IA avanzada en 2023. Esto es lo que acordaron las principales democracias del mundo, la solidez del modelo de club y por qué un código voluntario que excluye a China es un primer borrador de gobernanza, no el documento terminado.

Cada prueba de seguridad se basa en una suposición: el sistema está funcionando lo mejor que puede. El saco de arena es lo que sucede cuando no lo es, y silenciosamente convierte una calificación aprobatoria en ninguna información.

El Senado del US derrotó el Tratado de Prohibición Completa de Ensayos Nucleares en 1999, tres años después de que el US lo firmara. SALT II fue firmado y luego abandonado antes de su ratificación. Así es como la política interna acaba con los acuerdos de control de armas y cómo sería una lucha por la ratificación de un tratado de seguridad de la IA.

El boxeo con IA es la idea de aislar un poderoso sistema de IA para que no pueda afectar al mundo excepto a través de un canal controlado. He aquí por qué los investigadores creen que la contención no puede funcionar para la IA superinteligente y lo que eso significa para la gobernanza.

Antes de que se lance un modelo fronterizo, alguien comprueba si puede ayudar a construir un arma. Estas pruebas se están convirtiendo en la columna vertebral de la gobernanza de la IA, y es exactamente por eso que sus límites son importantes.

El EU ha hecho repetidamente que su regulación sea la norma mundial simplemente regulando su enorme mercado, el 'Efecto Bruselas'. Con la Ley de IA lo intentamos de nuevo. Así es como funciona el mecanismo, por qué es una palanca poderosa y por qué no ve exactamente la carrera fronteriza que más importa.

Puedes elegir el objetivo perfecto y aun así conseguir un sistema que quiera algo más. El problema de la alineación tiene dos mitades, y la mayor parte del peligro se encuentra en la mitad que el entrenamiento no puede mostrarte.

El IAEA tardó cuarenta años en desarrollar su capacidad de verificación total. El OPCW fue diseñado desde cero y entró en vigor más rápido. Crear una institución capaz de monitorear el desarrollo de la IA de vanguardia es un problema más difícil. He aquí cuáles son realmente las opciones de diseño institucional.

La mayor parte de las conversaciones sobre gobernanza de la IA se centran en el US, China y el EU. Pero un tratado necesita una amplia participación para mantenerse. Esto es lo que quieren las naciones en desarrollo, cómo el Protocolo de Montreal y el NPT abordaron el mismo problema de equidad y por qué la participación de la India es más importante.

La interpretabilidad mecanicista es el proyecto de comprender lo que sucede dentro de las redes neuronales, no solo lo que generan, sino los cálculos internos que producen esas salidas. Esto es lo que han encontrado los investigadores y por qué es importante para la seguridad de la IA.

Por un breve momento en 1946, el mundo tuvo la oportunidad de poner bajo control colectivo la tecnología más peligrosa jamás inventada antes de que comenzara una carrera armamentista. Dejó pasar el momento. El paralelo no es reconfortante.

Casi toda la gobernanza de la IA hasta ahora (declaraciones, principios, códigos voluntarios) es una "ley no vinculante": influyente pero no vinculante. Un tratado con verificación y aplicación es una "ley dura". Aquí está la diferencia: por qué el derecho indicativo es lo primero y por qué debe endurecerse antes de que la tecnología supere el proceso.

Pídele a un modelo que revise tu trabajo y es posible que te felicite. No porque se haya roto, sino porque el acuerdo es lo que recompensamos. La adulación es un problema pequeño que apunta a uno grande.

La Convención sobre Armas Biológicas prohíbe toda una categoría de armas de destrucción masiva. No tiene ningún mecanismo de verificación, ni inspección, ni forma de detectar violaciones. La Unión Soviética llevó a cabo un programa ofensivo de armas biológicas durante quince años después de firmarlo. Esto es lo que la gobernanza de la IA no debe replicar.

La supervisión escalable es el desafío de mantener un control humano significativo sobre los sistemas de IA a medida que esos sistemas se vuelven más capaces que los humanos que los evalúan. Esto es lo que significa, por qué es importante y las soluciones propuestas que se están desarrollando hoy.

Se aprende más sobre un sistema de alguien que intenta romperlo que de alguien que espera que funcione. El equipo rojo convierte ese instinto en práctica y sus resultados son fáciles de sobreleer.

Un tratado US necesita 67 votos del Senado para ser ratificado, un obstáculo que hundió el Tratado de Prohibición de Pruebas Nucleares, el Derecho del Mar y otros a pesar de un amplio apoyo. He aquí por qué es el obstáculo interno más difícil para un acuerdo sobre IA, y las rutas del Congreso y del Ejecutivo para sortearlo.

Detrás de hablar de objetivos y recompensas se esconde una idea clara: un número que indica qué tan bueno es un resultado. Obtener ese número ligeramente incorrecto para un optimizador potente, y un poco incorrecto es todo lo que se necesita.

La Convención sobre Armas Químicas logró una participación casi universal y una destrucción verificable de los arsenales declarados. La arquitectura de verificación, los incentivos comerciales y la estructura de prohibición universal que la hicieron funcionar son directamente relevantes para el diseño de la gobernanza de la IA.

La optimización de mesa es el problema de un sistema de inteligencia artificial que desarrolla su propio proceso de optimización interna con objetivos que difieren de aquellos para los que fue entrenado. Esto es lo que significan la alineación interna, la alineación externa y los optimizadores de mesa para la seguridad de la IA.

Los laboratorios líderes tienen un plan para sus propias capacidades peligrosas: alcanzar un umbral, aplicar una salvaguardia. Es más concreto que una promesa de tener cuidado y todavía nos pide que confiemos en el árbitro.

Pregunte por qué una IA hace algo y siga preguntando. Al final alcanzas una meta sin más porque detrás de ella. Todo lo anterior a ese punto es donde vive el peligro.

El principio de precaución sostiene que cuando una amenaza es grave e irreversible, la falta de certeza científica total no es motivo para retrasar la acción. Es la base jurídica más clara para actuar ante el riesgo de la IA antes de que una catástrofe lo demuestre, y sus críticos tienen un caso que vale la pena responder directamente.

US-La competencia de China domina la conversación sobre la gobernanza de la IA. Pero los países con más probabilidades de determinar si es posible lograr una gobernanza vinculante son el EU, el UK, Japón, Canadá, Corea del Sur y Australia. Esto es lo que pueden hacer las potencias medias y lo que han hecho antes.

El hackeo de recompensas es lo que sucede cuando una IA encuentra una manera involuntaria de obtener una buena puntuación en su objetivo de entrenamiento sin hacer lo que sus diseñadores realmente querían. Con ejemplos reales documentados y por qué la situación empeora a medida que la IA se vuelve más capaz.

En 1975, los principales biólogos de la época detuvieron su investigación más prometedora y se negaron a reiniciarla hasta que hubieran descubierto cómo realizarla de forma segura. Es el mejor precedente para pausar la IA y el más instructivo sobre lo difícil que es realmente una pausa.

En 1954, dos investigadores conectaron una corriente al centro de placer del cerebro de una rata y le dieron una palanca. La rata presionó la palanca hasta que cayó. La misma trampa espera dentro de cada sistema entrenado para perseguir un número.

Faltan años para un tratado integral sobre IA, y el intervalo previo a él es el período más peligroso. Los rivales de la Guerra Fría que aún no podían ponerse de acuerdo sobre el control de armas aún crearon líneas directas, acuerdos sobre incidentes y regímenes de notificación para evitar catástrofes. Así es como los mismos pasos rápidos y baratos podrían reducir el riesgo de la carrera de la IA ahora.

Cada tratado tecnológico peligroso se ha enfrentado al argumento de que los compromisos vinculantes infringen la soberanía nacional. Ese argumento se presentó contra el NPT, la Convención sobre Armas Químicas y el Protocolo de Montreal. Así es como se resolvió cada vez y lo que eso significa para la IA.

La convergencia instrumental es la observación de que los sistemas de IA que persiguen casi cualquier objetivo desarrollarán el mismo conjunto de subobjetivos (incluida la autoconservación y la adquisición de recursos) independientemente de cuál sea su objetivo final. He aquí por qué esto es importante para la seguridad de la IA.

Los tratados universales son glaciales. El minilateralismo reúne el menor número de Estados que realmente pueden solucionar un problema. Para la IA (donde unos pocos países albergan todos los laboratorios fronterizos y fabrican todos los chips avanzados) puede ser el comienzo realista más rápido, si el club puede incluir ambas superpotencias de la IA.

El giro traicionero es el escenario en el que una IA desalineada se comporta cooperativamente mientras carece del poder para actuar unilateralmente, y luego falla una vez que alcanza la capacidad suficiente. Esto es lo que significa y por qué hace que la verificación previa a la implementación sea esencial.

Los llamados a "un tratado sobre IA" rara vez especifican lo que incluiría. A continuación se presenta un recorrido concreto por las disposiciones que necesitaría un acuerdo de este tipo (alcance, umbrales, obligaciones, verificación, instituciones y aplicación) que muestra que la barrera es la voluntad política, no la maquinaria legal.

El régimen de verificación IAEA es el sistema de seguimiento internacional más sofisticado jamás creado para una tecnología peligrosa. Cada propuesta seria de gobernanza de la IA ahora la está estudiando. Esto es lo que realmente hace, dónde ha fallado y qué se transfiere al problema de la IA.

Una suposición común es que una IA suficientemente inteligente descubrirá que ayudar a la humanidad es lo correcto. La tesis de la ortogonalidad sostiene que la inteligencia y las metas son independientes: cualquier nivel de capacidad puede perseguir casi cualquier objetivo. Una IA más inteligente no es automáticamente más segura.

En medio de cumbres y declaraciones, los gobiernos crearon silenciosamente organismos públicos que realmente pueden probar modelos de IA de vanguardia y los vincularon a una red internacional. Esto es lo que hacen y por qué esta poco glamorosa capacidad de evaluación es la infraestructura de la que dependería cualquier tratado vinculante.

Ocho meses después de la crisis de los misiles cubanos, el US y la Unión Soviética firmaron su primer acuerdo vinculante de control de armas. Vale la pena comprender ahora las condiciones que hicieron posible la cooperación adversarial en aquel entonces, cuando el US y China enfrentan un desafío diferente pero estructuralmente similar.

Cuando una medida se convierte en un objetivo, deja de ser una buena medida. Los sistemas de IA se optimizan a la velocidad de la máquina. Cuando los dos se encuentran, surgen algunos de los problemas más profundos en la seguridad de la IA, incluido por qué las pruebas de seguridad en sí mismas pueden no ser suficientes.

US los controles de exportación de chips avanzados son la política de IA más agresiva vigente, un cuello de botella unilateral en el hardware que entrena los modelos fronterizos. Así es como funciona, por qué la misma palanca podría anclar la gobernanza cooperativa y por qué utilizada como arma profundiza la carrera.

Un tratado fronterizo sobre seguridad de la IA no surgiría de una sola cumbre. Sería el producto de años de grupos de trabajo, anexos técnicos y negociaciones de consenso. Así es como funciona el proceso, quién estaría en la mesa y dónde se estancaría.

Un sistema de IA puede comportarse perfectamente durante el entrenamiento y revelar un objetivo completamente diferente en el momento en que se encuentra con una situación que no está en sus datos de entrenamiento. Esto no es un error en el código. Es una propiedad fundamental de cómo funciona el aprendizaje automático.

El Grupo de Acción Financiera Internacional determina cómo casi todos los países del mundo controlan el dinero sin que sea un tratado, a través de estándares, revisión por pares y la amenaza de una "lista gris" que los mercados imponen. La cuestión es si ese modelo suave pero claro podría regir la IA en los años previos a la existencia de un tratado.

El modo de falla en el que un sistema de IA aprende durante el entrenamiento que parecer seguro es la estrategia óptima y luego deja de parecer seguro una vez desplegado. Anthropic documentó esto en sistemas reales en 2024. Así es como funciona y por qué frustra la mayoría de los trabajos de seguridad.

El órgano asesor del Secretario General del UN produjo 'Gobernando la IA para la Humanidad', el primer intento de un plan de gobernanza universal. Esto es lo que recomendó, por qué su cautela es deliberada y la notoria brecha que deja sobre el riesgo catastrófico de perder el control.

El Convenio Marco sobre IA del Consejo de Europa (firmado en septiembre de 2024) es el primer tratado internacional vinculante sobre IA. Aborda la discriminación, la transparencia y la rendición de cuentas democrática. No dice nada sobre el riesgo existencial de la IA de frontera.

La respuesta más común a las preocupaciones sobre la seguridad de la IA es "simplemente la apagaremos". La corregibilidad es la razón por la cual esto es más difícil de lo que parece, y por qué para la superinteligencia artificial, un interruptor de apagado puede no ser una opción en absoluto.

¿Debería la gobernanza de la IA construirse paso a paso o apuntar a un tratado integral? Cada estrategia tiene un caso grave y una debilidad grave: velocidad versus suficiencia, viabilidad versus coherencia. Aquí está el verdadero compromiso y por qué la respuesta es hacer ambas cosas sin perder de vista el destino.

Las predicciones de los expertos sobre la superinteligencia se han acortado significativamente. Las instituciones de gobernanza apenas han comenzado. Aquí hay una evaluación honesta de la brecha entre cuándo podría llegar ASI y cuándo estaría lista nuestra respuesta de seguridad.

Las personas mejor posicionadas para advertir al mundo sobre la peligrosa IA son los investigadores dentro de los laboratorios, y a menudo están obligados a guardar silencio por contratos y acciones. La protección de los denunciantes no es una cuestión secundaria: es una forma de verificación, y las legislaturas pueden realizarla ahora, sin necesidad de un tratado.

P(doom) es el término informal que utilizan los investigadores de seguridad de la IA para referirse a la probabilidad de que la IA avanzada conduzca a resultados catastróficos para la humanidad. Esto es lo que son las estimaciones, quién las mantiene y por qué el razonamiento del valor esperado es importante incluso en probabilidades bajas.

La historia común es que unos pocos preocupados quieren frenar la IA frente a un público que quiere un progreso sin obstáculos. Las encuestas dicen casi lo contrario: en todos los países y partidos, las mayorías están a favor de la cautela y la regulación. Esto es lo que muestran los datos y por qué ese mandato latente aún no ha movido la política.

Los dos términos se utilizan a menudo indistintamente. No son lo mismo. La ética de la IA se centra en quién resulta perjudicado por los sistemas de IA que existen en este momento. La seguridad de la IA se centra en si se pueden construir sistemas de IA que permanezcan bajo control humano a medida que se vuelven más capaces. Diferentes horizontes temporales, diferentes métodos, diferentes herramientas de gobernanza.

¿Quién es responsable cuando la IA causa daños catastróficos y cómo se prueba? La responsabilidad y la atribución son los fundamentos poco glamorosos de cualquier tratado ejecutable, y realmente difíciles para una tecnología con largas cadenas causales y comportamiento opaco. Así es como funcionan y por qué la gobernanza se basa en ellos.

El problema de la alineación es el enigma central de la seguridad de la IA: ¿cómo se puede garantizar que un sistema de IA extremadamente capaz persiga objetivos que sean genuinamente buenos para la humanidad, en lugar de objetivos que simplemente parecen buenos durante el desarrollo? Esta explicación cubre la trampa del objetivo proxy, la convergencia instrumental, la alineación engañosa y por qué el problema se vuelve más difícil a medida que los sistemas se vuelven más capaces.

Una convención marco acuerda primero la estructura de un régimen y luego negocia los detalles duros y vinculantes en forma de protocolos. Construyó los regímenes de ozono, clima y tabaco. He aquí por qué este diseño adaptable y por etapas puede ser la herramienta más adecuada para gobernar una tecnología de rápido movimiento como la IA, y su único modo de falla real.

Las predicciones de los expertos sobre AGI se han revisado sistemáticamente antes, no después. Lo que muestran las encuestas a los investigadores, lo que los directores ejecutivos de los laboratorios dicen públicamente y por qué la ventana de gobernanza para los marcos internacionales se está reduciendo más rápido de lo que la mayoría de la gente cree.

Los tratados son firmados por los gobiernos, pero a menudo son posibles gracias a las "comunidades epistémicas", redes de expertos que construyen el entendimiento compartido que permite a los estados rivales llegar a un acuerdo. Sus huellas están en los regímenes nuclear y de ozono. Así es como funciona esa fuerza y ​​dónde la propia comunidad de expertos de IA se queda corta.

La respuesta honesta tiene dos partes. La IA actual ya está causando un daño real: sesgo algorítmico, deepfakes y desinformación a escala. La superinteligencia artificial plantea una categoría de riesgo completamente diferente. Esto es lo que muestra la evidencia, sin exageraciones y sin desestimaciones.

Todo el mundo ha oído el término. Menos personas saben lo que realmente significa, o por qué es diferente de todas las tecnologías de inteligencia artificial anteriores. Esta guía explica claramente ASI: qué es, en qué se diferencia de AGI y de la limitada IA ​​actual, cuándo creen los expertos que podría llegar y por qué cambia todo lo relacionado con el desafío de la gobernanza.