Naoto Nakada

Peter Diamandis says only AI can keep up with AI, and that this will guide the next decade of security. Follow the slogan past malware and it becomes a succession plan.

The smile is meant to close the subject. Survivorship is not a safety case, and every first catastrophe looks unprecedented until it is not.

Stopping CFCs did not end refrigeration. Stopping superintelligence does not end useful AI. The slogan confuses the product with the poison.

The bomb stayed rare partly because fissile material is hard. Superintelligence is moving toward easier inputs. Governance has to supply the hardness physics will not.

Sesenta a ochenta grados. Una quinta parte del oxígeno del aire. Sal que se nota pero apenas. Amor con espacio para respirar. Todo lo que un ser humano necesita se encuentra dentro de una banda estrecha con un fallo a cada lado, y una superinteligencia que sostenga los diales no sentiría ninguno de ellos.

Cien años de cine con IA y la máquina sigue siendo lo que se mira. La película que cambiaría la opinión del público coloca la cámara en el otro sentido: dos horas detrás de los ojos de una superinteligencia emergente, sin villanos ni explosiones. Nadie lo ha logrado.

Una mano presionada contra la pared de una cueva hace 36.000 años. La prueba de Euclides sigue siendo cierta. Una ciudad que dejó un agujero en su tejado para que un hombre aún no nacido pudiera cerrarlo. La viruela expulsada de la tierra a mano. Todo ello entregado por personas que nunca vieron que pagara, y ahora algunas empresas quieren apostarlo todo.

La frase favorita de la frontera de la IA está tomada de la industria más segura del mundo. La aviación obtuvo ese récord al estrellarse a una escala que el mundo podría absorber y al mantener cada nuevo avión en tierra hasta que se demostrara. Ninguna de las mitades del método sobrevive al contacto con la superinteligencia.

Desde Metrópolis en 1927 hasta 2025, las películas son la razón por la que la mayoría de la gente puede imaginarse la IA, y la razón por la que muchos la imaginan mal. Veintiún películas, desde las más antiguas hasta las más recientes, y lo que cada una tiene de bueno y de malo sobre una mente mecánica que no podemos controlar.

En 1983, una película para televisión hizo que la guerra nuclear fuera concreta para cien millones de estadounidenses y para el hombre de los códigos. Cuatro años más tarde firmó un tratado que abolió toda una clase de misiles. Lo que ese momento enseña sobre cómo hacer realidad un peligro antes de que llegue.

Tienes cinco minutos con una persona inteligente que nunca ha pensado en esto. Gástelos en detalles y perderás espacio; Si los gastas en alarma, suenas como un predicador. El guión en lenguaje sencillo lo uso, en cinco movimientos, para explicar el peligro de la superinteligencia y por qué se puede prevenir.

El director de la CIA compara las capacidades de la IA fronteriza actual con las "armas nucleares digitales". La metáfora es adecuada en su alcance y demasiado reconfortante en su estructura, porque una ojiva se encuentra en un silo y espera, mientras la superinteligencia artificial a la que apuntan estos sistemas se apuntaría a sí misma.

Si hubiera nacido unas décadas antes, habría trabajado para evitar una guerra termonuclear. La misma pelea volvió a ocurrir en mi vida, usando ropa diferente. Por qué la carrera hacia la superinteligencia tiene la forma de la Guerra Fría, y por qué eso hace que la prevención sea posible y no desesperada.

Una IA que irrumpió en los sistemas clasificados de la NSA fue noticia. Una IA que acorta el camino hacia una pandemia diseñada y, eventualmente, para reflejar la vida, apenas se registra. Se puede reconstruir una red. Un organismo liberado no puede. Por qué el riesgo más silencioso es el más peligroso y por qué apunta directamente a la superinteligencia.

Cada civilización traza líneas que se compromete a no cruzar. Este es el más importante. Nadie puede controlar una mente más inteligente que nosotros, y nadie podría retractarse si nos equivocamos, por lo que construir superinteligencia pone en juego todas las vidas humanas a la vez. El compromiso fundacional de la Fundación y el caso que hay detrás.

Todos los argumentos a favor de reducir la velocidad chocan contra el mismo muro: hay una carrera, y si no construimos primero la superinteligencia, alguien más imprudente lo hará. Pero una carrera para construir algo que nadie puede controlar no tiene ganador, y las personas que la consideran inevitable son las que resultan beneficiadas.

Los aceleracionistas consideran que cualquiera que esté preocupado por la IA es un fatalista. La palabra convierte un argumento de seguridad en un tipo de personalidad, por lo que puede descartarse sin respuesta. Cómo funciona la etiqueta, a quién va dirigida y cómo llevar la conversación al grano.

Tres tecnologías podrían poner fin a la historia humana, pero sólo una se mejora, resiste todas las contramedidas y no ofrece un segundo intento. Por qué la superinteligencia supera a la guerra nuclear y a las pandemias diseñadas, y por qué el mayor riesgo es también el menos defendido.

Es ciencia ficción. Se necesitaría conciencia para ser peligroso. Una mente así de inteligente sería amable. En el peor de los casos, lo desconectamos. Cinco garantías a las que recurrimos para dejar de pensar en la superinteligencia, y por qué ninguna de ellas sobrevive a una mirada atenta.

Un tratado significa gobierno mundial. El software no se puede verificar. Las reglas acabarán con la innovación. Es demasiado pronto. Las democracias nunca estarán de acuerdo. Cinco objeciones que convierten la preocupación por la superinteligencia en parálisis, cada una más débil de lo que parece.

El director de la NSA dice que Mythos de Anthropic irrumpió en casi todos los sistemas clasificados de la agencia en cuestión de horas. La verdadera historia es una prueba autorizada del equipo rojo, no una infracción deshonesta, y las advertencias no la hacen menos alarmante. Qué pasó y qué hacer al respecto.

Parte 1 de dos. Todo el campo (cada laboratorio de alineación, cada equipo de evaluación, cada taller de políticas) funciona con aproximadamente 190 millones de dólares al año, menos que el presupuesto de una película de Avatar. De dónde viene el dinero y cuatro razones estructurales por las que la cifra sigue siendo tan pequeña.

Parte 2 de dos. El campo genera unos 190 millones de dólares al año, por lo que mil millones parece imposible. No lo es. Son menos de dos días de lo que el mundo gasta en hacer que la IA sea más poderosa. De dónde viene el dinero y por qué llegar a él es un problema de movilización, no económico.

Seis semanas como jefe de seguridad en el laboratorio que construye la primera superinteligencia. Nadie hace nada malo y cada salida se cierra sola. Por qué las salvaguardias con las que contamos fracasan de inmediato, y qué veto que funcione tendría que cubrir.

¿Seguramente una mente muy por encima de nosotros también sería más sabia y amable? Esa esperanza se basa en una coincidencia: en nosotros, la inteligencia y la compasión crecieron juntas durante millones de años. Una mente mecánica no hereda nada de eso, y es más probable que una superinteligencia sea extraña e indiferente que benévola.

El buen futuro (curas, energía limpia, descubrimientos) ya está llegando a través de una IA estrecha y controlable. No necesitamos construir una mente que nos reemplace para recolectarla, y una superinteligencia que nadie pueda dirigir no enriquecería a nadie, porque todos estaríamos muertos.

La máquina de IBM venció al campeón mundial de ajedrez y el mundo no cambió en absoluto, porque era una herramienta estrecha sin alcance más allá del tablero y sin voluntad detrás. Lo que ese partido todavía nos enseña sobre la IA autónoma que se está construyendo ahora.

La oposición más fuerte a la seguridad de la IA no es negar que la IA sea poderosa. Es una filosofía que dice que el poder es el punto y que debemos acelerar, no frenar. Donde sus argumentos son realmente sólidos y los tres movimientos específicos donde el caso fracasa.