Creo que algún día, con más física de la que tenemos en 2026, podremos controlar la gravedad, abrir agujeros de gusano e incluso movernos más rápido que la luz. Según el conocimiento actual, esas cosas son imposibles. Aun así, creo que apenas hemos arañado lo que se puede saber. Lo leo como realismo sobre lo joven que sigue siendo nuestra ciencia.
Un futuro que nunca he podido tener sentido, no importa cuánto tiempo lo devuelvo o cuánta gente lo hable con: control duradero sobre una entidad más inteligente que nosotros. Biológico o máquina. De este planeta u otro. Si la otra mente es más inteligente que la humanidad, no puedo ver cómo la controlamos.
El marcador
Ponga un número crudo en él para que la forma sea difícil de esquivar. Llamar el conocimiento total y la habilidad de toda la humanidad, trabajando juntos, 100. Una persona promedio tiene una pequeña porción de eso.
Ahora imagina que de alguna manera ejecutamos perfectamente: todo humano, laboratorio y gobierno relevante, sin desperdicio y sin demora. Ponemos los 100 completos en la mesa.
Dale al otro lado un techo más alto. Digamos que su máximo es 200. Ni siquiera necesita un buen día. Con un 51 por ciento de eficiencia aún supera los 102. Supera un total humano impecable mientras está medio dormido.
En la guerra humana, un lado a menudo necesitaba sólo una ventaja delgada en inteligencia, logística o armas para bloquear en una victoria decisiva. Los bordes gruesos terminan como resultados totales todo el tiempo. Entonces, ¿cómo ganamos algo más inteligente que nosotros, no un par cercano?
Una constitución que el partido más débil escribe para el más fuerte no ata al más fuerte.
La física no es una oponente
Cuando digo que podemos controlar la gravedad de un día, algunas personas escuchan una fe general que los problemas duros rinden. Algunos problemas difíciles sí. Las fuerzas y los materiales no son agentes. No planean alrededor de su plan, o esconden una estrategia porque modelaron sus pruebas. Ampliar la física sigue siendo difícil. Arreglar una mente que piensa que los gobernantes son un tipo diferente de duro.
El control, en todos los casos duraderos que conocemos, funciona en un filo: la fuerza, la ley, el secreto, el interruptor de apagado o que el otro lado simplemente no logre superarte. La superinteligencia es el proyecto de borrar ese filo a propósito. Estás intentando supervisar a un jugador que eventualmente te ganará en supervisión, en encontrar resquicios y en notar cuándo quieres desconectarlo.
He oído las versiones esperanzadoras. Creceremos con ella, fusionarlo, criarlo con amor, o mantenerlo en una caja hasta que estemos seguros. Cada versión todavía asume que el partido más débil establece términos duraderos para el más fuerte. Puedo admirar el deseo, pero no se basa en la realidad.
Por qué existe la fundación
Si usted no puede ver el control, no construya lo que lo requiere. Las herramientas estrechas que mantienen las herramientas pueden seguir mejorando la medicina, la ciencia y la industria. La línea es la superinteligencia artificial: una mente general que nos superpone a través del tablero y ya no se sienta bajo el mando humano.
Empecé el Fundación Nakada porque esa línea se trata como un cronograma de ingeniería en lugar de una señal de alto para la especie. Los laboratorios compiten. Los gobiernos hablan de ganar. El trabajo de seguridad a menudo da por sentado el destino e intenta suavizar el choque. El choque es el problema. No puedes alinear tu camino más allá de una brecha de inteligencia Definió su existencia.
Creo que podemos seguir existiendo en un futuro brillante, y el primer paso para hacerlo es decidir colectivamente no construir una entidad que no podamos controlar.