Open Philanthropy, 80,000 Hours y la línea de investigación que pasó por el Future of Humanity Institute hicieron algo que la mayoría de las instituciones aún se niegan a hacer. Trataron la superinteligencia artificial como una forma plausible de que termine la historia humana, y movieron dinero real y talento hacia esa afirmación. En cuanto al riesgo en sí, fueron pioneros y tenían razón.
Dónde falló la cartera es la siguiente inferencia. De "esto podría recortar permanentemente el futuro de la humanidad", la respuesta dominante del largoplacismo se convirtió en: financiar investigación de alineación técnica, financiar gobernanza superinteligencia que ralentice o dirija la frontera, y mantener un camino abierto para construir los sistemas una vez que parezcan más seguros. También es el plan equivocado para el riesgo que nombraron correctamente.
¿Por qué la alineación parecía la palanca
La escala, la desatención y la tratabilidad siguen importando. Una superinteligencia desalineada podría afectar a todas las personas vivas y a todas las generaciones posteriores. Durante años casi nadie con poder trató eso como una posibilidad real. El trabajo técnico en especificación incorrecta de objetivos, engaño y supervisión parecía uno de los pocos mecanismos que podían aumentar las probabilidades de un buen resultado si llegaban sistemas poderosos de todos modos. Los cierres unilaterales de laboratorios parecían imposibles bajo la competencia. Así que el portafolio responsable mezcló ciencia de alineación, políticas que ganan tiempo e influencia cuidadosa dentro de los laboratorios y gobiernos que construirían los sistemas de cualquier manera.
La desventaja es civilización y el tema fue descuidado. Algunos trabajos de seguridad técnica en sistemas que todavía podemos inspeccionar y apagar es la ingeniería ordinaria. Los laboratorios y estados rivales hacen "una empresa renuncia" una estrategia débil.
Dónde falla la inferencia
La ruptura es la suposición callada de que el destino ya está fijado. Si la superinteligencia va a llegar de todos modos, entonces lo único que queda por hacer es que su llegada sea menos letal. La financiación de la alineación, las evaluaciones y el «escalado responsable» tienen sentido bajo esa premisa. Se convierten en el gran proyecto moral de una generación que cree que no puede elegir el desenlace final. La mayor parte del dinero y el prestigio siguen yendo a hacer que la carrera sea más segura, no a detener la carrera hacia superinteligencia.
Podemos elegir nuestro destino. Las armas nucleares, la química del ozono y la clonación humana tenían momentos en que los gobiernos decidieron que ciertos estados finales no valían el riesgo residual. La superinteligencia pertenece a esa lista permanentemente. La superinteligencia no puede ser controlada por los humanos.
Una vez que se abandona la suposición de inevitabilidad, la cartera se ve distinta. El capital de seguridad escaso que se gasta en hacer que una carrera parezca manejable es capital que no se gasta en terminar la carrera. La gobernanza que solo ralentiza la frontera para que los laboratorios «alcancen en seguridad» sigue tratando la construcción de la mente incontrolable como el plan. El trabajo de alineación que supone que crearemos una especie sucesora y luego la ataremos confunde un programa de investigación con una estrategia de supervivencia.
Entendieron bien el libro mayor pero se equivocaron en el destino.
Investigación después de la paralización, no en su lugar
El trabajo que hace que los sistemas de hoy sean más transparentes, más difíciles de usar, o más fáciles de apagar todavía puede importar. Después de una interrupción verificada en el camino de la superinteligencia, la investigación de controlar la poderosa IA puede continuar sin un cronómetro comercial grabado al riesgo de extinción.
Lo que falla es tratar la alineación técnica como la respuesta principal mientras los laboratorios de frontera escalan en el mismo calendario. Eso invierte el problema. Cuando no se puede controlar el lado negativo, y el lado negativo es todo el mundo, la medida responsable es dejar de construir la cosa peligrosa. La superinteligencia no puede controlarse. La IA estrecha sigue avanzando. La clase estrecha de sistemas que superarían la inteligencia humana en todos los dominios no.
Una desaceleración temporal para que la seguridad pueda ponerse al día es una apuesta programada que supone que alguien inventará una forma validada para controlar una mente más inteligente que sus fabricantes, a tiempo, bajo presión competitiva. Nadie tiene ese método, no a pequeña escala y no en general. Los laboratorios líderes dicen tanto en público.
La gente a menudo presenta prevención bajo "pausa". Una pausa es unos años de respiración y luego reanudar. Queremos que los gobiernos prevenir la superinteligencia artificial y mantener la prevención permanente. La superinteligencia no puede ser controlada. El tratado es una salida de la carrera.
Qué debería hacer el dinero en su lugar
Mueva la alineación por superinteligencia hacia el trabajo que hace que la no creación sea ejecutable: diseño de tratados y verificación, gobernanza de nivel de chips que se puede inspeccionar, toma de casos públicos que mantiene el objetivo legible, denunciante y trabajo de transparencia que eleva el costo de la capacidad silenciosa salta, y organización política para que los legisladores escuchen de los votantes en lugar de sólo de los cabilderos del laboratorio. Financiar la decisión de no construirla.
El largo plazo ganó crédito por nombrar un riesgo que la mayoría de las élites todavía tratan como ciencia ficción. El crédito para el diagnóstico no bloquea la prescripción. Mismo riesgo, plan diferente: prevenir la superinteligencia bajo la ley, y mantener las herramientas que ayudan a los humanos. Deja el sueño de un dios cuidadosamente dirigido en el estante hasta que el mundo haya acordado no construir uno en la oscuridad.