"Soy optimista. Seguramente la raza humana no se extinguirá. Eso nunca pasó antes".
Lo escuchas después de los paneles de seguridad, en las salas verdes y los hilos de comentario, generalmente con una sonrisa que está destinada a cerrar el tema. La sonrisa hace un verdadero trabajo social. Pinta la precaución como un defecto de personalidad y el impulso como salud emocional. También contrabandea una reclamación de riesgo dentro de un estado de ánimo.
Se permite el optimismo. Lo que no está permitido, si seguimos haciendo un trabajo serio, es tratar un temperamento como evidencia.
Lo que "nunca pasó antes" realmente dice
La extinción humana, por definición, no tiene testigos humanos después. Cada persona viviente se muestra desde los plazos en los que la especie continuó. Llámalo selección, no filosofía: un ganador de la lotería es una mala fuente en las probabilidades de ganar, y "Nunca he muerto en un accidente de coche" es un argumento pobre contra los cinturones de seguridad.
El registro fósil es menos sentimental. La gran mayoría de las especies que han vivido han desaparecido. Varias extinciones masivas despejaron el tablero para lo siguiente. Homo sapiens es joven en tiempo geológico y ya ha caminado a través de cuellos de botella, plagas y guerras que podrían habernos terminado en un rollo más frío de los dados. "Nunca sucedió antes" es una declaración sobre la delgada porción de la historia que todavía podemos discutir. No es un escudo.
Las primeras veces son lo que las catástrofes están hechas
Antes de 1945, ninguna ciudad había sido destruida por una sola bomba. Antes de 1918, ninguna pandemia había montado redes mundiales de ferrocarriles y buques a esa velocidad. Antes del trabajo de ozono de los años 80, nadie había realizado el experimento humano de adelgazar la capa que mantiene la luz ultravioleta de esterilizar la superficie. Cada uno de ellos era, de antemano, algo que nunca había pasado antes. Las personas que actuaron no esperaban que una instancia terminada estuviera disponible como estudio de caso.
La superinteligencia artificial se encuentra en ese cubo. No hay una serie histórica de superintelligences mal alineados en promedio. Existe un mecanismo: sistemas que persiguen objetivos, mejoran sus propias capacidades y eventualmente superan las instituciones destinadas a corregirlas. El mecanismo es lo que utiliza cuando las tasas de base son silenciosas. Exigir una extinción humana previa de la IA antes de tomar el mecanismo seriamente es exigir el cuerpo antes del diagnóstico.
Cada primera catástrofe parece, de antemano, algo que nunca ha pasado antes. Esa es la descripción de la categoría, no reaseguro.
Optimismo, debidamente dirigido
Hay una versión de optimismo que respeto. Dice: la gente ha coordinado bajo presión antes. Los tratados han tenido lugar. Las industrias se han visto obligadas a cambiar de rumbo cuando la ciencia era clara y la política se organizó. El constancia de la moderación es real, desde el control de las armas nucleares a los productos químicos que comían la capa de ozono. Ese optimismo apunta a la agencia. Supone que el futuro sigue siendo una decisión.
La versión de la sala verde hace lo contrario. Trata la supervivencia como la configuración predeterminada del universo y la preocupación como malos modales. Confunde "Prefiero buenos resultados" con "por lo tanto, son buenos resultados". La preferencia no es una probabilidad.
Cuando Geoffrey Hinton, Yoshua Bengio, y cientos de investigadores pusieron el riesgo de extinción de inteligencia artificial en la misma lista que las pandemias y la guerra nuclear, estaban haciendo lo aburrido que hacen los expertos cuando un mecanismo parece sonar y la desventaja es total, no audicionando para los villanos en una nota clave tecnológica. Puedes estar en desacuerdo con sus números. No puede descartar la categoría anunciando su tipo de personalidad.
El costo del medicamento
El shrug está haciendo trabajo para las personas que necesitan la construcción para continuar sin una pelea. Si la charla de extinción se reorganiza como un problema de vibración, entonces el único movimiento educado es cambiar el tema de nuevo a la productividad y las aplicaciones. Mientras tanto la escala de los laboratorios, los evals lag, y el problema de control permanece sin resolver. Mood ha sido confundido con la gobernanza.
Quiero que el proyecto humano continúe. Esa es la razón por la que existe esta fundación. Quieres que sea la mitad fácil. La mitad más difícil está negando un camino de desarrollo que concentre el poder incorregible en los sistemas que nadie puede rechazar con confianza, y hacer el trabajo político un cesación obligatoria requiere. Llama a ese optimismo si la palabra todavía significa algo. Si sólo significa "parar de hablar de la desventaja", se ha convertido en una trama.
La extinción nunca nos ha pasado antes. Esa es la condición de apertura de cada historia que termina mal. No es un argumento que éste terminará bien.
Preguntas comunes.
¿No ha sobrevivido la humanidad a todas las predicciones pasadas de la muerte?
La humanidad ha sobrevivido a los riesgos que sobrevivió. Eso es una tautología, no un pronóstico. También tenemos un largo registro de extinciones de especies, colapsos de la civilización, y casi fallas con tecnologías que podrían habernos terminado. La supervivencia pasada es lo que observaría hasta el primer fracaso que no deja observadores.
¿No es el optimismo más saludable que la muerte?
El temperamento no es la cuestión. La pregunta es si un camino de desarrollo específico concentra el poder a nivel de extinción en los sistemas que nadie puede controlar de forma fiable. Puedes estar alegre en la cena y aún así negarte a construir eso. Gloom sin un programa es inútil; así es alegría que prohíbe mirar el mecanismo.
¿Cómo sería el optimismo real de AI?
Actúa como si el futuro aún fuera choosable. Construir el tratado, las inspecciones y la coalición política que mantiene la superinteligencia fuera de la mesa hasta que el control sea real. Eso es más difícil que una droga. También es el único optimismo que todavía tiene un sujeto que se queda para disfrutar del resultado.