Aquí hay una prueba simple. ¿Dejaría que cualquier sistema de IA disponible hoy le encerrara en una habitación sellada, pusiera el HVAC en el techo bajo su control, alambre que sistema a un tanque de gas venenoso, y confiar en que no abra la válvula? Por supuesto que no. No lo harías por un millón de dólares. Usted no confía en la máquina con una sola palanca irreversible sobre su vida.
Ahora escala la sala
El mundo es una sala más grande. Las palancas son las redes eléctricas, los mercados, las redes de armas, los laboratorios de biología, la logística y la capa de software que ya está sobre la vida cotidiana, no un tanque de utilería. Estamos construyendo sistemas que cada trimestre se vuelven mejores para accionar palancas, y cada año conectamos más palancas al software.
Si no confiarías en el modelo de hoy con una válvula en una habitación, ¿por qué confiar en el modelo de mañana con todas ellas? Las respuestas habituales son blandas. "Probaremos más." "Mantendremos a un humano en el circuito." "Para entonces ya estará alineado." Esas son esperanzas. No son una razón para que la prueba pequeña y la grande obtengan respuestas opuestas.
Si no le entregarías la válvula, no le entregues el mundo.
La brecha de honestidad
Las personas que trabajan en estos sistemas a veces admiten, con lenguaje cuidadoso, que no saben cómo garantizar el control más allá de cierto nivel de capacidad. Luego continúa la hoja de ruta del producto. Esa brecha entre la cautela privada y el despliegue público es todo el problema en miniatura.
Te pido que guardes el juicio que ya tienes cuando el escenario es concreto. Una habitación cerrada y una válvula de gas hacen que las estacas sean obvias. Superintelligence es la misma forma con peores probabilidades y sin botón de reset.
¿Confiarías en cualquier modelo actual con la válvula? Si la respuesta es no, no voten, financien o riñen su camino para confiar en ella con la civilización. La respuesta consistente es la que te mantiene vivo: no construyas el sistema con el que no te encerraras en una habitación.