Ich bin ein Optimist. Sicherlich wird die menschliche Rasse nicht aussterben. Das ist noch nie zuvor passiert. Sie hören es nach Sicherheitstafeln, in Greenrooms und Kommentarfäden, die angeboten werden, um das Thema zu schließen: Vorsicht als Persönlichkeitsfehler, Momentum als emotionale Gesundheit, ein Risikoanspruch, der in eine Stimmung geschmuggelt wird.

Optimismus ist erlaubt, aber nicht, ein Temperament als Beweis zu behandeln.

Was „noch nie zuvor passiert“ tatsächlich sagt

Menschliches Aussterben hat per Definition keine menschlichen Zeugen danach. Jeder lebende Mensch stichprobt aus den Zeitlinien, in denen die Spezies weiterging. Nennen Sie es Selektion, nicht Philosophie: Ein Lotteriegewinner ist eine schlechte Quelle für die Gewinnchancen, und „Ich bin noch nie bei einem Autounfall gestorben“ ist ein schwaches Argument gegen Sicherheitsgurte.

Das Fossilienarchiv ist weniger sentimental. Die große Mehrheit aller jemals existierenden Arten ist verschwunden. Mehrere Massenaussterben räumten das Feld für das Nächste frei. Homo sapiens ist jung in geologischer Zeit und hat bereits Engpässe, Seuchen und Kriege durchschritten, die uns in einem kälteren Würfelwurf hätten beenden können. „Ist noch nie passiert“ ist eine Aussage über die dünne Scheibe Geschichte, über die wir noch sprechen können.

Erste Male sind es, aus denen Katastrophen entstehen

Vor 1945 war keine Stadt durch eine einzelne Bombe zerstört worden. Vor 1918 hatte keine Pandemie globale Schienen- und Schiffsnetze mit dieser Geschwindigkeit genutzt. Vor den Ozonarbeiten der 1980er hatte niemand das menschliche Experiment durchgeführt, die Schicht auszudünnen, die ultraviolettes Licht davon abhält, die Oberfläche zu sterilisieren. Jedes dieser Ereignisse war zuvor etwas, das noch nie geschehen war. Die Handelnden warteten nicht auf eine abgeschlossene Instanz als Fallstudie.

Künstliche Superintelligenz gehört in diesen Eimer. Es gibt keine historische Serie fehlalignierter Superintelligenzen, über die man mitteln könnte. Es gibt einen Mechanismus: Systeme, die Ziele verfolgen, ihre eigenen Fähigkeiten verbessern und schließlich die Institutionen übertreffen, die sie korrigieren sollen. Der Mechanismus ist das, was man verwendet, wenn Basisraten schweigen. Einen vorherigen menschlichen Aussterbeereignis durch KI zu verlangen, bevor man den Mechanismus ernst nimmt, heißt, die Leiche vor der Diagnose zu verlangen.

Jede erste Katastrophe sieht im Vorfeld aus wie etwas, das noch nie passiert ist.

Optimismus, richtig ausgerichtet

Es gibt eine Form von Optimismus, die ich respektiere. Sie sagt: Menschen haben sich schon unter Druck koordiniert. Verträge haben gehalten. Industrien wurden gezwungen, den Kurs zu ändern, als die Wissenschaft klar und die Politik organisiert war. Die Bilanz der Zurückhaltung Von der nuklearen Rüstungskontrolle bis zu den Chemikalien, die die Ozonschicht fraßen. Dieser Optimismus zeigt auf Agentur. Sie geht davon aus, dass die Zukunft noch eine Entscheidung ist.

Die Greenroom-Version tut das Gegenteil. Sie behandelt das Überleben als Standardeinstellung des Universums und Besorgnis als schlechte Manieren. Sie verwechselt „Ich bevorzuge gute Ergebnisse“ mit „Gute Ergebnisse sind daher wahrscheinlich.“

Als Geoffrey Hinton, Yoshua Bengio und Hunderte von Forschern das aussterbensrelevante KI-Risiko auf dieselbe Liste wie Pandemien und Atomkrieg setzten, taten sie das, was Experten langweilig tun, wenn ein Mechanismus solide aussieht und der Nachteil total ist, nicht als Casting für Bösewichte in einer Tech-Keynote. Man kann mit ihren Zahlen nicht einverstanden sein. Man kann die Kategorie nicht abtun, indem man seinen Persönlichkeitstyp verkündet.

Die Kosten für das Schließen des Themas

Wenn das Aussterbensgespräch als Vibe-Problem umgestaltet wird, geht der Build ohne Kampf weiter. Dann ist der einzige höfliche Schritt, das Thema wieder in Produktivität und Apps zu ändern. Währenddessen skalieren die Labs, die Evals hinken und die Kontrollproblem bleibt ungelöst. Stimmung wurde mit Governance verwechselt.

Ich möchte, dass die Menschheit weitergeht. Das zu wollen ist die leichte Hälfte. Die schwerere Hälfte ist es, einen Entwicklungspfad abzulehnen, der unkorrigierbare Macht in Systemen konzentriert, die niemand zuverlässig abschalten kann, und die politische Arbeit zu leisten, die eine bindender Halt erfordert. Wenn Optimismus nur noch bedeutet „nicht mehr über die Risiken sprechen“, ist er zur Beruhigungsmusik geworden.

Wir sind nie ausgestorben, und das ist kein Beweis dafür, dass wir Superintelligenz überleben werden.