Open Philanthropy, 80,000 Hours und die Forschungslinie, die durch das Future of Humanity Institute lief, taten etwas, das die meisten Institutionen immer noch ablehnen. Sie behandelten künstliche Superintelligenz als plausibles Ende der menschlichen Geschichte und setzten echtes Geld und Talent für diese Behauptung ein. Beim Risiko selbst waren sie früh und hatten recht.
Wo das Portfolio falschlag, ist der nächste Schluss. Aus „das könnte die Zukunft der Menschheit dauerhaft einschränken“ wurde die dominante longtermistische Antwort: technische Alignment-Forschung finanzieren, Superintelligenz-Governance finanzieren, die die Frontier verlangsamt oder steuert, und einen Weg offen halten, die Systeme zu bauen, sobald sie sicherer aussehen. Das ist auch der falsche Plan für das Risiko, das sie richtig benannt haben.
Warum die Ausrichtung wie der Hebel aussah
Skalierung, Vernachlässigung und Handhabbarkeit zählen weiterhin. Eine fehlgerichtete Superintelligenz könnte jeden lebenden Menschen und jede nachfolgende Generation betreffen. Jahre lang hat fast niemand mit Macht das als reale Möglichkeit behandelt. Technische Arbeit an Zielverfehlung, Täuschung und Aufsicht wirkte wie einer der wenigen Hebel, der die Chancen auf ein gutes Ergebnis erhöhen könnte, falls mächtige Systeme trotzdem kämen. Einseitige Laborschließungen wirkten unter Konkurrenz hoffnungslos. Deshalb mischte das verantwortungsvolle Portfolio Alignmentsforschung, Politik, die Zeit kauft, und vorsichtigen Einfluss in den Labors und Regierungen, die die Systeme ohnehin bauen würden.
Der Nachteil ist zivilisatorisch und das Thema wurde vernachlässigt. Einige technische Sicherheitsarbeiten an Systemen, die wir noch inspizieren und abschalten können, sind gewöhnliches Engineering. Rivalisierende Labors und rivalisierende Staaten machen "eine Firma beendet" eine schwache Strategie.
Wo die Schlussfolgerung bricht
Der Bruch ist die stille Annahme, dass das Ziel feststeht. Wenn Superintelligenz ohnehin kommt, bleibt nur noch die Aufgabe, die Ankunft weniger tödlich zu machen. Alignment-Förderung, Evaluierungen und „verantwortungsvolle Skalierung“ ergeben alle unter dieser Annahme Sinn. Sie werden zum zentralen moralischen Projekt einer Generation, die glaubt, sie könne den Endzustand nicht wählen. Das meiste Geld und Prestige fließt immer noch in die Sicherung des Rennens, nicht in dessen Beendigung auf dem Weg zu Superintelligenz.
Wir können unser Ziel wählen. Atomwaffen, Ozonchemie und das Klonen von Menschen hatten jeweils Momente, in denen die Regierungen entschieden, dass bestimmte Endstaaten kein Restrisiko wert waren. Superintelligenz gehört dauerhaft auf diese Liste. Superintelligenz kann nicht von Menschen kontrolliert werden.
Sobald man die Unvermeidbarkeitsannahme fallen lässt, sieht das Portfolio anders aus. Knappes Sicherheitskapital, das darauf verwendet wird, ein Wettrennen handhabbar erscheinen zu lassen, ist Kapital, das nicht darauf verwendet wird, das Wettrennen zu beenden. Governance, die die Frontier nur so weit verlangsamt, dass Labore „bei der Sicherheit aufholen“ können, behandelt den Bau des unkontrollierbaren Geistes noch als Plan. Alignment-Arbeit, die davon ausgeht, dass wir eine Nachfolgespezies erschaffen und sie dann anleinen, verwechselt ein Forschungsprogramm mit einer Überlebensstrategie.
Sie haben die Buchführung richtig und das Ziel falsch.
Forschung nach dem Stopp, nicht statt seiner
Arbeiten, die die heutigen Systeme transparenter, schwerer zu missbrauchen oder leichter abzuschalten machen, können immer noch von Bedeutung sein. Nach einem verifizierten Stopp auf dem Weg zur Superintelligenz kann die Forschung zur Steuerung leistungsstarker KI ohne eine kommerzielle Stoppuhr fortgesetzt werden, die auf das Aussterberisiko ausgerichtet ist.
Was scheitert, ist, technische Alignment als primäre Antwort zu behandeln, während Frontier-Labs auf demselben Kalender skalieren. Das kehrt das Problem um. Wenn ihr den Nachteil nicht kontrollieren könnt und der Nachteil alle sind, ist der verantwortungsvolle Schritt, zu das gefährliche Ding nicht bauen. Superintelligenz kann nicht kontrolliert werden. Schwache KI läuft weiter. Die enge Klasse von Systemen, die menschliche Intelligenz in jedem Bereich übertreffen würde, tut es nicht.
Eine vorübergehende Verlangsamung, damit die Sicherheit aufholen kann, ist eine Zeitplanwette, bei der davon ausgegangen wird, dass jemand einen validierten Weg erfindet, um einen Geist, der schlauer ist als seine Macher, rechtzeitig unter Wettbewerbsdruck zu kontrollieren. Niemand hat diese Methode, nicht im Kleinen und nicht im Großen. Führende Labors sagen das in der Öffentlichkeit.
Menschen oft Datei Prävention unter "Pause." Eine Pause ist ein paar Jahre Atempause und dann wieder aufnehmen. Wir wollen, dass Regierungen Künstliche Superintelligenz verhindern Halten Sie es dauerhaft zu verhindern. Superintelligenz kann nicht kontrolliert werden. Der Vertrag ist ein Abseits des Rennens.
Was das Geld stattdessen tun sollte
Bewegen Sie den Alignment-for-Superintelligenz-Haufen in Richtung Arbeit, die Nicht-Erstellung durchsetzbar macht: Vertragsgestaltung und Verifizierung, Chip-Level-Compute-Governance, die inspiziert werden kann, öffentliche Fallbildung, die das Ziel lesbar hält, Whistleblower- und Transparenzarbeit, die die Kosten für leise Fähigkeitssprünge erhöht, und politische Organisation, damit der Gesetzgeber von Wählern hört und nicht nur von Laborlobbyisten. Finanzierung der Entscheidung, es nicht zu bauen.
Langfristigkeit verdiente Anerkennung für die Benennung eines Risikos, das die meisten Eliten immer noch als Science-Fiction behandeln. Der Kredit für die Diagnose sperrt das Rezept nicht ein. Gleiches Risiko, anderer Plan: Superintelligenz nach dem Gesetz verhindern und die Werkzeuge behalten, die den Menschen helfen. Lassen Sie den Traum eines sorgfältig gesteuerten Gottes im Regal, bis die Welt zugestimmt hat, keinen im Dunkeln zu bauen.