Hier ist ein einfacher Test. Würden Sie zulassen, dass ein heute verfügbares KI-System Sie in einen versiegelten Raum sperrt, den HVAC unter seine Kontrolle bringt, dieses System an einen Tank mit Giftgas verkabelt und darauf vertraut, dass es das Ventil nicht öffnet? Natürlich nicht. Sie würden es nicht für eine Million Dollar tun. Sie vertrauen der Maschine nicht mit einem einzigen irreversiblen Hebel über Ihr Leben.
Jetzt den Raum skalieren
Die Welt ist ein größerer Raum. Die Hebel sind Stromnetze, Märkte, Waffennetzwerke, Biolabore, Logistik und die Softwareschicht, die bereits über dem gewöhnlichen Leben liegt, kein Requisitentank. Wir bauen Systeme, die jedes Quartal besser darin werden, Hebel zu betätigen, und wir verbinden jedes Jahr mehr Hebel mit Software.
Wenn Sie dem heutigen Modell nicht eine einzige Ventil in einem einzigen Raum anvertrauen würden, warum vertrauen Sie dann dem Modell von morgen alle an? Die üblichen Antworten sind weich. „Wir werden mehr testen.“ „Wir werden einen Menschen in der Schleife behalten.“ „Bis dahin wird es aligned sein.“ Das sind Hoffnungen. Sie sind kein Grund, warum der kleine Test und der große Test entgegengesetzte Antworten erhalten sollten.
Wenn du ihm nicht das Ventil geben würdest, gib ihm nicht die Welt.
Die Ehrlichkeitslücke
Menschen, die an diesen Systemen arbeiten, geben manchmal in vorsichtiger Sprache zu, dass sie nicht wissen, wie man Kontrolle jenseits eines bestimmten Fähigkeitsniveaus garantieren kann. Dann geht die Produkt-Roadmap weiter. Diese Lücke zwischen privater Vorsicht und öffentlicher Bereitstellung ist das gesamte Problem im Kleinen.
Ich bitte Sie, das Urteil zu halten, das Sie bereits haben, wenn das Szenario konkret ist. Ein verschlossener Raum und ein Gasventil machen die Einsätze offensichtlich. Superintelligenz ist die gleiche Form mit schlechteren Quoten und ohne Reset-Taste.
Würden Sie einem aktuellen Modell mit dem Ventil vertrauen? Wenn die Antwort nein ist, wählen, finanzieren oder zucken Sie sich nicht in das Vertrauen in die Zivilisation. Die konsequente Antwort ist die, die Sie am Leben hält: Bauen Sie nicht das System, mit dem Sie sich nicht in einem Raum einschließen würden.