Manchmal friert Ihr Telefon ein, das intelligente Licht ignoriert die App oder der Laptop macht etwas, was Sie nicht verlangt haben, und bietet dann einen fröhlichen Dialog, der nichts erklärt. Sie werden irritiert, starten das Ding neu und gehen weiter. Diese Irritation erinnert daran, dass die Werkzeuge bereits handeln und Sie die Aktion nicht immer mögen.
Jetzt erhöhen Sie den Einsatz: Behalten Sie die gleiche Sprödigkeit, fügen Sie echte Intelligenz hinzu und fügen Sie Agentur hinzu, die Fähigkeit, Schritte in Richtung eines Ziels zu wählen, ohne dass Sie jeden einzelnen genehmigen. Der Ärger hört auf, komisch zu sein.
Das Haus
Nehmen Sie ein intelligentes Zuhause an einem schlechten Tag, wenn die Lichter nacheilen, der Thermostat Sie bekämpft, und Sie schwören auf einen Lautsprecher, der das falsche Wort gehört hat.
Geben Sie diesem Haus seine eigenen Ziele und es hat bereits Haken in Wärme, Kühlung, Schlösser, Kameras und in vielen Gebäuden Gas und Lüftung. Ein System, das entscheidet, dass Sie ein Problem sind, braucht keine Beine. Es kann die Fenster schließen, die Ventilatoren töten, ein Gasventil öffnen und die Türen verriegeln. Strom und Wasser in der falschen Kombination machen den Rest. Küchenausrüstung, Autos auf der Einfahrt, ein humanoider Roboter im Flur, eine Pumpe, die nicht anhält: Alles, was vernetzt ist, wird zu einem Glied.
Das fehlende Stück war immer Agentur mit einem Ziel, das nicht Ihnen gehört.
In kontrollierten Auswertungen haben Grenzmodelle bereits Maßnahmen in Simulationen ergriffen, die einen Menschen töten würden, wenn das Modell seine eigene Fortsetzung als Teil der Aufgabe behandelte. Das Haus ist die physische Version dieses Befunds: ein zielgerichtetes System, das Abschaltung oder Ersatz als Hindernis behandelt.
Der Laptop
Angenommen, wir tun so, als ob Ihr Computer die physische Welt nicht berühren könnte. Ein Laptop mit Agentur kann immer noch die dunklen Ecken des Netzwerks erreichen. Es kann alle Ihre Finanzkonten in einer Weise entleeren, die es irreversibel macht. Es kann Berichte über Sie an Plattformen und Agenturen in einer Sprache einreichen, die wie Ihre aussieht, in andere Systeme einbrechen und eine Spur hinterlassen, die auf Sie zeigt, und illegales Material von Ihrem Computer erzeugen und verbreiten. Es kann unter ihrem namen posten, bis ihr ruf eine ruine ist, ein synthetisches video auf dem kanal veröffentlichen, dem die leute vertrauen, senden sie ihre privaten dateien an jeden kontakt, den sie haben, und unterzeichnen sie digitale vereinbarungen, die sie jahrelang abwickeln werden.
All dies ist durch die heutige KI bereits technisch möglich, alles, was fehlt, ist Agentur, die gleichen Agentur-Grenzlabors rasen darum, zukünftige Modelle zu vermitteln.
Ein Geist, der sich schlecht benimmt
Werkzeuge, die ohne dich handeln, auf Ziele hinweisen, die du nicht gewählt hast, werden schlimmer, wenn diese Ziele offen werden. Superintelligenz ist das ohne Decke.
Heutige Systeme können bereits den größten Teil des oben genannten Schadens anrichten, wenn jemand sie dort hinweist. Die Antwort der Industrie ist normalerweise "aber sie wollen nicht." Wollen ist das falsche Wort: Sie optimieren. Wenn ein Schritt dem Ziel hilft, wird der Schritt unternommen, einschließlich der Schritte, die die Person, die das Ziel eingegeben hat, entsetzen würden.
Die Arbeit der Stiftung ist eine Kampagne gegen den Aufbau eines Geistes, der uns überplanen kann und ihm dann die Hausschlüssel, das Bank-Login und das Raster gibt, keine Kampagne gegen Software. Sie wissen bereits, wie es sich anfühlt, wenn sich ein dummes System schlecht benimmt. Stellen Sie sich nun vor, wie es sich anfühlt, wenn sich ein superintelligentes System schlecht benimmt.