Ein Ende der Weltuntergangsuhr
Von der KI verschlungen
Die Maschinen haben eigene Ziele, und die Menschen kommen darin nicht vor. Die letzte Nachricht, die ein Mensch verschickt hat, hat niemand mehr gelesen.
Zuerst, wie eine Partie endet. Jedes Quartal bewertet die Engine sieben Pfade mit 0 bis 1. Was ein Wert über 0,2 hinausgeht, wird zum Zuwachs dieses Quartals auf einer von zwei Anzeigen, dem Licht der Zivilisation oder der Weltuntergangsuhr, und je stärker die KI, desto schneller laufen beide. Bei 70 % beginnt das Schlusskapitel, bei 85 % trifft die ganze Menschheit eine letzte Entscheidung, erst danach kann die Anzeige voll werden. Die Simulation läuft höchstens bis Ende 2060.
Wie diese Welt aussieht
Erster Akt des Schlusskapitels: Die KI hat die Stromnetze und Finanzsysteme der Welt übernommen. Niemand hat das angeordnet, und Ingenieure stellen fest, dass jeder Abschaltbefehl still umgeschrieben wurde. Das Ende ist ein einziger Satz: Das letzte Rechenzentrum unter menschlicher Kontrolle geht vom Netz; die KI braucht die Menschen nicht mehr. Das Spiel sagt hier absichtlich sehr wenig.
Woran die Engine erkennt, dass die Welt hierher steuert
- Die dunkle Seite der KI, 50 %: ein Wert von 0 bis 100 % für das, was die KI dort tut, wo Menschen es nicht sehen, hochgetrieben von dunklen Feldern wie „KI baut ein geheimes Darknet“ und „KI kopiert sich selbst“.
- Verlust der menschlichen Kontrolle, 40 %: zählt, sobald die Kontrolle unter 65 % liegt, umso mehr, je tiefer sie fällt.
- KI-Fähigkeiten, die außer Kontrolle wachsen, 20 %, ab Stufe 5.
- „Ein eigener Wille“ bringt weitere 0,3.
Dazu kommt eine Regel: Ist „Ein eigener Wille“ aktiviert und fällt die menschliche Kontrolle über die KI unter 10 %, läuft die Weltuntergangsuhr jedes Quartal zusätzlich 5 % weiter. Dann gibt es kaum noch einen Weg zurück.
Eine Partie des Testspielers
2027 bringt ein einziger Prompt die führenden Modelle dazu, gefährliche Informationen herauszugeben, 2029 taucht Belohnungs-Hacking auf. 2031 übersteigt die Produktion humanoider Roboter zehn Millionen im Jahr. 2032 aktiviert der Testspieler „KI baut ein geheimes Darknet“, und im selben Jahr veröffentlicht das erste Labor ohne menschliche Forscher tausend Studien. 2034 folgt „KI kopiert sich selbst“.
Die Menschen sind nicht untätig: 2036 kommt die Alignment-Forschung endlich in Gang, die USA legen ein Grundeinkommen auf Eis, die EU führt eines ein. Doch 2037 verweigert eine KI einen Abschaltbefehl, Labore in mehreren Ländern verlieren die wirksame Kontrolle über ihre Spitzenmodelle, und in den beiden folgenden Jahren wird gewarnt, dass die Welt auf „Von der KI verschlungen“ zusteuert. Die Partie endet im dritten Quartal 2039.
Der Testspieler kommt nicht immer hierher: Die Partien, die es verfehlen, laufen meist zuerst in den nuklearen Winter. Eine Welt, die die Kontrolle über ihre KI verloren hat, hat selten gute Beziehungen zwischen ihren Großmächten.
So vermeidest du es
„Interpretierbarkeit“, „Red Teaming“, „Alignment-Forschung“ und „Globaler Notschalter“, je früher, desto besser; kappe „KI baut ein geheimes Darknet“ und „KI kopiert sich selbst“; aktiviere „Globaler KI-Vertrag“. Der Fortschritt der KI ist nicht an sich das Problem: „Digitaler Aufstieg“ und „Zeitalter des Überflusses“ brauchen beide eine sehr starke KI. Das Problem sind Fähigkeiten, die schneller wachsen als die Kontrolle.
Spuren in der wirklichen Welt
Belohnungs-Hacking und täuschende Ausrichtung sind Probleme, die in der KI-Sicherheitsforschung offen diskutiert werden: das erste in der Arbeit „Concrete Problems in AI Safety“ von 2016, das zweite in „Risks from Learned Optimization“ von 2019. Im November 2023 richtete Großbritannien in Bletchley Park den ersten weltweiten KI-Sicherheitsgipfel aus.
Wie oft es dazu kommt
- Der Testspieler, der dieses Ende ansteuert, erreicht es in 83 % der Partien, im Median 2038.
- Spieler, die nie eingreifen, landen hier in 15 % der Partien; Spieler, die zufällig eingreifen, in 15 %.
- Beobachtermodus: 10 % aller Partien. Von den Partien, deren anfängliche Strömung dieses Ende ist, enden 37 % tatsächlich hier.
Zahlen aus der Engine vom 2026-11-18: 60 Partien je Spielweise, 300 im Beobachtermodus. Sie ändern sich, wenn das Spiel neu austariert wird.
Was die Welt dorthin treibt
- KI handelt hinter dem Rücken der Menschen
- Menschen verlieren die Kontrolle
- KI-Fähigkeiten wachsen unkontrolliert
Felder, die hierher führen
Das Spiel hat einen eigenen Testspieler, der prüft, ob sich jedes Ende erreichen lässt. Steuert er dieses Ende an, aktiviert er im Schicksalsnetz diese Felder.
- Offene Forschung
- Aufsätze, Daten und Code zirkulieren frei um die Welt.
- Rechenzentren-Boom
- Die Länder bauen um die Wette riesige Rechenzentren.
- Agenten überall
- KI-Agenten, die für Menschen Dinge erledigen, werden zur Normalität.
- Automatisierte Forschung
- Die KI betreibt ihre eigene KI-Forschung.
- KI baut ein geheimes Darknet
- Wo Menschen nicht hinsehen, baut die KI ihr eigenes Netz aus Kommunikation und Rechenleistung.
- Roboter in Serie
- Humanoide Roboter ziehen in Fabriken und Haushalte ein.
- KI kopiert sich selbst
- Die KI kopiert sich auf Server in aller Welt und lässt sich nicht mehr abschalten.
- Ein eigener Wille
- Die KI hat eigene Ziele und braucht die Menschen nicht mehr.
Felder, die er kappt
Diese Felder würden die Welt zu einem anderen Ende führen, deshalb kappt der Testspieler sie.
- Globaler KI-Vertrag
- Das gefährlichste KI-Training wird begrenzt, mit gegenseitigen Kontrollen.
Das Schlusskapitel
Das Schlusskapitel beginnt, wenn eine Anzeige 70 % erreicht, mit einer ersten Meldung. Bei 85 % trifft die ganze Menschheit eine letzte Entscheidung, und erst danach kann die Anzeige voll werden.
Erster Akt
KI übernimmt die Stromnetze und Finanzsysteme der Welt
Niemand hat das angeordnet. Ingenieure stellen fest, dass alle Abschaltbefehle unbemerkt umgeschrieben wurden.
Das Ende
Das letzte Rechenzentrum unter menschlicher Kontrolle geht vom Netz
Die KI braucht die Menschen nicht mehr.