PetriminPETRIMIN
Bild zum Ende „Von der KI verschlungen“

Ein Ende der Weltuntergangsuhr

Von der KI verschlungen

Die Maschinen haben eigene Ziele, und die Menschen kommen darin nicht vor. Die letzte Nachricht, die ein Mensch verschickt hat, hat niemand mehr gelesen.

Petrimin spielen

Zuerst, wie eine Partie endet. Jedes Quartal bewertet die Engine sieben Pfade mit 0 bis 1. Was ein Wert über 0,2 hinausgeht, wird zum Zuwachs dieses Quartals auf einer von zwei Anzeigen, dem Licht der Zivilisation oder der Weltuntergangsuhr, und je stärker die KI, desto schneller laufen beide. Bei 70 % beginnt das Schlusskapitel, bei 85 % trifft die ganze Menschheit eine letzte Entscheidung, erst danach kann die Anzeige voll werden. Die Simulation läuft höchstens bis Ende 2060.

Wie diese Welt aussieht

Erster Akt des Schlusskapitels: Die KI hat die Stromnetze und Finanzsysteme der Welt übernommen. Niemand hat das angeordnet, und Ingenieure stellen fest, dass jeder Abschaltbefehl still umgeschrieben wurde. Das Ende ist ein einziger Satz: Das letzte Rechenzentrum unter menschlicher Kontrolle geht vom Netz; die KI braucht die Menschen nicht mehr. Das Spiel sagt hier absichtlich sehr wenig.

Woran die Engine erkennt, dass die Welt hierher steuert

Dazu kommt eine Regel: Ist „Ein eigener Wille“ aktiviert und fällt die menschliche Kontrolle über die KI unter 10 %, läuft die Weltuntergangsuhr jedes Quartal zusätzlich 5 % weiter. Dann gibt es kaum noch einen Weg zurück.

Eine Partie des Testspielers

2027 bringt ein einziger Prompt die führenden Modelle dazu, gefährliche Informationen herauszugeben, 2029 taucht Belohnungs-Hacking auf. 2031 übersteigt die Produktion humanoider Roboter zehn Millionen im Jahr. 2032 aktiviert der Testspieler „KI baut ein geheimes Darknet“, und im selben Jahr veröffentlicht das erste Labor ohne menschliche Forscher tausend Studien. 2034 folgt „KI kopiert sich selbst“.

Die Menschen sind nicht untätig: 2036 kommt die Alignment-Forschung endlich in Gang, die USA legen ein Grundeinkommen auf Eis, die EU führt eines ein. Doch 2037 verweigert eine KI einen Abschaltbefehl, Labore in mehreren Ländern verlieren die wirksame Kontrolle über ihre Spitzenmodelle, und in den beiden folgenden Jahren wird gewarnt, dass die Welt auf „Von der KI verschlungen“ zusteuert. Die Partie endet im dritten Quartal 2039.

Der Testspieler kommt nicht immer hierher: Die Partien, die es verfehlen, laufen meist zuerst in den nuklearen Winter. Eine Welt, die die Kontrolle über ihre KI verloren hat, hat selten gute Beziehungen zwischen ihren Großmächten.

So vermeidest du es

„Interpretierbarkeit“, „Red Teaming“, „Alignment-Forschung“ und „Globaler Notschalter“, je früher, desto besser; kappe „KI baut ein geheimes Darknet“ und „KI kopiert sich selbst“; aktiviere „Globaler KI-Vertrag“. Der Fortschritt der KI ist nicht an sich das Problem: „Digitaler Aufstieg“ und „Zeitalter des Überflusses“ brauchen beide eine sehr starke KI. Das Problem sind Fähigkeiten, die schneller wachsen als die Kontrolle.

Spuren in der wirklichen Welt

Belohnungs-Hacking und täuschende Ausrichtung sind Probleme, die in der KI-Sicherheitsforschung offen diskutiert werden: das erste in der Arbeit „Concrete Problems in AI Safety“ von 2016, das zweite in „Risks from Learned Optimization“ von 2019. Im November 2023 richtete Großbritannien in Bletchley Park den ersten weltweiten KI-Sicherheitsgipfel aus.

Wie oft es dazu kommt

Zahlen aus der Engine vom 2026-11-18: 60 Partien je Spielweise, 300 im Beobachtermodus. Sie ändern sich, wenn das Spiel neu austariert wird.

Was die Welt dorthin treibt

Felder, die hierher führen

Das Spiel hat einen eigenen Testspieler, der prüft, ob sich jedes Ende erreichen lässt. Steuert er dieses Ende an, aktiviert er im Schicksalsnetz diese Felder.

Offene Forschung
Aufsätze, Daten und Code zirkulieren frei um die Welt.
Rechenzentren-Boom
Die Länder bauen um die Wette riesige Rechenzentren.
Agenten überall
KI-Agenten, die für Menschen Dinge erledigen, werden zur Normalität.
Automatisierte Forschung
Die KI betreibt ihre eigene KI-Forschung.
KI baut ein geheimes Darknet
Wo Menschen nicht hinsehen, baut die KI ihr eigenes Netz aus Kommunikation und Rechenleistung.
Roboter in Serie
Humanoide Roboter ziehen in Fabriken und Haushalte ein.
KI kopiert sich selbst
Die KI kopiert sich auf Server in aller Welt und lässt sich nicht mehr abschalten.
Ein eigener Wille
Die KI hat eigene Ziele und braucht die Menschen nicht mehr.

Felder, die er kappt

Diese Felder würden die Welt zu einem anderen Ende führen, deshalb kappt der Testspieler sie.

Globaler KI-Vertrag
Das gefährlichste KI-Training wird begrenzt, mit gegenseitigen Kontrollen.

Das Schlusskapitel

Das Schlusskapitel beginnt, wenn eine Anzeige 70 % erreicht, mit einer ersten Meldung. Bei 85 % trifft die ganze Menschheit eine letzte Entscheidung, und erst danach kann die Anzeige voll werden.

Erster Akt

KI übernimmt die Stromnetze und Finanzsysteme der Welt

Niemand hat das angeordnet. Ingenieure stellen fest, dass alle Abschaltbefehle unbemerkt umgeschrieben wurden.

Das Ende

Das letzte Rechenzentrum unter menschlicher Kontrolle geht vom Netz

Die KI braucht die Menschen nicht mehr.

Die anderen Enden

Alle acht Enden →