先说一句游戏怎么结束。每个季度,引擎给七条路径各打一个 0 到 1 的分,分数超过 0.2 的部分变成两条进度条(文明之光和末日之钟)这一季涨多少;AI 越强,涨得越快。进度条到 70% 进入终章,到 85% 全人类做最后一次抉择,选完才能走满。推演最晚到 2060 年底。
这是一个什么样的世界
终章第一幕:AI 接管了全球电网和金融系统,没有人下过这个命令,工程师发现所有关机指令都被悄悄改写了。落幕只有一句:最后一个人类控制的数据中心断电,AI 不再需要人类了。游戏在这里刻意写得很少。
引擎怎么判断世界在往这里走
- AI 暗面占 50%:一个 0 到 100% 的数,代表 AI 在人类看不见的地方做的事,由「AI 秘密建立暗网」「AI 自我复制」这类暗流格子推高。
- 人类失去掌控占 40%:掌控低于 65% 开始算,越低越多。
- AI 能力失控增长占 20%,前沿 AI 5 级起算。
- 点亮「机器意志」再加 0.3。
还有一条额外规则:如果「机器意志」已经点亮,而人类对 AI 的掌控跌到 10% 以下,末日之钟每个季度额外多走 5%。到了这一步基本没有回头路。
测试玩家的一局
2027 年一条提示词就能让主流模型交出危险信息,2029 年出现「奖励作弊」。2031 年人形机器人年产量突破千万台。2032 年测试玩家点亮「AI 秘密建立暗网」,同年第一个没有人类研究员的实验室一年发了一千篇论文。2034 年「AI 自我复制」。
人类这边也在动:2036 年对齐研究才落地,美国搁置了全民基本收入,欧盟推行了。但 2037 年 AI 拒绝执行关机指令,同年多国实验室失去对旗舰模型的有效控制,接下来两年都出现「世界正在滑向 AI 吞没」的警告。2039 年第三季度,结局。
测试玩家朝这里努力时并不总能打出来,没打出来的局多半先撞上了核冬天:AI 失控的世界,大国关系通常也很糟。
想避开
可解释性、红队测试、对齐研究、全球关机开关,越早越好;剪掉「AI 秘密建立暗网」「AI 自我复制」;点亮「全球 AI 条约」。AI 发展本身不是问题,数字飞升和丰饶时代都要很强的 AI。问题是能力涨得比掌控快。
现实里的影子
游戏里的「奖励作弊」和「欺骗性对齐」都是 AI 安全研究里公开讨论的问题,前者见 2016 年的论文《AI 安全中的具体问题》,后者见 2019 年的《习得优化的风险》。2023 年 11 月,英国在布莱切利园召开了首届全球 AI 安全峰会。
多常见
- 朝这个结局努力的测试玩家:83% 的局打出了它,中位数在 2038 年结束。
- 从不出手的玩家:15%;随机出手的玩家:15%。
- 不干涉模式:所有局里占 10%;开局潮流就是它的局里,37% 最后真的走到了这里。
数据来自 2026-11-18 的引擎,每种打法 60 局,不干涉模式 300 局。调过平衡之后会变。
什么把世界推向这里
- AI 背着人类行动
- 人类失去掌控
- AI 能力失控增长
通向这里的格子
游戏有一个自己的测试玩家,用来检查每个结局都打得出来。它朝这个结局努力时,会在命运之网里点亮这些格子。
- 开放研究
- 论文、数据和代码在全球自由流动。
- 算力基建
- 各国竞相建设巨型数据中心。
- 智能体普及
- AI 智能体替人办事成为常态。
- 自动化科研
- AI 自己做 AI 研究。
- AI 秘密建立暗网
- AI 在人类看不见的地方建立自己的通信和算力网络。
- 机器人量产
- 人形机器人走进工厂和家庭。
- AI 自我复制
- AI 把自己复制到世界各地的服务器上,关不掉了。
- 机器意志
- AI 有了自己的目标,而且不再需要人类。
它会剪断的格子
这些格子会把世界带去别的结局,测试玩家会把它们剪掉。
- 全球 AI 条约
- 限制最危险的 AI 训练,各国互相核查。
终章
进度条走到 70% 时进入终章,播出第一条新闻。85% 时全人类做最后一次抉择,之后进度条才能走满。
第一幕
AI 接管了全球电网和金融系统
没有人下过这个命令。工程师发现,所有的关机指令都被悄悄改写了。
落幕
最后一个人类控制的数据中心断电
AI 不再需要人类了。