世界末日女朋友 世界模型 · WORLD MODELS
目录

00WORLD MODELS · 概念导览

世界模型

让智能在行动之前，
先在内部预演世界。

它学习世界如何变化：把所见压缩成内部状态，预测下一秒、下一帧、下一步。预测得足够好，智能体就能在想象中试错，而不必在现实里冒险。

阅读
约 12 分钟
章节
7 节
更新
2026.10
引用
12 条
向下阅读
FIG. 01 · 潜空间场 ROLLOUT
zt → ẑt+1 σ 0.04 / 32 STEPS
一个示意性的潜空间场：状态沿动力学轨迹流动，预测在内部持续推演。

01DEFINITION · 定义

一个会「想象」的内部模型

世界模型的核心，
不是看清世界，
而是预判世界下一步
会变成什么样。

世界模型（World Model）是智能体对环境的一种内部表征。它通常包含三个部分：把高维观测压缩成状态的编码器、描述状态如何演化的动态模型，以及把状态映射回行动或感知的解码器。三者合起来，让智能体可以在内部「播放」未来。

这个概念在 2018 年由 Ha 与 Schmidhuber 的论文《World Models》系统性提出：智能体先在梦境中学习，再把学到的策略带回现实。今天，它已经延伸到视频生成、机器人控制、自动驾驶仿真与 3D 场景生成。

与语言模型预测「下一个 token」类似，世界模型预测「下一个状态」。区别在于，它要预测的是图像、视频、动作或三维场景——是必须与现实对齐的东西。

本页采用 WEG 的宽收口径：只要模型学习环境如何演化、并在内部预测状态，就纳入讨论；「是否 action-conditioned」的争议不用于把人排除在外，而是放入技术路线与挑战中并列呈现。

02THE LOOP · 核心循环

感知 → 预测 → 行动

世界模型把试错从现实搬进内部：在真正行动之前，先推演若干种可能的未来。

  1. 01

    观测

    视频、传感器读数与动作指令进入模型。

  2. 02

    编码

    高维输入被压缩成紧凑的潜状态，滤除无关细节。

  3. 03

    预测

    动态模型推演未来若干步，形成一次 rollout。

  4. 04

    规划

    在想象中比较不同行动的后果，选出更优策略。

  5. 05

    行动

    行动改变环境，也带来新的观测，闭环重新开始。

在内部多推演一步，就在现实中少一次试错。

03FOUR ROUTES · 技术路线

同一个目标，四种预测对象

所有路线都在回答「接下来会发生什么」，分歧在于它们选择在哪里预测——潜状态、像素、抽象表征，还是三维空间。

ROUTE A · LATENT DYNAMICS

潜空间动力学

能不能在一个低维的抽象空间里，学会世界运转的规律？

在潜空间里做梦，在现实里行动。

工作方式

  1. 01编码器把画面压成潜状态 z。
  2. 02循环网络或 Transformer 预测 z 的下一步。
  3. 03策略在想象出的轨迹上训练，不依赖真实环境反复试错。

代表模型

  • World Models
  • DreamerV3
  • MuZero

优势与代价

  • 优势样本效率高，适合控制与决策，算力可控。
  • 代价丢弃感知细节，高度依赖学到的表征质量。

来源：★ World Models (2018) · ★ DreamerV3 (2023)

04PLAYGROUND · 推演沙盒

预测地平线：误差如何累积

拖动滑杆，比较真实轨迹与带微小偏差的模型推演。地平线越长，误差越容易被放大——这正是世界模型最核心的挑战之一。

TRUTH / MODEL ROLLOUT
  • 真实轨迹
  • 模型预测

自由抛体场景 · 概念演示 · 比例归一化到场景尺度

05LANDMARKS · 代表模型

六种理解世界的方式

它们不是同一把尺子下的六个版本，而是从不同侧面回答同一个问题：机器应该以什么形式，记住世界如何变化？

01潜空间2018

World Models

David Ha · Jürgen Schmidhuber

用 VAE 压缩画面、用 RNN 预测未来，再让控制器在「梦境」中学习。它为整条路线命名，也确立了 V-M-C 三组件范式。

看点首次证明：智能体可以在自己想象的世界里学会策略。

★ arXiv:1803.10122

02潜空间2023

DreamerV3

Danijar Hafner 等

在潜空间中想象并训练策略，用一套固定超参数跨越上百个领域，从 Atari 到 Minecraft，展示了世界模型的通用性。

看点无需为每个任务调参，首次从零学会在 Minecraft 中采集钻石。

★ arXiv:2301.04104

03表征2025

V-JEPA 2

Meta AI

在抽象表征空间预测视频的未来，而不是重建像素。基于海量视频自监督训练，开源并支持零样本规划与机器人控制。

看点把「预测」从像素层搬到表征层，用更少的重建换取更强的迁移。

★ arXiv:2506.09985

04视频2024–2026

Sora / Sora 2 已关停

OpenAI

官方曾把它从视频生成器推向「world simulator」。2026 年 3 月宣布关停，4 月 26 日起不可用；团队转向面向机器人的 world simulation research。

看点它的退场是一次方向性信号：好看的画面，支撑不起世界模型的商业闭环。

◇ Vice · Sora 关停 · ★ OpenAI

05视频2025

Genie 3

Google DeepMind

根据文本提示实时生成可导航的动态世界：24fps、720p，视觉记忆约 1 分钟。2026 年 1 月以 Project Genie 面向美国 Ultra 订阅用户公测。

看点从「生成视频」走向「生成可玩的环境」，为智能体训练提供新土壤。

★ DeepMind · ○ 9to5Google

063D2025

Marble

World Labs

从文本、单图或视频生成持久、可漫游的 3D 世界，可编辑、扩展，并导出高斯泼溅、网格与相机路径视频。2025 年 11 月商用发布。

看点把世界模型变成可导出的空间资产，而不只是生成内容。

◇ TechCrunch

同样值得留意：MuZeroGAIA-3Cosmos 3HunyuanWorld 2.0 —— 它们在规划、自动驾驶仿真、物理 AI 与开放 3D 生成上各自推进了一条支线。

06TIMELINE · 时间线

从游戏中的梦，
到物理世界的预演

不到十年，世界模型从强化学习的辅助工具，变成了生成、仿真与具身智能共同下注的基础设施。

时间线选取代表性节点，同一时期的多条路线并行推进，未完整展开。基准时点：2026 年 10 月。

  1. 2018

    World Models 命名一条路线

    Ha 与 Schmidhuber 提出 V-M-C 架构，智能体在压缩的潜空间中学习，并把策略带回真实环境。

    ★ arXiv:1803.10122

  2. 2019

    MuZero：在潜空间中规划

    不重建环境，只学习对决策有用的状态与动力学，在棋类与 Atari 上达到超越人类的水平。

    ★ Nature (2020)

  3. 2020

    Dreamer：在想象中学习控制

    把世界模型与策略学习合为一体，用想象轨迹替代大量真实交互，成为潜空间路线的重要基线。

    ★ arXiv:1912.01603

  4. 2022

    JEPA：预测抽象，而非像素

    LeCun 在《A Path Towards Autonomous Machine Intelligence》中提出联合嵌入预测架构，主张在表征空间预测世界。

    ★ OpenReview

  5. 2023

    DreamerV3 跨越领域

    一套超参数覆盖上百个任务，证明世界模型可以具备跨领域的通用性。

    ★ arXiv:2301.04104

  6. 2024

    Sora 与 Genie：世界模拟器的两种想象

    前者用视频生成逼近物理世界，后者生成可交互的虚拟环境；「世界模型」开始进入公众视野。

    ★ OpenAI · ★ arXiv:2402.15391

  7. 2025

    基础模型化：V-JEPA 2、Genie 3、Dreamer 4、Marble

    表征模型、实时交互世界、纯离线训练与可商用 3D 世界相继出现；Wayve GAIA-3 把世界模型用于自动驾驶安全验证。

    ★ V-JEPA 2 · ★ Genie 3 · ★ Dreamer 4 · ◇ Marble

  8. 2026

    从能力展示走向工程落地

    Project Genie 公测、Cosmos 3 面向边缘实时控制；Sora 关停，研究与商业重心转向机器人、自动驾驶与物理 AI。

    ○ Project Genie · ◇ Sora 关停 · ★ Cosmos 3

07LIMITS · 挑战与边界

预测得像，不等于理解得深

世界模型是对世界的压缩近似。它越有用，我们越需要清楚它在哪里会失效。

C1

误差累积

自回归预测每一步的小偏差，都会成为下一步的输入。地平线越长，轨迹越容易偏离，长时一致性仍是核心难题。

C2

物理与因果

画面逼真不等于理解重力、接触与遮挡。许多模型学到的是数据中的相关性，而非可干预、可反事实的因果机制。

C3

记忆与持续存在

物体离开视野后是否依然存在？回到旧地点时场景是否保持？长时记忆与对象恒常性，决定了世界能否「持续」。

C4

评测与数据

缺少统一基准来衡量「世界理解」。高质量的交互数据、3D 数据与反事实标注稀缺且昂贵，制约着路线之间的比较。

判断一个模型是否真的拥有世界模型，可以问三个问题：
它能预测没见过的干预结果吗？它的预测在长时程上自洽吗？它能支撑规划吗？

REFREADING · 延伸阅读

从原始文献继续

★ 官方一手 ◇ 权威媒体 ○ 行业媒体 △ 厂商自述 ? 未能确认
  1. 01
    World Models

    Ha, D. & Schmidhuber, J. (2018) · arXiv:1803.10122

    ★
  2. 02
    Mastering Diverse Domains through World Models

    Hafner, D. et al. (2023) · DreamerV3 · arXiv:2301.04104

    ★
  3. 03
    A Path Towards Autonomous Machine Intelligence

    LeCun, Y. (2022) · JEPA 构想与自主智能架构

    ★
  4. 04
    V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning

    Meta AI (2025) · arXiv:2506.09985

    ★
  5. 05
    Genie: Generative Interactive Environments

    Google DeepMind (2024) · arXiv:2402.15391

    ★
  6. 06
    Genie 3: A new frontier for world models

    Google DeepMind (2025-08-05)

    ★
  7. 07
    Google opens Project Genie to AI Ultra subscribers

    9to5Google (2026-01-29)

    ○
  8. 08
    World Labs speeds up the world model race with Marble

    TechCrunch (2025-11-12) · Marble 商用发布

    ◇
  9. 09
    OpenAI kills Sora

    Vice (2026) · Sora 产品关停与团队转向

    ◇
  10. 10
    Video generation models as world simulators

    OpenAI (2024) · Sora 技术说明

    ★
  11. 11
    NVIDIA Cosmos 3 at SIGGRAPH 2026

    NVIDIA (2026) · Cosmos 3 Edge 与物理 AI

    ★
  12. 12
    Dreamer 4

    Danijar Hafner (2025) · 纯离线数据在 Minecraft 采集钻石

    ★

基准时点为 2026 年 10 月。厂商自述的性能数字（如仿真加速倍数、真实度百分比）未进入正文结论；标为 △ 的内容仅作线索。中文圈流传的「Genie 4」等未经官方来源确认的信息未采用。