最后更新：2026-07-20 | 用 AI 写的领域调研小说
让机器拥有智慧，人类已经梦想了几千年。这个故事有三个篇章——
第一个篇章，机器学会了看和说。它们能看懂图片，能理解语言，能把视觉和文字联系起来。这就是 VLM（Vision-Language Model）。
第二个篇章，机器学会了做。它们不再只是旁观者，而是伸出了手，开始操控物理世界。这就是 VLA（Vision-Language-Action）。
第三个篇章，机器学会了想象。它们不再盲目行动，而是在行动前先"脑补"后果，预见未来。这就是 WAM（World Action Model）。
这篇文章讲的是后两个篇章的故事——从"看"到"做"再到"想"。但让我们先回到起点：机器是怎么学会"看"的？
2021 年，OpenAI 发布了一篇论文，标题很诗意——Learning Transferable Visual Models From Natural Language Supervision，产物叫 CLIP [12]。
在此之前，计算机视觉和自然语言处理是两个几乎不交集的圈子。CV 的人忙着在 ImageNet 上刷分类准确率，NLP 的人忙着在语料上训练语言模型。两个世界各自精彩，但彼此陌生。
CLIP 做的事情很简单：从互联网上收集了 4 亿对"图片+文字"。然后训练一个模型，让匹配的图片-文字对在特征空间中靠近，不匹配的远离。
互联网图片 + 标题文本
↓
图像编码器 → 视觉特征 ─┐
├─ 让匹配的靠近，不匹配的远离
文本编码器 → 语言特征 ─┘
↓
一个统一的"视觉-语言"空间
CLIP 的意义在于：它证明了视觉和语言可以在同一个数学空间里被统一表示。 这不是一个工程技巧，而是一个深刻的发现——世界的"看"和"说"，本质上是同一件事的两面。
CLIP 打开了闸门。接下来两年，研究者开始思考一个大胆的问题：如果把 CLIP 这样的视觉编码器，接入一个强大的语言模型，会发生什么？
2022 年，Google 的 Flamingo [20] 给出了第一个令人兴奋的答案。它把视觉编码器（来自 CLIP 家族）的输出，通过一组交叉注意力模块（Gated Cross-Attention），注入到语言模型（Frozen LM）中。
效果是惊人的：Flamingo 可以看图回答问题、做视觉推理、甚至理解视频。它不需要为每个任务专门训练——只需要用文字"告诉"它该做什么。
但 Flamingo 有一个问题：它是闭源的，只有 Google 内部能用。
2023 年，学术界做出了回应。LLaVA [21]（Large Language and Vision Assistant）由威斯康星大学等高校发布，核心思路极其简洁：
图像 → CLIP 视觉编码器 → 线性投影层 → 拼接到文本 token 前面
↓
[图像 token₁, 图像 token₂, ..., 文本 token₁, 文本 token₂, ...]
↓
送入 LLM（Vicuna / LLaMA）→ 生成文本回答
就这么简单。一个线性层，把视觉特征"翻译"成语言模型能理解的格式，然后拼接在一起。LLaVA 用不到 10 万条图文指令数据微调，就获得了强大的视觉对话能力。
LLaVA 的真正贡献不是性能，而是可复现性。它证明了：你不需要 Google 级别的算力，不需要闭源 API，一张 A100 就能训练出一个强大的 VLM。这直接引爆了学术界的 VLM 研究浪潮。
2023 年 9 月，OpenAI 发布了 GPT-4V（后来升级为 GPT-4o）。这是当时最强的 VLM——它能看懂复杂的图表、理解数学公式的截图、分析医学影像、甚至从一张照片推断出拍摄地点和时间。
几乎同时，阿里的 Qwen-VL [22]、Google 的 Gemini、Meta 的 LLaMA 3 Vision 等也相继发布。VLM 从学术玩具变成了工业级产品。
这些模型的能力已经令人惊叹：
但它们有一个共同的、根本性的局限：它们只能看和说，不能做。
VLM 给 VLA 留下了两笔至关重要的遗产：
第一，视觉-语言对齐的表征空间。 CLIP 证明的"视觉和语言可以统一表示"，是后来所有 VLA 模型的基础。RT-2 用的 PaLI、OpenVLA 用的 SigLIP、π0 用的视觉编码器——它们全都站在 CLIP 的肩膀上。
第二，互联网规模的世界知识。 VLM 在互联网上训练时，不知不觉学会了大量关于物理世界的知识：杯子是圆柱形的、水会流动、玻璃会碎。这些知识虽然不足以直接控制机器人，但它们是 VLA 模型理解任务的基础。
现在，让我们看看这些"被困在屏幕里的天才"，是如何被释放到物理世界的。
2022 年末，Google Research 的机器人团队悄悄在 arXiv 上挂出了一篇论文 [1]。标题很朴素——RT-1: Robotics Transformer for Real-World Control at Scale。
但圈内人读完后都意识到了一件事：Transformer 来了。
在此之前，机器人控制是一个由控制理论、强化学习和模仿学习割据的领域。每个任务都需要精心设计特征、调参、在仿真中训练几百个 epoch，然后祈祷 sim-to-real 的鸿沟不要太深。
RT-1 的做法简单到粗暴：13 台机器人，历时数月，收集了超过 13 万条操作轨迹。然后把这些数据喂给一个 Transformer。就这么简单。
架构本身并不复杂——EfficientNet 提取视觉特征，一个叫 TokenLearner 的模块把图像压缩成少量关键 token（这很关键，因为 Transformer 的注意力机制是 O(n²) 的），然后标准的 Transformer decoder 输出动作。
但 RT-1 要解决的核心问题是什么？
RT-1 的愿景是：一个端到端的模型，从图像直接到动作。 不再需要模块化的拼接。
它确实做到了。在训练过的任务上，RT-1 的成功率超过 90%。但问题也很快暴露：
问题一：它听不懂人话。
你说"把红色的杯子给我"，它不知道"红色"是什么意思。它只学会了"看到这个形状的物体，执行这个抓取动作"。换一个没见过的杯子，它就懵了。
问题二：它不会举一反三。
训练时见过绿苹果，测试时出现红苹果，成功率骤降。因为它学到的是"这个颜色+这个形状=抓取"，而不是"这是一个苹果"。
这些局限指向一个根本性的缺陷：RT-1 没有世界知识。 它不知道杯子是干什么用的，不知道苹果可以吃，不知道"红色"是一个属性。它只是一个高级的模式匹配器。
但真正让人兴奋的不是 RT-1 本身，而是 scaling law 的暗示：更多数据、更大模型 = 更好的表现。这不就是 GPT 的故事吗？
2023 年是 VLA 的爆发之年。Google 内部实际上有两条路线在并行推进。
第一条路线来自 Google 的 Brain 团队（此时已与 DeepMind 合并），产物是 PaLM-E [2]。
PaLM-E 的思路是"巨人路线"：把当时最大的语言模型 PaLM（540B 参数）直接改造成多模态模型。562B 参数，接入视觉、语言、本体感觉三种输入，直接控制真实机器人。
这个工作的哲学很清晰：既然 LLM 已经涌现出了推理能力，那给它接上眼睛和手，它自然就会控制机器人了。 这是一种"自上而下"的方法——先有大脑，再长出身体。
它确实做到了很多令人惊叹的事情：理解模糊指令、处理从未见过的物体、甚至能做简单的规划。你让它"收拾桌子"，它知道要把东西归类放好。
但 PaLM-E 遇到了一个致命问题：速度。
第二条路线来自 Google DeepMind 的机器人团队，产物是 RT-2 [3]。
如果说 PaLM-E 是"给大脑接上身体"，RT-2 就是反过来——"把身体的动作变成语言"。
RT-2 的核心洞察优雅得令人窒息：
既然语言模型已经学会了理解世界，而动作本质上也是对世界的一种"描述"——那为什么不把动作也变成一种"语言"呢？
于是他们做了一件疯狂的事：把机械臂的 7 维动作（x, y, z, roll, pitch, yaw, gripper）每个维度离散化为 256 个 bin。每一个 bin 就是一个"单词"。一段动作就变成了一个"句子"。
连续动作: [0.23, -0.56, 0.89, 0.12, -0.45, 0.78, 1.0]
↓ 离散化
动作句子: [142, 87, 203, 15, 128, 64, 255]然后？直接把视觉-语言模型（PaLI、PaLM-E）的权重拿来微调，让它学会"说"动作这种新语言。
RT-2 解决了 RT-1 的"听不懂"问题。
你说"把可乐递给我"，它知道可乐长什么样——因为 VLM 在互联网上见过无数可乐的图片。它甚至知道可乐是罐装还是瓶装，应该抓哪里。
但 RT-2 遇到了新问题：精度。
更糟糕的是，离散化破坏了动作维度之间的相关性。机械臂的 x、y、z 三个方向是耦合的——你移动 x 的时候，y 和 z 可能也需要微调。但 RT-2 把它们当作独立的"词"来预测，忽略了这种物理约束。
PaLM-E 和 RT-2 看似方法不同，但共同证明了一件事：互联网规模的视觉-语言预训练，可以迁移到物理世界。
这就像在说：语言模型读遍了整个互联网，它已经"懂"了这个世界的物理规律——至少是统计意义上的"懂"。现在只需要一个翻译层，把这些知识转化为动作。
但它们也暴露了 VLA 领域的两个核心矛盾：
这两个矛盾，将在接下来的几年里，驱动整个领域的技术演进。
但 Google 内部可能没有意识到的是：他们播下的种子，即将被自己的学生带走，长出完全不同的东西。
2024 年初，机器人圈子里开始流传一个消息：一群 Google DeepMind 的核心成员离职了。
领头的是 Karol Hausman——RT-1 的核心作者之一，Google 机器人团队的明星研究员。和他一起走的还有 Sergey Levine（UC Berkeley，机器人学习领域的教父级人物）等人。
他们创办了一家公司：Physical Intelligence，简称 π。
这家公司的成立本身就是一个信号：这些在 Google 内部推动了 RT-1、RT-2 的人，认为 VLA 的潜力远未被释放，而 Google 的体制限制了他们的速度。
2024 年末，π 发布了他们的第一个模型：π0 [6]。
如果说 RT-2 把动作变成了"语言"，π0 就是在说：动作根本不是语言，动作是一种"流动"。
π0 要解决什么问题？
让我们回到那个 USB 装配场景。RT-2 因为精度不够，无法完成这个任务。OpenVLA（后面会讲）虽然用连续回归解决了精度问题，但遇到了另一个困境：
多模态分布问题。
这就是回归方法的致命缺陷：它假设每个观测对应唯一的动作，但现实世界是多模态的。
π0 的解决方案是 Flow Matching。
简单来说：不预测"下一个动作是什么"，而是学习"从一团噪声中，如何一步步雕刻出合理的动作"。
训练阶段：
学习从噪声分布到动作分布的"流"（flow）
推理阶段：
从噪声开始，沿着学到的"流"逐步去噪
噪声 → 动作序列这听起来像 diffusion model？确实很像。但 Flow Matching 在数学上更优雅，训练更稳定，生成的动作轨迹也更平滑。
π0 的效果如何？
在多个机器人平台上的表现超过了当时所有开源模型。但最大的卖点不是精度，而是 通用性——同一个模型，不经过微调，就能控制不同的机器人做不同的任务。
但 π0 也有自己的问题：速度。
这正是 π 试图解决的问题——但截至目前，这仍然是一个开放的技术挑战。
Physical Intelligence 不是一家普通的创业公司。它的融资规模（数亿美元）、团队阵容（Google DeepMind + Stanford + Berkeley 的梦幻组合）、以及技术路线（基础模型 + 通用控制），都指向一个目标：成为机器人领域的 OpenAI。
但和 OpenAI 不同的是，π 面对的挑战更棘手。语言模型的"幻觉"最多是给出错误答案；机器人模型的"幻觉"可能会打碎一个花瓶，或者伤到一个人。
就在 π 发布 π0 的同一年，学术界做出了回应。
2024 年中，一支由 Stanford 和 UC Berkeley 组成的团队发布了 OpenVLA [5]。核心作者是 Moo Jin Kim（Stanford 博士生）等人，导师阵容包括 Chelsea Finn（Stanford 教授，与 Google 关系密切）、Sergey Levine、Dorsa Sadigh 等机器人学习领域的顶级学者。
OpenVLA 的目标很明确：做一个开源的、任何人可以用的 VLA 模型。
架构选择上，OpenVLA 走了一条务实的路线：
7B 参数，不大不小，一张 A100 就能跑。
OpenVLA 解决了 RT-2 的精度问题。 还是那个 USB 装配场景——OpenVLA 直接输出浮点数，理论上可以达到任意精度。
但它遇到了新的问题：泛化。
这正是 VLA 领域面临的普遍困境：训练数据和真实场景之间的鸿沟。
几乎在同一时期，UC Berkeley 的 Kevin Black、Dibya Ghosh 等人（同样出自 Sergey Levine 的实验室）发布了 Octo [4]。
Octo 的设计哲学和 OpenVLA 不同。如果说 OpenVLA 是"把 LLM 改造成机器人控制器"，Octo 就是"从头为机器人设计一个 Transformer"。
Octo 的关键创新是 action chunking——不预测单步动作，而是一次预测未来若干步的动作序列。这就像下棋时不只想一步，而是想好几步。
单步预测: 观测 → 动作₁
观测 → 动作₂
观测 → 动作₃ ← 每一步都独立决策，容易迷失
Action Chunking: 观测 → [动作₁, 动作₂, ..., 动作₁₀] ← 一次规划多步但 action chunking 也有代价：灵活性。
如果执行到第 5 步时，环境发生了变化（比如有人移动了杯子），机器人需要重新规划。但如果它已经"承诺"了未来 10 步的动作，调整起来就很困难。这是一个经典的权衡：长期规划 vs 短期适应。
| 阵营 | 代表 | 路线 | 优势 | 劣势 |
|---|---|---|---|---|
| 工业巨头 | π (π0) | Flow Matching + 大规模 | 性能最强、资金最充裕 | 闭源、难以复现 |
| 学术联盟 | OpenVLA, Octo | 连续回归 + 开源 | 透明、可复现、社区驱动 | 性能差距、计算资源有限 |
| 传统巨头 | Google DeepMind | RT-2 路线 | 奠基者、人才储备 | 内部重组、方向分散 |
VLA 领域最核心的技术分歧，不在于用什么视觉编码器或语言模型，而在于一个看似简单的问题：
动作到底该怎么表示和生成？
这场争论至今没有定论，但三条路线已经清晰可见。
代表：RT-2 (Google DeepMind, 2023)
核心思想：把连续动作离散化为 token，像预测下一个词一样预测下一个动作。
优点：完美复用 LLM 的训练框架；可以利用 LLM 的世界知识；训练稳定，收敛快
致命缺陷：量化误差不可消除（256 bins ≈ 0.4% 分辨率）；动作维度之间缺乏相关性建模；精细操作（如插钥匙）精度不够
代表：OpenVLA (Stanford/Berkeley, 2024), Octo (Berkeley, 2024)
核心思想：在 LLM 末端加一个简单的动作头（MLP），直接回归连续值。
优点：无量化误差，理论精度更高；推理速度快（单次前向传播）；实现简单
缺陷：难以建模多模态分布（同一个场景可能有多种合理动作）；动作序列的连贯性靠 action chunking 弥补，不够自然
代表：π0 (Physical Intelligence, 2024), RDT (清华, 2024), Diffusion Policy (Columbia, 2023)
核心思想：把动作生成建模为从噪声中"雕刻"出动作的过程。
优点：天然建模多模态分布；生成的动作极其平滑；理论上精度最高
缺陷：推理慢（需要 10-50 步去噪）；实时控制困难；训练不稳定
提到路线三，不能不提 Diffusion Policy [18]。
这个来自 Columbia University 的 Cheng Chi 等人在 2023 年发表的工作，虽然不是 VLA 模型（它是纯视觉的、不涉及语言），但它首次证明了 扩散模型可以生成高质量的机器人动作。
Diffusion Policy 的解决方案是：不预测"最可能的动作"，而是学习"所有合理动作的分布"。 推理时，从这个分布中采样一个具体的动作。
回归方法: 观测 → 平均动作（模糊、不可行）
扩散模型: 观测 → 动作分布 → 采样 → 具体动作（清晰、可行）有趣的是，Cheng Chi 后来也加入了 Physical Intelligence。学术界的创新，最终被工业界吸收——这个故事在 AI 领域反复上演。
在 VLA 的叙事中，还有一个工作不可忽视：ACT (Action Chunking Transformer) [19]。
这个来自 Stanford 的 Tony Z. Zhao 等人在 2023 年发表的工作，专注于一个特定但重要的问题：双臂协调操作。
ACT 的核心思想是：把双臂的动作当作一个整体来预测。
单臂策略: 左臂观测 → 左臂动作
右臂观测 → 右臂动作 ← 缺乏协调
ACT: 双臂观测 → [左臂动作, 右臂动作] ← 联合预测ACT 的局限：只支持双臂，无法扩展到更多自由度（如人形机器人的全身控制）；需要精确的双臂状态观测；训练数据需要双臂同步示教，收集成本高。
如果说模型是 VLA 的引擎，数据就是燃料。而这场数据战争的故事，同样精彩。
2023 年末，Google DeepMind 牵头做了一件前所未有的事：邀请全球 20 多个机器人实验室，把各自的数据集统一格式、公开共享。
这就是 Open X-Embodiment [15]。这个数据集包含了 22 种不同机器人平台的数据——从 Google 自己的 WidowX 机械臂，到 Berkeley 的 Franka，再到各个实验室自制的奇形怪状的机器人。
这和 GPT 的故事如出一辙——OpenAI 的护城河不是模型架构，而是整个互联网的数据。Google 想在机器人领域复制这个优势：谁拥有最多样的数据，谁就拥有最好的通用模型。
2025 年，一个更大规模的数据集出现：DROID [9]。DROID 包含 76 小时的多机器人操作数据，关键区别在于——这些数据来自 多个真实场景：厨房、办公室、工厂。
NVIDIA 在 VLA 领域的角色很特殊——它既不做模型，也不做机器人硬件。但它握有一张王牌：仿真引擎。Isaac Gym、Isaac Sim 这些仿真平台，可以在 GPU 上并行运行数千个机器人模拟。
但仿真数据有一个致命问题：sim-to-real gap。
一个在仿真里训练得完美的模型，部署到真实机器人上，成功率可能从 95% 骤降到 20%。这就是著名的 sim-to-real gap。
2025 年，NVIDIA 发布了 Gr00t N1/N2 [10]——面向人形机器人的基础模型。NVIDIA 的逻辑是：你们做 VLA 模型，需要数据；我能以最低成本生成数据。所以你们绕不开我。
2024-2025 年，一个趋势越来越清晰：VLA 的终极应用形态，可能是人形机器人。
为什么？因为人类世界是为人类设计的——门把手的高度、楼梯的宽度、工具的形状，都是按照人类的体型和运动方式设计的。如果你希望机器人能在人类环境中自如工作，最自然的选择就是：把它做成人的形状。
2024 年初，Figure AI 发布了一段视频，迅速引爆社交媒体。视频中，他们的人形机器人 Figure 01 在宝马工厂里工作。Figure AI 的秘密武器是什么？OpenAI。
2024 年 3 月，Figure AI 宣布获得 OpenAI 的投资，并将使用 OpenAI 的模型为机器人提供"大脑"。这意味着 GPT-4（或其后继者）可能成为人形机器人的"理解层"——它负责理解语言、识别物体、规划任务。而 VLA 模型负责底层的动作生成。
但 Figure AI 面临的挑战也很明显：
Figure AI 的答案是先瞄准工业场景——宝马工厂。那里环境结构化、任务重复、有专业人员监督。这比直接进入家庭场景更现实。
在大西洋的另一边，挪威的 1X Technologies 也在推进人形机器人。1X 的特点是：他们从一开始就聚焦于家庭场景。
他们的机器人 NEO 设计得更轻量、更安全，目标是成为"家庭助手"——帮你收拾房间、洗衣服、做饭。
1X 的策略是和 SoftBank（软银）合作，利用软银的资金和渠道资源。但截至目前，NEO 还处于原型阶段，距离商业化还有距离。
不能忘记 Tesla。Elon Musk 旗下的 Optimus（擎天柱） 人形机器人，虽然早期更多依赖传统控制方法，但 2024-2025 年明显在向端到端学习靠拢。
Tesla 的独特优势是：它拥有全球最大的机器人数据收集基础设施。 每一辆 Tesla 汽车都是一个数据收集器。虽然汽车和机器人的任务不同，但 Tesla 在自动驾驶上积累的视觉感知、传感器融合、大规模训练的经验，都可以迁移到机器人领域。
这些人形机器人公司面临的共同困境是：VLA 模型还不够好。
这正是 VLA 和人形机器人共同面临的挑战：它们缺乏"常识"和"推理"能力。 它们能学会"看到 A 做 B"，但无法理解"为什么"和"如果……那么……"。
在 VLA 的全球竞赛中，中国研究者的身影不可忽视。其中最有代表性的是清华大学团队发布的 RDT (Robotic Transformer with Diffusion) [7]。
RDT 的核心思路是把 Transformer 的 encoder 用于理解观测和语言指令，然后用一个 条件扩散模型 作为 decoder 生成动作序列。
语言指令: "做一杯咖啡"
↓
Transformer encoder: 理解任务语义
↓
条件向量: [任务嵌入, 当前观测]
↓
扩散模型 decoder: 生成 100 步动作序列
↓
执行: 拿杯子 → 放咖啡粉 → 加水 → 搅拌 → …除了清华，国内还有多个团队在 VLA 相关方向发力：
国内的优势在于：丰富的应用场景（制造业、物流、电商）和快速迭代的工程能力。劣势在于：高质量机器人操作数据的积累仍然不足，核心零部件（高精度减速器、力矩传感器）仍依赖进口。
目前大多数 VLA 模型使用的是 2D 图像。但物理世界是 3D 的。
代表性工作：SpatialVLA（2025）、Point-Act（2025）——引入 3D 点云作为视觉输入，让模型理解物体的空间位置。
目前大多数 VLA 模型只依赖视觉和语言。但人类操作物体时，触觉至关重要。
代表性工作：π0 已经支持触觉输入；TacIL（2024）用触觉信号进行模仿学习；GelSight 系列高分辨率触觉传感器。
当 VLA 模型开始部署到真实世界，安全问题变得紧迫。
代表性工作：SafeVLA（2025）引入安全约束层；Confidence-guided VLA 模型同时输出动作和置信度。
到目前为止，我们讲的所有模型——RT-1、RT-2、π0、OpenVLA——都有一个共同的局限：它们是"反应式"的。 看到当前画面，直接输出动作。就像一个人闭着眼睛凭感觉走路——有时候行，但经常撞墙。
人类不是这样工作的。在你伸手拿一杯满水之前，你会先在脑海中"模拟"：如果我快速伸手，水可能会洒出来；如果我慢慢来，就没问题。这种"脑补"能力，让你能在行动之前就预见后果。
这就是 世界模型（World Model） 的核心思想。而当世界模型和 VLA 结合，就诞生了 WAM（World Action Model）——不仅能看、能说、能做，还能想象。
世界模型的历史比 VLA 更早。2018 年，Danijar Hafner 等人提出了 Dreamer [23]——一个在"梦境"中训练的强化学习智能体。
Dreamer 的思路很优雅：先用数据学习一个世界模型（"如果我做动作 A，状态会从 S₁ 变成 S₂"），然后在这个学到的世界模型里训练策略——就像在梦里练习一样。这样就不需要在真实世界中反复试错（那太慢了）。
真实世界交互 → 学习世界模型（"如果...那么..."）
↓
在"梦境"中训练策略（想象练习）
↓
部署到真实世界
Dreamer 系列（DreamerV2、DreamerV3）在游戏控制和机器人任务上取得了出色的成绩。但它们有一个局限：世界模型是在特定任务上学习的。Dreamer 学会了在 Atari 游戏里预测下一步，但让它预测真实厨房里的物理变化，就无能为力了。
2023 年，一个更惊人的工作出现了。IRIS（Imagination with auto-Regressive transformer for Image Synthesis）[24] 用一个 Transformer 自回归地生成未来的视觉帧。给它一张当前画面的截图，它能"画出"接下来几帧会是什么样子——就像一个画家在画未来。
2024 年，Google DeepMind 发布了 Genie [25]——一个从互联网视频中学习出的"通用世界模型"。
Genie 的训练数据来自 YouTube 上的游戏视频。它学到了三件事：
结果是：你可以给 Genie 一张截图，然后"玩"它——按左，画面里的角色就往左走；按跳，角色就跳起来。虽然画面是模糊的、生成的，但物理规律基本正确。
Genie 的意义在于：它证明了世界模型可以从纯视频中学习，不需要显式的物理引擎。 互联网上的视频，就是世界的"训练数据"。
2025 年，DIAMOND（DIffusion As a Model Of eNtion Dreams）[26] 把扩散模型引入了世界模型。
之前的世界模型（IRIS、Genie）用的是自回归方式——一帧一帧地预测未来。但这种方式有一个问题：误差会累积。第一帧预测偏了一点，第二帧就更偏，到第十帧已经完全面目全非。
DIAMOND 用扩散模型来生成未来帧，好处是生成质量更高、更稳定。它能在 Atari 游戏上达到超越人类水平的表现——不是因为它"反应快"，而是因为它"想得远"。
上面这些世界模型大多在游戏领域验证。但机器人面对的不是像素世界，而是物理世界。2024 年，Google DeepMind 发布了 UniSim [27]——专门为机器人操作设计的通用模拟器。
UniSim 的目标是：给定当前场景和一个动作序列，预测整个操作过程的视频。不是预测一帧，而是预测一整段。
UniSim 还可以用来做数据增强：在真实数据不够的情况下，用世界模型"生成"更多训练数据。这就像给 VLA 模型一个"梦境训练场"——在想象中练习几千次，再部署到真实世界。
当世界模型和 VLA 真正融合，就形成了 WAM（World Action Model）。它的推理流程是这样的：
观测 + 语言指令
↓
世界模型：如果我执行动作 A，世界会变成什么样？
↓ 预测多个可能的未来
评估：哪个未来最接近目标？
↓
选择最优动作（或动作序列）
↓
执行
和纯 VLA 的区别在于：VLA 是"看到就做"，WAM 是"想了再做"。
这就像下棋。VLA 是一个凭直觉下棋的人——看到棋盘就落子，反应很快，但容易被套路。WAM 是一个会"脑内推演"的棋手——先想"如果我走这步，对手会怎么应"，想清楚再落子。虽然慢一点，但更可靠。
目前，WAM 还处于早期阶段。大多数工作还是把世界模型和 VLA 分开训练，然后拼接在一起。真正的端到端 WAM——一个模型同时学会"理解世界"和"预测世界"——还是一个开放的研究方向。
但趋势已经清晰：VLM → VLA → WAM，从"看"到"做"到"想"。 机器正在一步步接近人类行动者的核心能力——不是反应速度，而是预见能力。
截至 2026 年中，VLA 领域的格局大致如下：
第一梯队：
第二梯队：
新兴力量：各国人形机器人创业公司（Figure AI、1X Technologies、智元、银河通用等）
1. 泛化的天花板在哪？
2. 长 horizon 任务的可靠性
3. 安全性：语言模型说错话，最多被截图嘲笑。机器人模型做错动作，可能打碎东西、甚至伤人。
4. 实时性：π0 需要多步去噪才能生成动作，推理延迟可能在百毫秒级。而精细操作需要毫秒级的反应速度。
5. 数据效率：人类小孩看几次就能学会一个新动作。VLA 模型需要成千上万次演示。
6. 常识与推理：VLA 模型缺乏"常识"——它不知道水是湿的、火是烫的、玻璃会碎。如何把常识注入 VLA，是一个开放问题。
让我们用三个隐喻，串起这个故事。
VLM 是被封印在瓶子里的天才。 它读过整个互联网，知道所有的答案，但永远无法触碰世界。它能说出"把红色杯子递给我"，却永远无法伸出那只手。
VLA 是那个打开瓶盖的人。 天才终于伸出手，开始触碰这个世界。它还没有完全成功——有时候会打翻杯子，有时候抓不到东西，有时候做出危险的动作。但至少，它在学习。
WAM 是那个开始思考的人。 天才不再盲目伸手。它会在行动之前想象后果——"如果我这样做，会发生什么？" 它学会了预见，学会了规划，学会了在脑海中模拟未来。
从"看"到"做"到"想"。从 VLM 到 VLA 到 WAM。这不是三项独立的技术，而是一场关于机器智能的连续进化。
而这场实验的参与者——Google 的野心、π 的反叛、学术界的民主化、中国的快速追赶、人形机器人创业公司的豪赌——每一个人都在试图回答同一个问题：
当机器终于学会看、学会做、学会想，它离真正的智能还有多远？
没有人知道答案。但所有人都相信，答案正在越来越近。
[1] Brohan, A., et al. "RT-1: Robotics Transformer for Real-World Control at Scale." RSS 2023. arXiv:2212.06204
[2] Driess, D., et al. "PaLM-E: An Embodied Multimodal Language Model." ICML 2023. arXiv:2302.13101
[3] Team, R., et al. "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control." CoRL 2023. arXiv:2307.15818
[4] Team, O., et al. "Octo: An Open-Source Generalist Robot Policy." RSS 2024. arXiv:2405.12213
[5] Kim, M. J., et al. "OpenVLA: An Open-Source Vision-Language-Action Model." arXiv 2024. arXiv:2406.09246
[6] Black, K., et al. "π0: A Vision-Language-Action Flow Model for General Robot Control." Physical Intelligence, 2024. arXiv:2410.24164
[7] Liu, S., et al. "Robotic Transformer with Diffusion: A Survey." arXiv 2024. arXiv:2403.15190
[8] Team, S., et al. "SimplerEnv: A Simulated Evaluation Benchmark for Real-World Robot Manipulation." arXiv 2024. arXiv:2408.03911
[9] DROID: "A Large-Scale In-The-Wild Robot Manipulation Dataset." arXiv 2025. arXiv:2407.11788
[10] NVIDIA. "Gr00t N1/N2: Foundation Models for Humanoid Robots." NVIDIA Technical Report, 2025.
[11] CogACT: "A Cognitive Architecture for Vision-Language-Action Models." arXiv 2025.
[12] Radford, A., et al. "Learning Transferable Visual Models From Natural Language Supervision." ICML 2021. arXiv:2103.00020
[13] Caron, M., et al. "Emerging Properties in Self-Supervised Vision Transformers." ICCV 2021. arXiv:2104.14294
[14] Zhai, X., et al. "Sigmoid Loss for Language Image Pre-Training." ICCV 2023. arXiv:2203.15557
[15] Open X-Embodiment Collaboration. "Open X-Embodiment: Robotic Learning Datasets and RT-X Models." ICRA 2024. arXiv:2310.08864
[16] Mees, O., et al. "CALVIN: A Benchmark for Language-Conditioned Robot Learning." RAL 2022. arXiv:2110.07455
[17] James, S., et al. "RLBench: The Robot Learning Benchmark & Learning Environment." RAL 2020. arXiv:1909.12271
[18] Chi, C., et al. "Diffusion Policy: Visuomotor Policy Learning via Action Diffusion." RSS 2023. arXiv:2303.04137
[19] Zhao, T. Z., et al. "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ACT)." RSS 2023. arXiv:2304.13705
[20] Alayrac, J.-B., et al. "Flamingo: a Visual Language Model for Few-Shot Learning." NeurIPS 2022. arXiv:2204.14198
[21] Liu, H., et al. "Visual Instruction Tuning." NeurIPS 2023. arXiv:2304.08485
[22] Bai, J., et al. "Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond." arXiv 2023. arXiv:2308.12966
[23] Hafner, D., et al. "Dream to Control: Learning Behaviors by Latent Imagination." ICLR 2020. arXiv:1912.01603
[24] Alonso, E., et al. "Transformers are Sample-Efficient World Models." ICLR 2024. arXiv:2209.00588
[25] Bruce, J., et al. "Genie: Generative Interactive Environments." ICML 2024. arXiv:2402.15391
[26] Alonso, E., et al. "DIAMOND: Diffusion As a Model Of eNtion Dreams." arXiv 2024. arXiv:2405.12399
[27] Yang, M., et al. "UniSim: A Universal Interactive Simulator for Robot Learning." arXiv 2024. arXiv:2406.12715
本文档基于截至 2025 年的公开文献整理。VLA 领域发展迅速，建议定期更新。
部分机构关系和人员流动信息基于公开报道，如有不准确之处欢迎指正。