Robot Learning —— 本讲是最后一场客座讲座：主讲人是哥伦比亚大学计算机科学系助理教授李昀烛（Yunzhu Li），他主持哥大的机器人感知、交互与学习实验室（Robotic Perception, Interaction, and Learning Lab），2023 年曾在斯坦福跟随李飞飞（Fei-Fei Li）与吴佳俊（Jiajun Wu）做博士后期间执教 CS231N。整讲的主线是：当神经网络从"看图"走向"动手"，问题的性质发生了什么变化？老师从一个统一的框架出发——机器人学习的四要素（目标、状态、动作、奖励）；随后讲机器人感知与计算机视觉的三个本质差异（具身的、主动的、情境化的）；再沿算法演进依次展开：强化学习的试错与四大难点、仿真与 Sim2Real、模型学习与基于模型的规划（从像素动力学到粒子动力学，再到一台会包饺子的机器人）、模仿学习（行为克隆的误差累积、逆强化学习、扩散策略），最后落到当下最热的机器人基础模型（RT-1 到 \(\pi_0\) 的 VLA 浪潮），以及整个领域共同的痛处——评测之困与基础世界模型的展望。
本讲的主讲人李昀烛（Yunzhu Li）是哥伦比亚大学计算机科学系助理教授，主持机器人感知、交互与学习实验室；他与本课程渊源颇深——2023 年在斯坦福做博士后（导师李飞飞、吴佳俊）期间曾站上 CS231N 的讲台，是又一位"曾经讲过这门课"的客座讲者。他的研究正处在机器人、计算机视觉与机器学习的交叉点上，核心目标是显著扩展机器人的感知与物理交互能力——这恰好也是本讲的主题。
老师先用两页幻灯片把大家已经学过的东西归位。第一是监督学习（supervised learning）：有数据 x 和标签 y，学习从输入 x 到输出 y 的映射，分类、回归、目标检测都是例子。第二是自监督学习（self-supervised learning）：没有标签，只有海量数据，靠设计辅助损失（比如自编码器 autoencoder 的重构目标）去识别数据中隐藏的结构。
而机器人学习的特殊性在于：机器人必须与物理世界发生真实的交互。它不再只是"输入→输出"的映射，也不是只求某种隐表示——无论机器人采取什么动作，世界都会随之改变，并回传新的观测与奖励，告诉智能体环境变成了什么样、任务完成得好不好。因此机器人学习的目标是：在环境反馈的闭环中，产出一串使奖励最大化（或代价最小化）的动作序列。近年这个方向迎来大爆发：Physical Intelligence、Tesla Bot、Figure 等创业公司和大公司纷纷发布叠衣服、拨弄咖啡豆之类的炫技视频，学术界与工业界都投入了巨量资金与人才，试图造出能与物理环境进行通用、高性能交互的通用机器人（general purpose robot）。本讲的任务，就是拆解这波热潮背后的关键技术：问题形式化、机器人感知、强化学习、模型学习与基于模型的规划、模仿学习、机器人基础模型，以及仍然横亘在前面的挑战。
机器人学习的标准图景是：中间是智能体（agent），它拿到一个任务目标——可以是人类的语言指令，也可以是衡量任务完成度的目标函数；智能体从物理世界（环境）接收状态 \(s_t\)，据此决定一个动作 \(a_t\)并在物理世界中执行；世界随之更新到 \(s_{t+1}\)，同时给智能体一个奖励 \(r_t\)。老师反复强调，遇到任何机器人学习问题都要把这四件事想清楚：目标、状态、动作、奖励。
由此他给出了本讲最重要的一句话级对比：计算机视觉主要是在学"输入的表示"，而机器人学习是在解一个优化问题——约束是物理世界，目标函数由任务定义，你要通过求解动作序列来最优化这个目标函数。这是两者根本性的差异。
老师用一连串例子展示这个框架的普适性：
问答：奖励需要设计得多具体？老师坦承奖励设计有很多细微处。同是自动驾驶，奖励可以是"尽可能快"，也可以是"让乘客一路舒适"；同是叠衣服，有人想要总面积最小，有人想要表面平整无褶皱。课堂上只用了最泛化的二值定义（人看着觉得"叠好了没有"），但落到具体应用，奖励规格必须针对需求精心打磨——这本身就是一个有大量细节的话题。
机器人感知（robot perception）要解决的问题是：从物理世界给来的高维数据——RGB/RGBD 图像、触觉、深度等——中蒸馏出结构化知识，供下游决策使用。难点在于真实世界非常杂乱：观测只能包含物体与环境的不完整知识（有遮挡 occlusion）；传感器有误差；不完美的动作会导致失败——机器人去抓一个物体可能失手掉落，造成环境的意外改变。环境还是动态的：不仅有刚体，还有衣服、绳子、颗粒介质这类可变形物体（deformable objects）；环境中可能同时有狗、小孩、其他人在"捣乱"。感知系统必须能应对所有这些变化。
正因如此，机器人领域通常不只用相机，而是把能提供有用信息的一切传感器都堆上去：触觉、音频、深度……并设计系统让它们互补协作——触觉告诉你抓取是否稳定这类物理细节，相机告诉你环境的整体态势。多传感器的组合与协同，是真实世界机器人系统能否可靠工作的关键。
除了模态数量，更本质的差异在于理解动作的效果与环境可供性（affordance）。左边是计算机视觉的经典任务实例分割（instance segmentation）：给定一张 2D 图像，在像素上勾出各个实例的轮廓。右边是机器人领域的问题：桌上有个东西，看起来是一整件、也可能是好几件叠在一起——机器人必须知道采取什么动作能让自己更好地感知环境：伸过去"拨一下"（perturb）、主动与环境交互，才能弄清它到底是一件还是多件。由此，机器人视觉具有三个属性：
感知要和任务共同设计。有时机器人并不需要知道环境的完整状态——老师举了自己扣纽扣的例子：扣衬衫扣子时，只需要感知那颗扣子附近的局部区域就足够了。所以机器人的感知往往要与任务、与下游决策系统紧耦合、共同设计，把计算聚焦在与任务相关的区域上，从而形成紧凑的感知-动作闭环（perception-action loop）。这是"机器人视觉"区别于"通用计算机视觉"的工程哲学：不是看得越全越好，而是看任务需要看的东西。
强化学习（reinforcement learning, RL）的思路直白而暴力：让机器人尽可能大量、尽可能广泛地与环境交互，收集全部经验数据，反复试错——这个动作带来高奖励、那个动作带来低奖励——再把智能体的行为"扳"到高奖励的动作上去。框架仍是那张图：环境给状态 \(s_t\)，智能体产出动作 \(a_t\)，环境回传奖励 \(r_t\) 与新状态 \(s_{t+1}\)，在时间轴上形成序列决策。老师专门把 RL 与监督学习并排比较，指出四大差异：
经典算法分两大家族：Q 学习（Q-learning）与策略迭代（policy iteration）。\(Q\) 函数的直觉很清晰——它衡量"在状态 \(s\) 下执行动作 \(a\)，未来能拿到的折扣期望累积奖励"：
通过与游戏环境的交互学出 \(Q\) 函数后，决策就简单了：枚举四个离散动作（上下左右），比较各自的 \(Q\) 值，执行 \(Q\) 值最高的那个。具体实现上（同学提问后老师展开）：状态是游戏屏幕的原始像素，把连续 4 帧堆叠作为输入；Q 函数用神经网络实例化——若是图像输入，最自然的选择就是大家熟悉的卷积网络：若干卷积层（提取视觉特征）接全连接层，输出端为每个离散动作各给出一个 \(Q\) 值估计。当前主流的无模型 RL 算法包括 SAC（Soft Actor-Critic）与 PPO（Proximal Policy Optimization），网上有大量开源实现与教程，感兴趣的同学可以深挖。
Google DeepMind 的 Atari Breakout 打砖块，是 RL 学习过程的教科书式展示。训练 10 分钟：智能体能碰到球了，但还是经常漏接；训练 2 小时：挡板控制已经非常可靠、几乎每次都能接住球，靠不断回弹持续拿分；训练 4 小时：有意思的事情发生了——智能体自己发明了一个新策略：把球反复打到砖墙左端"凿"出一条隧道，让球钻到砖墙上方，从顶部高效地"扫荡"整排砖块。这正是 RL 的迷人之处：允许智能体充分、全面地探索和交互，它完全可能发现连最强人类玩家都不知道的策略。
最典型的例子就是围棋。2016 年 1 月 AlphaGo 发布时，老师正处在选择研究方向的关口——此前他做的是深度学习计算机视觉，看到 AlphaGo 后他认定"我必须做这种决策问题"，从此走上强化学习、模仿学习直到机器人学习的道路：他不满足于只在被动收集的数据集上工作，而想要能与环境主动交互的智能体。此后演进一路加速：AlphaGo Zero 去掉了用模仿学习做初始化的环节（更简化的版本），击败了当时的世界第一柯洁；AlphaZero 把同一套算法推广到国际象棋、将棋；MuZero 更进一步，不再做纯无模型 RL，而是学一个潜空间的动力学模型并在其上规划，性能更强。2019 年 11 月，被 AlphaGo 击败过的李世石宣布退役——他意识到当时人类棋手已不可能战胜最强的 AI。此后星际争霸（StarCraft）、Dota 2 等比围棋复杂得多的游戏也被攻克。
苦涩教训（Bitter Lesson，Rich Sutton）。这段演进给 AI 社区的教训是：有时要找与规模化（scaling）最兼容的最简配方——把方法做简单，反而因为更容易配合大规模计算基础设施而获得更好性能。老师的总结是：只要游戏设计合理，投入足够资源，就极有可能得到非常强大的游戏智能体。
不只是在游戏里，RL 已经直接工作在物理世界中。左边是 ETH Zurich 发表于 Science Robotics 2020 的工作——老师坦言这篇论文改变了他对"RL 对真实机器人有多大用处"的看法：以前 RL 的成功大多在游戏里（游戏可以无限开副本），真实世界则始终有 Sim2Real 差距的阴影。但这篇工作表明：仿真里并没有模拟灌木丛和积雪，可仿真中训练的 RL 策略照样能在雪地、极滑表面上给出非常鲁棒的表现——有时候 Sim2Real 差距可能没那么要紧。右边是宇树（Unitree）发布的最新视频：另一层次的灵巧运动能力，非常疯狂的动态行为，穿越崎岖地形。老师的判断是：在机器人运动控制这个领域，问题已接近被解决，而解决方案正是强化学习。
操作（manipulation）方面：2019 年 OpenAI 还做机器人时，用仿真训练加 Sim2Real 迁移让机械手玩魔方。但老师提醒一个 caveat：虽然视频很精美，成功率其实非常低——细看论文会发现他们只测试了很少的尝试次数，可靠性并不令人满意。此后这条灵巧操作线不断延伸（不同物体的重定向到不同目标位形），但至今这些成功仍然局限在孤立的环境设定里——离"在家帮你叠衣服、洗衣服"还很远。
总结无模型（model-free）RL 的瓶颈：其一，依赖大量试错交互。AlphaGo Zero 在 40 天里学完了人类 3000 年的围棋知识，这很惊人，但它仍然需要相当于许多年的计算量才能学出来；一旦某个领域 Sim2Real 差距大、只能直接在真实世界里学习，样本效率就是巨大瓶颈。其二，安全：真实机器人上跑 RL，学习过程中那些"奇怪的中间行为"会导致灾难性失败（老师展示了一个用 RL 学直立行走的仿真人形机器人的学习全程：最终能走，但过程中的行为放到真机上必然摔得粉碎）。其三，可解释性差，出问题时很难纠正。这引出了下一个话题：人类并不是纯靠试错学习的。
人类对环境有直觉性的理解：我们能想象"如果做这个动作，环境会怎么变"。正是这种预测能力让人类能规划行为去达成目标——而它也是从我们与物理世界的日常交互经验中学来的。如何让机器人也具备"想象动作后果"的能力？这之前，先补上仿真这一课。
常用的仿真是 NVIDIA 的 Isaac Gym / Isaac Sim：本质是刚体仿真，地面只是多边形表示——它不模拟灌木、不模拟积雪。人们的做法是对仿真环境做大量域随机化（domain randomization）：随机化摩擦、几何以及各种物理参数，然后假设——真实世界不过是你随机出来的分布中的一个数据点。只要策略在这个分布内足够鲁棒，就能泛化到真实环境。至少从 locomotion 的经验证据看，这个假设成立，策略在真机上工作得非常可靠。
Sim2Real 差距什么时候要紧、什么时候不要紧？老师用具体数字举例：仿真里推箱子转了 10 度、真实里转了 12 度——问题不大；但真实里抓取成功了、仿真里物体却因为数值问题"飞走"了，或者物体从指间滑走——这就是实质性问题。locomotion 领域"仿真不必完美、随机化够多就能鲁棒泛化"的经验，尚未成功迁移到 manipulation 领域：仿真需要多精确、差距到底多要紧，仍是待解的研究问题。
那命令是谁下的？（问答）现有演示中往往有一个人在给机器人发高层指令（往哪个方向走、原地转还是继续前进），机器人再据此决定低层动作——通常是每个关节上的力矩。有同学追问"机器人能否自己规划得比人更好"，老师给了更细的视角：很多视频之所以好看，是因为人类操作员在选择路线——面对乱石堆，人先命令机器人直接爬，失败了再换个指令绕过去；人也在学习机器人的能力边界，专挑能展示低层控制器极限的路线。如何让这一步自主化，正是活跃的研究问题。
回到那张反复出现的回路图：我们要学的是真实物理世界的近似——一个在虚拟域里运行的"世界模型"，用它来指导机器人在物理世界里的动作。假设已经有了模型（像人类的"心理环境模型"一样），给定当前状态 \(s_t\) 与动作 \(a_t\)，就能预测环境将如何演化为 \(s_{t+1}\)：
而规划（planning）恰是这个正向模型的逆问题：给定当前状态和目标状态，求出能让机器人抵达目标的动作序列。做法是：对动作序列先给一个初始猜测；用学到的模型滚动预测状态的演化（绿色轨迹）；度量预测与目标（红色点）之间的距离；对这个距离关于整条轨迹上的所有动作做反传/梯度优化，不断更新动作序列使其更接近目标。由于模型不够准，通常只执行第一个动作，从环境拿到真实新状态后再重新优化（模型预测控制式的滚动重规划）。借助 GPU 并行采样与神经动力学模型，如今可以对动作序列做大规模并行采样与优化，效率相当高。
核心问题一直是：什么才是环境正确的状态表示 \(s\)？多年来的探索形成了一条清晰的谱系。
这条线的后续工作（老师也参与、同样完成于斯坦福）造了一台包饺子机器人：给机器人配备了 15 种不同的 3D 打印工具、4 台 RGBD 相机对环境做几何重建；机器人要决定用什么工具、做什么动作，把一团面变成一只饺子。核心使能技术仍是粒子表示的正向预测模型：红点表示工具形状、蓝点表示面团形状。展示中第一行是模型的开环预测，第二行是真实发生的情况——两者高度吻合：这个直接从真实交互中学到的模型，能准确预测用不同工具、施加不同动作时面团形状的变化。
视频里最有趣的是有个人一直在捣乱：不断往里加面团、折叠面团，机器人利用实时视觉反馈感知面团当前形状，结合学到的动力学模型做逆决策，稳稳地继续任务；机器人切好一个圆皮后，人类"毫不留情"地毁掉一切，机器人则判断出必须跳回链条中更早的阶段从头再来。决策分两层：任务层用分类器选工具（2023 年做这个工作时视觉-语言模型还不够强，是用人类遥操作采集的 10 次任务演示训练出来的分类器，还支持在任务链上来回跳转做恢复）；动作层决定具体动作。低层策略的获取是采样式轨迹优化 + 策略蒸馏的结合：测试时在线采样太慢，于是在模型上离线大规模采样（同时采动作、采工具，比较预测与目标的距离），得到一个数据集，再训一个推理飞快的神经网络策略。
值得一提：这个系统完全没有用物理仿真。团队做了对照——用最先进的可变形物体物理仿真器 MPM（Material Point Method，物质点法），即便做了非常充分的系统辨识（估计物理参数），辨识出的模型仍明显不如直接从真实交互中学的模型准。术语上，这套做法可以叫"模型学习 + 基于模型的规划"，也有人称之基于模型的强化学习（model-based RL）——取决于你的出身，但关键思想是：从物理交互中学模型，再用模型高效地决定行为。
做个小结：强化学习直接靠试错学策略，样本效率低、有安全顾虑；模型学习则退回了监督学习的怀抱——拿环境演化数据训练模型再规划。那能不能对策略本身也做监督学习？这就是模仿学习（imitation learning）：收集一个演示"任务该怎么做"的大数据集（人类给机器人做示范），训练策略 \(\pi_\theta(o) \to a\)。从演示中学习并不新——已经研究了几十年，而且正是人类从很小年纪起学习大量物理交互与社会活动的方式。
最经典最简单的算法是行为克隆（behavior cloning, BC）：学一个从观测 \(o\) 到动作 \(a\) 的映射，策略由 \(\pi_\theta\) 参数化，用演示数据做监督回归即可。但 BC 有一个致命问题——级联误差（cascading errors）。因为机器人学习是序列决策问题，与典型的视觉监督学习不同，误差会随时间累积并被放大。
级联误差是怎么滚雪球的？机制上：一开始只犯了一个很小的错误→这个小错误把机器人带到一个略微偏离训练数据分布的状态→在没见过的状态上，策略会犯更大的错误→进一步偏离分布→……误差沿时间轴被放大，最终轨迹与演示轨迹差之千里。用一个具体数字感受一下：假设策略每一步只有 5% 的概率输出一个"质量合格"之外的动作，且每偏离分布一步，出错概率翻倍——那么连续执行 20 步不出错的概率约为 \(0.95 \times 0.9 \times 0.81 \times \cdots\)，指数衰减，几步之内任务就崩了；而真实操作任务动辄上百步。这就是为什么"单步监督学习看起来很好"与"整条轨迹跑得通"之间隔着巨大的鸿沟——它也正是后面"训练损失与真机成功率弱相关"这一评测难题的根源。
因此实践中的典型生命周期是：专家演示 → 监督训练策略 → 部署到真实环境 → 观察失败案例 → 补充数据或提供"纠错行为"（corrective behaviors）→ 重新训练——让数据集不仅包含最初的完美演示，也包含那些把策略从错误状态拉回正轨、继续完成任务的行为。要让模仿学习策略对真实世界的变化足够鲁棒，这种迭代式数据收集必须到位。
纠错数据与 DAgger。老师描述的"部署→失败→补纠错示范"循环，正是经典的 DAgger（Dataset Aggregation，Ross 等 2011）思想：让当前策略去跑，把途中访问到的状态拿给专家标注"正确动作"，从而不断把训练分布拉向策略实际到访的状态。理论上 DAgger 可把误差从随时间平方增长（纯 BC）压到线性甚至常数级。后续的 Noisy DAgger 进一步让机器人自己探测"何时不确定、该喊人"，把人工标注量再降一个量级——今天所有 VLA 的"后训练 + 任务数据再收集"流程，本质上仍是这个循环的规模化版本。
模仿学习还有一个天然的困惑：演示里没有对任务的显式定义——任务隐含在演示之中。于是有一类算法叫逆强化学习（inverse reinforcement learning, IRL）：右边（IRL）从演示中归纳出奖励函数，再拿着这个奖励去做普通的强化学习。最早的成功案例恰恰出自斯坦福——Pieter Abbeel 与 Andrew Ng 的直升机特技飞行：让真实直升机做出非常疯狂的机动动作。这是一项很老的工作，但在当年能在真实物理直升机上实现如此敏捷有效的行为，令人惊叹——这正是"从演示学习、从演示总结奖励"的力量，也是它与 RL 结合后能达到的高度。
近年来模仿学习算法越来越强，一个重要的推动力来自生成模型的进展。第一波是基于能量模型的隐式行为克隆（implicit behavior cloning）：不学左图那样"观测→动作"的显式映射，而是学一个能量/打分函数——输入观测与动作、输出分数，推理时用能量模型优化的方式解出动作 \(a\)。这能让机器人处理多模态的演示（同一情境有多种合理做法）以及优化景观不平滑的场景，完成内容丰富的操作任务。
第二波就是 扩散策略（Diffusion Policy）：把深度学习社区更强的扩散模型（diffusion model）用作策略的函数类，让智能体继承扩散模型的多模态建模能力。这项工作最初在哥伦比亚大学完成——老师如今所在地，其负责人（PI）现已加入斯坦福（老师笑言他选的很多工作都有斯坦福渊源）。扩散策略展示了非常多样的能力：不只是平面推物、抓取放置（pick and place），还能在面包上涂黄油、做炒蛋、给土豆削皮、拨动书本这类精细操作。它证明了这套"采一批演示 + 最好的策略学习机制"的配方在真实世界的惊人效率：早上采数据，中午训练，下午就有一个能在真实物理世界上跑的策略。当然 caveat 不少——可靠性、泛化性、对初始构形多样性的鲁棒性都还有疑问——但模仿学习仍是当今让机器人做出有趣行为的最快途径。
扩散策略之后：动作生成模型家族。把生成模型当策略函数类的思路迅速开枝散叶：扩散策略之后出现了以 Transformer 直接自回归生成动作块的 ACT（Action Chunking with Transformers，ALOHA 系统的策略，"动作分块"缓解误差累积并提升平滑度）、流匹配（flow matching）式的 \(\pi_0\)（下节主角），以及把视觉"流"匹配到动作流的各类变体。共同动机都指向老师强调的两点：演示是多模态的（L1 回归会平均出"夹在中间"的坏动作）与轨迹要平滑连续。此外，ALOHA/UMI 等低成本遥操作硬件的普及，让"早上采数据、下午出策略"从宣传语变成了许多实验室的日常。
最近驱动整个机器人学习狂热的是机器人基础模型（robotic foundation models）。在函数类上它与 RL/模仿学习的策略一样：不学环境的显式模型、不学显式状态表示，就是一个从观测（与目标）映射到动作的策略。那它特殊在哪？老师给出的定义借自视觉-语言模型的发展：它的输出不必每次都完美，但只要给出任务提示，它总能生成合理的东西。类比到机器人上：合成的动作未必是当前观测与任务条件下的最优动作，但轨迹总体上永远是"漂亮且合理"的——"漂亮"指不该有抖动（jiggling），要平滑连续；"合理"指要听从给机器人的语言指令。这类模型有很多名字：VLA（Vision-Language-Action，视觉-语言-动作模型）、大型行为模型（large behavior models）……本质都一样：吃进观测与语言指令（或任意任务说明），生成能在广泛场景中泛化的动作。
这个领域很"吵"（noisy）。老师特别提醒：叫"基础模型"就意味着你期望它广泛泛化，而这需要显著证据来支撑——量化机器人基础模型的进展因此非常困难（后文"评测之困"）。但从经验视频看，过去两年确实能看到很多具体进展。
这条线的早期探索从 RT-1（2022 年 12 月发布）开始；此后大约每半年就有一个新模型：RT-2、RT-X、OpenVLA，以及近期的 \(\pi_0\)（Pi-Zero，2024 年 10 月首发）。而今年（2025）更是一波爆发：Figure 的 Helix、Hi-Robot、Google DeepMind 的 Gemini Robotics、Physical Intelligence 的 \(\pi_{0.5}\) 等——无论资本还是人才都在涌向更泛化的机器人基础模型。\(\pi_0\) 是让老师信服"这类模型能在真实环境做可靠灵巧操作"的工作：叠布料、折纸盒等不同任务都能以可靠方式完成。以其为例看框架：
评估也按三档进行：（1）直接用基座模型——对预训练中见过的、简单的分布内任务，基座就够用；（2）分布内较复杂任务——后训练让基座进一步提升；（3）没见过的任务——通常必须采任务数据做后训练才有像样的性能。\(\pi_0\) 已经开源，可以直接下载 checkpoint——老师实验室的学生已经开始拿来做后训练，初步结果相当不错，鼓励大家上手玩。
问：为什么现有策略比人慢？主要原因出在数据采集方式：演示数据多是人类在同一台机器人上遥操作（teleoperation）采的，而遥操作本身就比人直接用手慢——哪怕练了很多小时。因为你在用一个陌生的本体（不像自己的手那么熟），机械臂又离你有一段距离、有遮挡，你得凑近、换视角才能判断"该不该进入下一任务阶段"。所以直接在这些数据上训出的策略自然慢于人类速度；如何把数据采集做到人类速度，是很活跃的研究方向。
问：折纸盒这种长程任务，单个巨型策略够吗？折盒本身已经是长程（long-horizon）任务，单个策略能做到这个程度让老师非常惊艳。但如果要在更大规模、"野外"（in the wild）的场景里有用——家里既要叠衣服、又要整理床铺、还要收拾地板——他个人不相信一个巨型策略能包打天下：需要更高层的抽象、某种场景图（scene graph）或符号表示作为 VLA 的条件，才能把策略导入不同任务、扩展到更大环境与更复杂任务。
问：泛化能力从哪来？因为从一个预训练 VLM 起步，语义层面的泛化"免费"获得——基座模型就能表现出人意料好的语义泛化；再用机器人数据微调，把泛化从语义层延伸到动作层。
2025–2026 年的 VLA 格局。本讲提到的新一波模型各有侧重：\(\pi_{0.5}\) 把"视觉-语言-动作 + 高层推理"统一进一个模型，通过互联网级 VLM 知识与多本体、多任务数据追求更强的开放世界泛化；Gemini Robotics 把 Gemini 多模态模型与机器人动作模型组合成"大脑 + 小脑"双层；Helix 演示了双机器人协作整理房间的长程任务。开源侧，除了 \(\pi_0\) checkpoint 与 OpenVLA，还有 Hugging Face 的 SmolVLA、清华系的 GR-2、NVIDIA 的 GR00T N1（人形机器人基础模型）等，"VLA + 后训练"正在成为机器人版的"LLM + SFT/RLHF"标准流水线。数据侧则出现了 LeRobot 这样的社区数据集与工具链生态。可以说，本讲描述的"每半年一个新模型"的节奏至今未变。
整个社区公认的最大挑战是评测（evaluation）。目前的评测主要在真实世界进行：图是 Google Robotics 的机房——一排排用于数据收集与评测的遥操作 ALOHA 系统。真实世界评测又贵又嘈杂：Google 同行对老师的原话是——"我们在评测上的预算大到足以让我们仍然能取得进展"。换个说法：你去评和他去评，结果可能完全不同——初始构形怎么摆、光照怎么变、乃至某个因素的摩擦参数，都会极大影响下游策略的表现；而且一次评测要等两天结果才回来。
为什么训练损失和真机成功率相关性很弱？这是策略学习与监督学习的又一根本差异：监督学习里，训练损失直接衡量模型好坏；而模仿学习的训练损失只衡量单步预测的好坏——单步损失很低，也往往不能预示策略在长任务视野（horizon）上的表现（联系第 7.1 节的级联误差：每步 1% 的偏差，滚到上百步就足以毁掉整条轨迹）。训练目标与任务指标不一致、训练视野与测试视野不一致，共同解释了为什么很难找到哪怕近似的离线指标，大家只能依赖真实世界评测。
那能不能在仿真里评测？有大量投入：斯坦福这里的 BEHAVIOR 基准、Meta 的 Habitat 3.0 等，都在构建大规模仿真环境来度量机器人策略。但问题依旧：其一是 Sim2Real 差距——刚体、可变形物体、衣物的仿真要准确到什么程度才能与真实世界性能良好相关？其二是资产（assets）——大规模生成多样化资产是巨大的痛点；其三是如何数字化真实世界、如何程序化生成（procedural generation）既逼真又多样的内容。大家真正想要的是"具身智能的 ImageNet"：ImageNet 之所以成功，是因为那几年里它上面的任何进展就等价于深度学习与计算机视觉的进展；我们也需要一个平台，让基准上的进展等于机器人学习的进展。
最后的展望：人们在采集大规模动作条件化的机器人交互数据来训练基础策略，但这些数据中蕴含着大量动力学知识——只拿来学策略，"未免太浪费了"。所以另一个方向是：用同样的数据训练基础世界模型（foundation world model），并研究两者如何相互作用。设计上有许多有意思的取舍：要不要 3D？要不要结构性先验？学习与物理各占多少？如何与真实物理世界对齐？这些开放问题正是当下前沿。
老师以一张愿景图收尾：真正构建能在我们身边无结构环境中广泛工作、良好泛化的机器人基础模型，就是这个领域想要抵达的未来。下一讲：以人为中心的人工智能（human-centered AI）。
世界模型的最新进展。老师在"要不要 3D、要多少物理"上的设问，正是 2024–2026 年世界模型研究的主战场：DeepMind 的 Genie 系列从互联网视频学出"可交互的潜在世界"（Genie 3 已能生成长时程、动作可控的 3D 一致世界）；NVIDIA 的 Cosmos 把"视频生成 + 物理对齐"定位为机器人的世界基础模型；LeCun 主张的 JEPA 路线（V-JEPA 2）则在联合嵌入空间中预测而非逐像素生成，主张"抽象表示 + 能量模型"更接近规划所需的世界模型。机器人侧，\(\pi_0\) 团队与学界都在探索"世界模型为策略提供想象空间、策略为世界模型提供探索数据"的闭环——这与第六讲（本讲第 6 节）Deep Visual Foresight 开创的路线一脉相承，只是燃料从几百条自采轨迹换成了互联网级数据。