真正缺的不是更多指令数据，而是机器人自己的身体经验
真正缺的不是更多指令数据，而是机器人自己的身体经验
一句话概括：这篇论文把 VLA 的数据瓶颈从“缺少带语言标注的专家示范”重新拆成两个问题：机器人先要学会“怎么动”，再学会“按哪句话去做”。作者提出的 TAP 先用无语言、无任务标签的交互轨迹做逆动力学预训练，再用少量专家示范做语言对齐；在 SIMPLER 上，TAP-20k 的 Avg-All 达到 33.32%，比同架构 Standard BC 的 23.15% 高约 10 个百分点；在真实 WidowX 上，面对背景纹理和视角扰动时，TAP 保留 15% 到 25% 成功率，而 NORA 和从零 BC 在视角变化下都跌到 0%。
这篇论文最有价值的地方，不是又提出一个新的 VLA 架构，而是把具身智能里一个默认绑定的东西拆开了：物理能力和语义任务不是同一种监督信号。
今天主流 VLA 训练通常依赖三元组：观察、语言指令、专家动作。问题是，这三者里最贵的是“人类专家按任务遥操作并标注语言”。Open X-Embodiment、BridgeData、DROID 这类数据集已经把行业推向了百万级专家轨迹，但论文指出，这种路线本质上把机器人当成被动记录器：人告诉它做什么，人替它操作，它只负责吸收轨迹。
TAP 的答案是不用。语言只负责“what to do”，身体交互可以负责“how to move”。如果这个拆分成立，那么大量原本被丢掉的数据都会变成资产：和目标任务无关的 Bridge 轨迹、没有语言标签的机器人随机玩耍、甚至没有人类意图的推拉碰撞，都可以用来学习物理先验。
方法：先把未来画面当成目标，再把语言接上去
TAP 是一个两阶段框架。
第一阶段是 Task-Agnostic Pretraining。模型不看语言，而是看两个观测帧：当前画面和未来画面，然后预测中间发生了什么动作。这个目标叫逆动力学。它逼迫模型关注画面中真正变化的东西：末端执行器怎么动，物体有没有位移，接触发生在哪里；同时压低静态背景、纹理和光照的权重。
这点是论文的关键。普通视觉预训练容易学到“画面长什么样”，但机器人控制需要的是“世界会怎样被我的动作改变”。逆动力学把学习对象从外观相似性转到因果变化上。它不需要语言标签，因为问题不是“你想完成什么任务”，而是“从 A 画面到 B 画面，身体大概率做了什么”。
第二阶段是 Task-Specific Alignment。模型把条件信号从未来观测换成语言指令，用少量专家示范做标准行为克隆。作者的解释是：第一阶段已经把视觉上下文映射到动作空间，第二阶段只需要学习语言语义如何落到这些已形成的物理能力上。换句话说，语言不是从零教机器人运动，而是在已有运动先验中选择一条路径。
实现上，论文使用 Qwen2.5-VL 3B、SigLIP 视觉编码器和 2 层 MLP 动作头，输出 7 维末端执行器 delta-pose。相对动作表示让模型学习局部运动关系，而不是记住全局工作台坐标。
数据：所谓“无用轨迹”，其实是低成本物理课
论文把 task-agnostic data 分成两类。
第一类是现有数据集里和目标任务无关的轨迹。比如目标任务是“把胡萝卜放到盘子上”，那“开抽屉”“擦桌子”在传统任务监督里会被视为无关数据。但从物理角度看，这些轨迹仍然包含抓取、接触、碰撞、末端控制等信息。TAP 的主张是：语义无关不等于物理无用。
第二类是真实机器人自主随机玩耍。作者没有简单让机器人乱动，而是设计了安全且接触丰富的数据采集流程：先由操作员无任务遥操作覆盖可达工作空间，过滤不安全和越界姿态，再用 voxel grid downsampling 构造均匀的安全姿态库；随后随机采样 waypoint，加入最小距离约束、强制下降的接触启发式、余弦插值和边界感知高斯噪声。为了避免末端一直在空中漂，轨迹如果长时间高于阈值，就会被几何调整到向桌面下降。
附录里还有一个容易被忽略但很实际的细节：原始轨迹可按 25Hz 采集，但训练时下采样到 5Hz。因为太高频时相邻帧视觉变化太小，逆动力学目标会被传感噪声主导；5Hz 能让画面变化和动作因果关系更可见，模型学到的是“接近、抓取、抬起”这类动作原语，而不是微小抖动。
结果一：在仿真里，TAP 主要补的是低层物理短板
SIMPLER 实验包含四个任务：Spoon on cloth、Carrot on plate、Stack Blocks、Eggplant in Basket。作者把指标拆成 Partial 和 Entire。Partial 更接近抓取、接触、对齐等低层物理能力；Entire 则要求完成完整任务，包括放置和语义目标。
这个拆法很重要，因为它能验证 TAP 到底学到了什么。
结果显示，Standard BC 的 Avg-All 是 23.15%，TAP-8k 是 24.47%，TAP-14k 是 30.21%，TAP-20k 到 33.32%。同架构、同样 Stage 2 专家数据下，TAP-20k 比 Standard BC 高约 10 个百分点。更关键的是，TAP-20k 的 Avg-Partial 达到 45.82%，接近 Octo 的 42.30%，也明显高于 Standard BC 的 31.79%。
这说明增益不是单纯来自“更会听指令”，而是来自更稳定的物理执行。论文里的定性案例也支持这个解释：在“把胡萝卜放盘子上”任务中，Standard BC 能移动到胡萝卜附近，却卡在最后精细抓取；TAP 能完成抓取和放置。也就是说，当有限专家数据不足以教会精细接触时，无任务预训练补上了这段身体经验。
它并未全面击败所有大模型：表中有大规模模型 Avg-All 达到 40.08%，高于 TAP-20k。但 TAP 的论点不是“更大模型无用”，而是用少得多的标注专家数据，单靠无语言物理预训练，就能逼近部分百万级预训练模型在低层动作上的表现。
结果二：真实世界里，随机玩耍带来更强抗扰动
真实实验用 WidowX 250s，任务是把胡萝卜放到盘子上、把南瓜往左推。每个任务只给 200 条专家轨迹；TAP 额外使用 30 小时自主随机玩耍数据，对比从零训练的 Standard BC 和基于大规模 OXE 预训练的 NORA。
标准设置下，NORA 仍然更强：胡萝卜任务 65%，南瓜推动 85%；TAP 分别是 40% 和 75%。这符合直觉，大规模专家数据在干净分布内确实有效。
真正有意思的是分布外条件。加入视觉干扰物后，推动任务里从零 BC 从 55% 掉到 5%，NORA 从 85% 掉到 60%，TAP 还能保持 65%。换背景纹理时，胡萝卜任务从零 BC 是 0%，NORA 10%，TAP 25%；推动任务从零 BC 0%，NORA 55%，TAP 65%。视角变化最极端：两个任务上从零 BC 和 NORA 都是 0%，TAP 仍有 15% 和 25%。
这组数据支撑了论文的第三个主张：互联网规模或跨具身专家预训练，不必然等于当前机器人、当前工作台、当前相机下的物理稳健性。自主玩耍虽然没有语义，但它来自同一台机器人、同一类执行器、同一工作空间，因此更容易学到本地几何和接触规律。
论文的定性案例也很清楚：在未见过的背景纹理下，NORA 会朝语义正确的方向推，却误判南瓜位置，推到空处；TAP 能把可操作物体从背景中分离出来并产生接触。这个差异不是“懂不懂 left”，而是“看不看得准真正可被推动的物体”。
消融：TAP 不是加速学习，而是抬高上限
论文的消融部分有一个很值得记住的结论：TAP 并没有显著加快 Stage 2 对语义任务的早期学习速度。曲线显示，预训练模型和 baseline 初始学习速率相近，真正区别出现在后期：baseline 很快在 23% 左右平台化，而预训练模型继续超过 30%。
这意味着 TAP 的作用不是让模型更快背下任务，而是改变有限专家数据下的性能天花板。没有身体先验时，行为克隆会被少量示范牵到狭窄轨迹附近；有了逆动力学预训练，模型能利用更广泛的物理表示。
数据规模实验也支持这个判断。Stage 1 只有 20k step 时，即使延长 Stage 2，整体性能也会在约 18% 附近停滞；Stage 1 扩到 100k step 后，成功率能超过 30%。换句话说，任务专家数据不是唯一瓶颈，物理预训练规模本身设置了下游可达上限。
Grad-CAM 注意力图给了机制证据。Stage 1 没有语言输入时，注意力已经集中在夹爪和附近物体，而不是桌面纹理或背景；Stage 2 加入语言后，注意力进一步聚焦到执行相关区域。这个现象说明逆动力学确实让模型形成了一种“可操作性地图”：先知道哪里会因为动作而变化，再用语言筛选当前任务要用的那部分变化。
真正的启示：VLA scaling 不应只买专家标注
这篇论文挑战的是一个行业惯性：把 VLA 进步几乎等同于更大的专家示范数据集。作者不是否认专家数据，而是重新分配它的职责。专家数据应该主要教“任务语义如何映射到动作选择”，不应该承担全部身体物理学习成本。
如果这个方向成立，机器人学习的数据经济学会发生变化。过去最稀缺的是人类遥操作时间，所以所有数据都围绕“有任务、有语言、有成功轨迹”组织；TAP 表明，机器人空闲时间也可以变成训练资源。让机器人在安全边界内持续自我探索，可能比等待更多专家示范更可扩展。
它也给 VLA 评估提出了更细的要求。只看整体成功率容易混淆两类失败：一种是语义错了，另一种是身体不会动。TAP 的贡献主要在后一类。论文错误分析里也承认，真实失败中约 25% 是执行和动力学失败，约 75% 是语义和推理失败；后者包括对干扰物执行了流畅但错误的抓取，或长程任务中冻结、循环。这说明 TAP 补了身体层，但没有解决单一反应式 VLA 的长期语义推理瓶颈。
局限：这不是通用具身智能的终点
这篇论文的证据很强，但边界也清楚。
第一，真实实验任务只有两个，且都在 WidowX 平台上。推动和抓取能覆盖一部分接触动力学，但还不能证明复杂长程、多工具、多物体组合任务也能同样受益。
第二，Stage 1 的随机玩耍不是完全零人工。安全姿态库需要操作员先覆盖工作空间，真实采集还需要周期性重置物体。它比专家任务示范便宜很多，但不是“无人值守无限数据”。
第三，TAP 主要增强本体物理和局部交互。论文自己的错误分析显示，剩余失败更多来自语义选择、视觉干扰下的目标绑定和长程推理。后续系统仍可能需要更强的规划、记忆和显式状态估计。
但这些局限不削弱论文的核心贡献。它把 VLA 的数据问题从“继续堆百万专家轨迹”推进到一个更可扩展的问题：哪些能力必须由人类任务示范教，哪些能力可以由机器人自己在世界里学？
最该带走的结论是：
具身智能的瓶颈不只是语言没有对齐动作，而是动作还没有先被身体经验充分塑形。机器人要先学会移动世界，才更容易学会按人的话改变世界。
论文：Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu, Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs, arXiv:2607.02466v1, 2026-07-02。