COUNTERFACTUAL DATA / ERRORS / RECOVERY

让机器人见过意外，也学会恢复。

我们构建反事实纠错数据集，让模型有机会学习：任务原本怎样成功，突发错误怎样改变执行，以及从错误状态出发怎样继续完成任务。

为什么做这个项目

错误与突发情况是机器人执行中无法回避的一部分。抓偏、意外松爪、导航偏航，以及长任务中累积的小偏差，都会让实际状态偏离计划。仅有顺利完成的示范，无法提供足够的“出错以后怎么办”的例子。我们希望模型在训练中见过这些情况，并见过识别偏差、调整动作和重新规划的过程。

① 正常成功

不注入这次扰动，保存任务原本成功完成的轨迹。

② 错误对照

注入扰动后继续原来剩余的动作，观察不根据状态调整会产生什么结果。

③ 纠错恢复

从经过校验的同一个首次扰动后状态出发，根据当前状态调整动作，验证能否恢复成功。

这就是本项目的反事实构造：在受控仿真中比较同一任务的替代执行过程。用户可以改变扰动的插入位置、类型、幅度、时长与次数，研究导航、操作和长程任务中的纠错能力；失败恢复同样保留。

项目目标是为模型的错误识别与恢复学习提供数据。合格纠错必须满足：成功源、有效偏差、错误对照失败、恢复成功。已有轨迹不等于已证明模型训练收益；对未见错误的泛化和真实机器人迁移仍需单独验证。查看配对协议 →

采集成功示范、故意制造执行错误，再验证机器人能否从当前状态恢复。MetaWorld 全部 50 类任务、ManiSkill 的 7 类任务已有合格纠错样本；RoboTwin 已有双臂堆叠与放杯子纠错案例。RoboCasa 已跑通移动、抓取、搬运和放置，并验证三种扰动恢复；AI2-THOR 已有导航案例，MimicGen 已完成 Lift 原生扩增验证。查看逐任务覆盖表与超过 100 个真实动图；未验证任务和失败记录同样保留。

校准实验前的轨迹盘点快照

保存轨迹（文件副本去重）1,322不含本轮校准新增数据；含旧实验、调试及失败

公开实验合格纠错组248340 次尝试，989 条保存轨迹；调度可能共享源场景

RoboTwin 保存轨迹12050 类成功源视频，以及另列的纠错对照视频

逐环境数量、去重定义、实验清单与复算脚本 →

RoboCasa · 走过去，抓起来，搬运并放入水槽

原生 PickPlaceCounterToSink，PandaOmron 移动底盘与机械臂联动。同一初始场景下，错误转向、机械臂偏移、持物张爪三类干预均产生对照失败与恢复成功。限定 layout/style=1、apple、seed=1100；不是全场景成功率。

打开移动操作三种扰动的视频与复现代码 →

RoboTwin · 50 个任务的可播放视频

双臂交接、三层堆叠、工具使用与日常物体操作。支持任务搜索和按录制帧数排序；成功源示范与纠错实验分别标注。

打开 RoboTwin 视频库 → · 逐 benchmark 查看扰动类型、参数和恢复方式 →

逐任务覆盖与真实案例库

逐项查看成功源轨迹、有效扰动和纠错成功是否已有实测证据；全部 50 类 MetaWorld 任务的真实恢复动图也直接展示在 GitHub README。

打开任务覆盖与真实案例库 →

New: configurable multi-error recovery

Choose intervention timing, type, strength, duration and repetition. MetaWorld: all 50 task classes now have verified correction samples across separate experiments. First sweep: 69/100 qualified pairs across 48 classes; tool-task follow-up: 18/40, covering the remaining two. Six-goal AI2-THOR navigation with three interventions: 3/3.

Open interactive configuration, launch examples and videos

从同一条成功轨迹，产生可核验的纠错数据

MetaWorld 推物与抓取放置各 50 个原生任务实例，共 100 组有效纠错对。下面三个视频对应此前试采样的同一个 seed=220 抓取放置源示范；回放状态误差均为 0。

正常轨迹 · 成功

错误注入后沿原动作 · 失败

从相同错误状态闭环恢复 · 成功

前缀通过真实动作重执行；恢复过程不 reset、不瞬移。错误与恢复动作均计入总预算。三分支视频按查看帧率播放，不代表物理时间。

数据协议与适用边界 ↗

RoboCasa · 厨房导航中的错误与恢复

原生 NavigateKitchen，layout/style=1，seed 220–222：成功源轨迹 3/3，扰动后原动作成功 0/3，恢复成功 3/3。每条最多 500 个动作，包含 20 步错误转向。以下 seed=220 三分支均经独立动作回放，状态误差为 0；每 5 步渲染一帧，视频不代表物理时间。

导航到冰箱 · 成功