在机器人领域，研发通用且具备强泛化能力的操作策略是核心目标，而丰富多样的训练数据是达成这一目标的关键要素。不过，当前机器人数据集存在诸多问题，一方面缺乏统一的收集标准，另一方面在任务、场景以及机器人类型多样性方面，高质量数据严重不足。

针对上述难题，研究团队以松灵CobotMagic双臂机器人作为重要实验载体，借助人类遥操作的方式来收集数据。整个过程遵循统一的数据收集标准和协议，参与构建了 RoboMIND多场景数据集。该数据集包含107k条演示轨迹，涉及479项任务和96种物体类别。

核心方法

（一）数据收集方式

采用类似Mobile ALOHA系统的双边遥操作设备进行数据收集。通过辅助机械臂控制主机械臂的结构，捕捉自然的人类运动模式并将其映射到机器人上，从而获取运动轨迹等数据，这些数据包括多视图RGB-D数据、机器人本体感知状态信息等。

（二）RoboMIND数据分析

数据集概述。（a）按不同类型机器人分类的总轨迹数，（b）按不同类型机器人分类的平均轨迹长度（帧），（c）不同任务类别的轨迹比率（Artic. M.：铰接操作；Coord. M.：协调操作；Basic M.：基本操作；Obj. Int.：多物体交互；Precision M.：精确操作；Scene U.：场景理解），以及（d）不同场景的轨迹比率。

实验配置

（一）机械臂与执行器

双臂机器人：AgileX Cobot Magic V2.0，配备夹爪，使用其内置摄像头。

单臂机器人：

• Franka Research 3，配备夹爪，使用位于顶部、左侧和右侧视点的摄像头。

• UR5e，配备夹爪，使用外部顶部摄像头。

人形机器人：Tien Kung 人形机器人，双手配备灵巧手，使用其内置摄像头。

其他环境配置

在真实世界场景中设置了多种任务所需的物体和场景，如厨房中的碗、胡萝卜等，同时在Nvidia Isaac Sim模拟器中构建了与真实世界对应的数字孪生环境，用于数据补充和评估。

以上所涉及的单臂和双臂机器人，在BFT一站式机器人采购平台均可购买，还提供配套的自动化方案，如果感兴趣，欢迎随时联系。

实验设计与验证（松灵CobotMagic实验部分）

实验任务选择

选取了15项松灵cobotMagic双臂机器人执行的任务，包括包装碗、拿取玉米等。这些任务涵盖了从简单的抓取放置到复杂的双臂协同操作等多种类型，以此全面评估模型在不同任务上的表现。

评估模型与方法

单任务模仿学习模型：使用 ACT、Diffusion Policy 和 BAKU 三种算法，从 scratch 训练单任务模型，在真实环境中部署后，通过任务成功率评估性能，每个模型测试十次。

在真实和模拟环境中测试的 ACT 和扩散策略的成功率。

VLA大型模型：对OpenVLA、RDT-1B 和 CrossFormer模型在RoboMIND数据集上进行微调，评估其在多任务场景下的泛化能力和任务成功率，同样进行十次测试。

使用RoboMIND在微调设置下VLA模型的成功率。彩色框代表本文所有表格中的首次最佳性能

验证方式：除了在真实环境中评估，还利用数字孪生环境进行实验，对比真实与模拟数据的训练效果，验证数据集的有效性和模拟器的可靠性

关键成果与突破

数据贡献：松灵CobotMagic 双臂机器人为 RoboMIND 数据集贡献了 10,269 条运动轨迹，其涉及的双臂协同任务增加了数据集的多样性和复杂性，支持机器人协调技能和长周期任务的训练。

模型性能提升

• 在单任务模仿学习中，ACT算法在松灵 CobotMagic 双臂机器人的 15 项任务中平均成功率达到 55.3%，展现出在复杂灵巧操作任务中的稳健性能，体现了数据集的高质量。

• 在VLA大型模型实验中，经RoboMIND微调的RDT-1B 模型在松灵CobotMagic双臂机器人的任务中表现出色，如AX-PutPepper 任务成功率达9/10，AX-AppleYellowPlate任务成功率达10/10，显示出强大的泛化能力和操作能力。

技术突破：通过标准化的数据收集和处理，松灵CobotMagic双臂机器人相关数据与其他机器人数据形成统一的数据集，为跨形态机器人策略学习提供了可能，且数据集包含的失败案例和细粒度注释，有助于机器人进行失败反思和任务规划等方面的研究。

该成果解决了现有数据集在双臂机器人操作数据方面的不足，为机器人在多场景下的操作策略学习提供了高质量、标准化的数据支持，助力提升机器人在复杂任务中的泛化能力和操作成功率。

结语

松灵CobotMagic双臂机器人在RoboMIND多场景数据集的构建中发挥了重要作用，其通过标准化的遥操作数据收集方式，为数据集提供了丰富的双臂操作数据。该数据集不仅推动了单任务模仿学习和VLA大型模型在双臂机器人操作任务上的性能提升，也为机器人通用操作策略的研究奠定了坚实的数据基础。