• 作者：Xiangyu Wang${}^1$, Donglin Yang${}^1$, Yue Liao${}^{2,3}$, Wenhao Zheng${}^1$, Bin Dai${}^4$, Wenjun Wu${}^{1,4}$, Hongsheng Li${}^3$, Si Liu${}^1$
• 单位：${}^1$北京航空航天大学人工智能研究院，${}^2$新加坡国立大学，${}^3$MMLab，${}^4$北京航空航天大学杭州国际创新研究院
• 论文标题：UAV-FlowColosseo: A Real-World Benchmark for Flying-on-a-Word UAV Imitation Learning
• 论文链接：https://arxiv.org/pdf/2505.15725
• 项目主页：https://prince687028.github.io/UAV-Flow/

主要贡献

• 提出“Flying-on-a-Word（Flow）”任务：首次将语言引导的无人机（UAV）控制问题形式化为短距离、反应式飞行行为的精细轨迹控制任务，填补了现有研究中对无人机低层次语言交互控制研究的空白。
• 构建UAV-Flow基准：创建了首个真实世界的数据集，包含30k真实世界飞行轨迹，覆盖多种运动类型和环境条件。同时，还提供了一个可部署的控制框架和用于系统评估的仿真套件，支持无需仿真到现实（sim-to-real）迁移的直接部署。
• 提出地面-无人机协作部署框架：为解决在无人机上直接部署大模型的计算限制问题，提出了一种地面-无人机协作策略，通过在地面站进行推理并实时反馈控制指令，实现了大模型在真实无人机上的部署。
• 开发闭环仿真评估指标：设计了用于评估模型在Flow任务上性能的闭环仿真测试环境和评估指标，包括成功率（SR）和NDTW，为系统地比较不同模型提供了工具。
• 提供数据、代码和真实飞行演示：为了促进研究的可重复性和进一步发展，公开了数据、代码和真实世界的飞行演示。

研究背景

• 无人机的发展：
  • 无人机作为一种流行的低空飞行平台，已经从需要专业技能操作转变为易于上手的技术，并且随着大规模AI模型的发展，人们开始探索通过语言交互来更直观地控制无人机。

• 现有研究的局限性：
  • 以往的研究主要集中在将视觉语言导航（VLN）任务从地面机器人迁移到无人机上，这些研究主要关注高层次的规划和目标导向的导航，假设低层次控制（如在航点之间移动或响应简单指令）已经足够可靠；
  • 但这一假设对于无人机来说并不成立，因为无人机面临着3D飞行的复杂性，包括高自由度和动态视角。因此，语言引导的低层次控制成为实现智能无人机系统的一个关键且未被充分研究的方向。

UAV-Flow 基准

任务定义

任务目标：将语言指令（$I$）、无人机的6自由度状态（$S_t$）和第一人称视觉观察（$O_t$）映射到可执行的无人机动作序列（A={a1,a2,…,aT}A = \{a_1, a_2, \dots, a_T\}A={a1​,a2​,…,aT​}），以实现精确且动态可行的飞行动作，模拟人类飞行员的操作。具体来说，定义策略函数为：
$${\pi }_{\theta }:(S_t,O_t,I)\mapsto a_t$$
其中，$a_t$ 表示在时间 $t$ 执行的低层次控制动作。

核心能力：

1. 运动意图理解：理解并执行基本飞行行为（如起飞、平移、旋转等）。
2. 空间上下文定位：将语言中的空间引用与视觉观察相结合，生成环境感知的轨迹。

指令类型：

1. 原始运动指令（Primitive Motion Commands）：如起飞（takeoff）、平移（translation）、旋转（rotation）等，评估对基本运动指令的执行能力。
2. 对象交互指令（Object-Interactive Commands）：如靠近（approach）、环绕（orbit）、穿过（pass through）、悬停（hover）等，评估基于视觉感知的空间推理能力。

真实世界数据收集

数据收集环境：在三个大学校园环境中收集数据，总面积达5.02平方公里，包含丰富的语义元素（如行人、车辆、植被、建筑等），为多样化的飞行行为提供了丰富的视觉上下文。

数据收集方式：

1. 飞行员操作：由经验丰富的无人机飞行员手动操作，使用DJI Mavic 3T RTK等商业级平台，配备4K相机和RTK GPS模块，确保高分辨率视频和厘米级轨迹精度。
2. 指令引导：飞行员根据预定义的指令模板执行飞行任务，指令分为原始运动指令和对象交互指令。
3. 多样化执行：每个指令从多个起始位置执行，增加行为多样性。

数据同步与对齐：

1. 视频与轨迹同步：通过时间戳将飞行日志与视频帧对齐，将全球GPS坐标转换为局部笛卡尔坐标系，并计算相对方向。
2. 采样率：视频以5Hz的频率均匀采样，每个帧与对应的无人机状态配对。

语言指令标注：

1. 过滤与标注：专业标注团队对飞行视频进行审查，过滤掉模糊或不连贯的片段，并为剩余片段编写精确的语言指令。
2. 语言多样化：使用大型语言模型（LLM）生成多样化的语言指令，创建固定命令集和开放词汇命令集。

仿真数据收集

仿真数据集构建：在基于Unreal Engine的校园环境中构建仿真数据集（UAV-Flow-Sim），使用UnrealCV作为仿真环境。

数据收集方式：

1. 手动收集：人类飞行员在仿真环境中手动收集飞行轨迹。
2. 基于规则的收集：利用仿真环境中的结构化信息，通过目标位置或真实状态引导无人机执行距离约束的动作。

数据集特点：仿真数据集包含10109条轨迹，主要用于模型验证和分析，而真实世界数据用于模型训练和部署。

数据分析

数据集统计：

1. 真实世界数据集：包含30692条飞行轨迹，分为8种主要运动类型，轨迹长度大多在20米以内。
2. 仿真数据集：包含10109条轨迹，覆盖所有主要动作类型，轨迹长度分布与真实世界数据集类似。

与传统VLN数据集的对比：传统VLN任务侧重于长距离、离散动作的路径规划，而Flow任务强调短距离、精细的动态执行。

Flow Colosseo

真实世界中大模型的地面-无人机协同部署

部署挑战：由于无人机的计算能力有限，直接在无人机上部署大规模模型是不可行的。因此，提出了一种地面-无人机协作策略。

协作框架：

1. 数据传输：无人机将第一人称视角（FPV）视频和状态数据通过RTSP和MAVROS传输到地面站。
2. 推理与反馈：地面站进行推理，并通过无线链路将低层次控制动作返回给无人机。

实时控制机制：

• 连续运动模式：无人机在推理过程中继续运动，但可能导致延迟响应和控制不匹配。提出一种全局对齐的连续运动方案，通过前瞻机制预测目标点，并将预测目标点与当前无人机状态融合，生成全局姿态。
  通过过滤已通过的目标点，减少由于无人机运动延迟导致的控制不稳定性。

闭环仿真评估指标

评估环境：开发了一个闭环仿真测试环境，用于评估模型在Flow任务上的性能。

评估指标：

1. 成功率（Success Rate, SR）：基于手动检查轨迹是否语义上满足指令来确定成功率。
2. NDTW（Normalized Dynamic Time Warping, NDTW）：评估预测轨迹与参考轨迹的相似性。

实验

• 基准方法：
  • 基于最近的VLN和VLA文献中的代表性模型范式构建UAV-Flow基准，对这些模型进行结构修改和重新配置以适应Flow设置。
  • 包括Seq2Seq-UAV、CMA-UAV、Travel-UAV、OpenVLA-UAV和Pi-0-UAV等模型。
• 评估指标：在闭环仿真环境中使用成功率（SR）和NDTW两个指标来评估模型性能。

• 结果分析：
  • VLN模型（Seq2Seq-UAV和CMA-UAV）在Flow任务上表现不佳，因为它们原本是为离散动作空间的VLN任务设计的，在适应到连续姿态回归后，难以有效融合多模态输入进行准确姿态预测。
  • Travel-UAV在执行原始运动指令方面表现出较强的能力，但由于其视觉编码方式的限制，在需要精细视觉语义的任务上表现受限。
  • VLA模型（OpenVLA-UAV和Pi-0-UAV）在Flow任务上表现更好，展示了较强的视觉理解和精细控制能力。
  • 此外，使用开放词汇命令集进行训练并没有导致模型成功率的整体下降，反而增强了模型的语言泛化能力，并在某些任务上提高了性能。

• 真实世界部署：通过地面-无人机协作框架，将Pi-0-UAV模型部署到真实无人机上，并展示了其在真实世界条件下准确执行动作的能力。

结论与未来工作

• 结论：
  • UAV-Flow基准为研究如何通过模仿学习使无人机能够解释语言指令并执行精细动态动作提供了一个新的视角。
  • 通过真实世界的数据收集和仿真评估，证明了VLA模型在语言引导的无人机精细控制任务中的优越性，并展示了将这些模型部署到真实无人机上的可行性。
• 未来工作：
  • 由于实际飞行安全和环境变化的限制，目前在真实世界场景中进行系统实验和建立一致的评估指标仍具有挑战性，未来计划开发一个更安全、完全闭环的真实世界评估框架，以支持全面的性能评估。
  • 此外，当前的研究主要集中在视觉范围内的短距离运动控制，将精细的短距离执行与长距离规划结合起来，是构建真正智能的语言驱动无人机系统的关键挑战，也是未来研究的主要方向。