点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：CVer

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

V2X-Radar: A Multi-modal Dataset with 4D Radar for Cooperative Perception

论文：https://arxiv.org/pdf/2411.10962

代码：https://github.com/yanglei18/V2X-Radar

数据集链接: 

https://huggingface.co/datasets/yanglei18/V2X-Radar

10月26日，研究人员更新最终版论文，目前该论文已中稿NeurIPS 2025 Spotlight, 同时开源了全部数据以及基线模型代码.我们对论文进行了详细解读。这些更新进一步验证了V2X-Radar数据集在4D Radar多模态融合和多样化场景方面的优势，助力突破车路协同感知边界。

1. 研究背景

环境感知是自动驾驶系统的核心环节之一。然而，当前主流的单车智能方案由于存在视角盲区与探测距离受限等问题，仍面临显著的安全隐患。这一瓶颈的根源在于：单一车载传感器的观测范围有限，难以全面获取全局环境信息，从而影响车辆路径规划的可靠性。相比之下，车路协同技术通过融合多视角、多源感知数据，为突破单车智能的安全边界提供了新的解决思路。已有研究表明，该技术能够显著拓展感知范围，有效消除视觉盲区，提升整体环境感知的完整性与鲁棒性。          
然而，目前主流的协同感知数据集（如 OpenV2V、V2X-Sim、DAIR-V2X）仍存在明显不足：仅涵盖 Camera 与 LiDAR 传感器，忽视了 4D Radar 在复杂气象环境下的独特优势。尽管 K-Radar、Dual-Radar 等单车数据集已验证 4D Radar 在雨雾等恶劣天气中的优异表现，但在协同感知领域，多模态数据集中普遍缺乏 4D Radar，这一空白已成为制约协同感知技术进一步发展的关键因素。

2. 数据集亮点

Ø多模态融合：车端平台与路侧单元均配备激光雷达（LiDAR）、4D 毫米波雷达（4D Radar）和多视角相机（Multi-view Cameras），LiDAR可输出稠密点云数据，精确还原物体的几何形状、位置和轮廓，支持厘米级测距。4D Radar输出相对稀疏的点云数据，由于毫米波信号（77GHz/79GHz）穿透能力强，因而对雨、雪、雾极端气象条件具备较强鲁棒性。Multi-view Cameras输出高分辨率图像，提供丰富的上下文语义信息。

Ø多样化场景：数据采集涵盖多种气候条件（晴朗、降雨、雾霭、雪天）及不同时间段（白昼、黄昏、夜晚）的场景，特别聚焦于对单车自动驾驶构成严峻考验的复杂交叉路口场景。这些场景中存在的视线遮挡和盲区问题，为协同感知研究提供了宝贵的长尾场景数据。

Ø多任务支持：数据集进一步细分为三个数据子集，其中V2X-Radar-C支持协同感知任务，V2X-Radar-I支持路侧感知任务，V2X-Radar-V支持车端感知任务。

综上，V2X-Radar数据集与现有协同感知数据集的优势对比情况如表1所示。

3. 数据采集平台

数据采集系统由车端平台（图2(a)）与路侧单元（图2(b)）组成，均配备激光雷达（LiDAR）、4D 毫米波雷达（4D Radar）和多视角相机（Multi-view Cameras）。系统通过GPS/IMU实现厘米级定位，辅助车路初始点云配准，并集成C-V2X通信单元支持实时数据交互，具体参数见表2。

4. 传感器时空同步

Ø时间同步：为实现车端平台与路侧单元上的不同传感器在相同的时间基准，车端平台与路侧单元均接收来自GPS 卫星的GNSS 信号，并将其时钟设置为统一的GNSS 信号时钟，并基于时间同步盒对各传感器统一授时，实现原理如图8所示。

Ø空间同步：通过传感器标定过程，我们实现了摄像头、LiDAR和4D雷达的空间同步。其中，摄像头的内参通过棋盘格图案进行标定；LiDAR 相对于摄像头的外参标定则通过提取点云与对应图像中的100对特征点来完成。通过最小化这些2D–3D点对应关系的重投影误差（reprojection error），获得精确的外参结果. LiDAR与4D雷达之间的标定采用了角反射器上的 100 对高强度点，以确保配准精度（标定效果如图3）。此外，车载端LiDAR与路侧端LiDAR的对齐通过点云配准实现，初始配准由RTK定位信息计算得到，随后使用 CBM 算法以及人工微调进行精细优化。（同步效果如图4)

5. 数据集采集与标注

Ø数据采集：我们的数据采集历时九个月，涵盖了大学校园、公共道路和封闭测试园区等多样化环境，确保在晴天、雨天、雾天和雪天等多种天气条件，以及白天、黄昏和夜间等不同时间段下实现全面覆盖（见图9）。总体而言，我们共采集了约 15 小时的行驶数据，包含约54万帧样本，覆盖了大量具有挑战性的路口场景（见图10）. 在此基础上，我们人工筛选了40段具有代表性的数据序列，构建了V2X-Radar-C子集，每段持续时间为 10–25 秒，采样频率为 10 Hz。此外，我们进一步从中抽取了10段仅含车载端数据的序列构成 V2X-Radar-V，以及10段仅含路侧端数据的序列构成V2X-Radar-I。与 V2X-Radar-C 中的单视角配置相比，V2X-Radar-V 和 V2X-Radar-I 涵盖了更广泛的场景类型。总体上，这三个子集共包含约 20K 帧 LiDAR数据、40K幅图像数据以及20K份4D雷达数据。 

Ø数据标注：通过人工筛选，从中提取出40个典型协同感知序列构成V2X-Radar-C子数据集，并进一步扩展形成两个子数据集；通过补充10个单一车端视角序列构建V2X-Radar-V车端感知数据子集，以及新增10个单一路侧视角序列组成V2X-Radar-I路侧感知数据子集。标注数据总计包含20,000帧LiDAR点云、40,000帧高清图像以及20,000帧4D Radar点云数据。数据集对五类交通参与者——轿车、卡车、公交车、骑行者及行人——进行了精确的三维边界框标注，累计标注数量达到350,000个， 

6. 任务定义

（1）单端3D目标检测任务

指利用单一平台（路侧单元或车载设备）的传感器数据完成3D物体识别。

单端3D目标检测面临两大核心挑战：

Ø单模态编码：需分别实现相机图像的三维几何映射、LiDAR点云的高效特征提取、4D雷达（含速度信息）的稀疏数据表征，确保各模态独立感知精度。

Ø多模态融合：需解决跨模态时空对齐（坐标系/时序同步）、动态场景下的数据错位补偿，以及传感器异常时的鲁棒性保障，实现稳定融合检测。

该任务包含两种典型视角场景：

Ø路侧视角检测：基于V2X-Radar-I数据集，通过部署在道路基础设施的雷达等传感器实现环境目标检测； 

Ø车载视角检测：基于V2X-Radar-V数据集，利用车辆自身搭载的传感器完成周围物体的三维感知。

在V2X-Radar-I / V2X-Radar-V单端感知子数据集上，基于不同的模态数据，现有相关感知方法的性能表现情况如表3 / 表4所示。基于表中数据分析可知：基于LiDAR的方法取得了最高性能；尽管基于4D Radar的方法处理的是相对稀疏的点云数据，但仍优于基于Camera的方法；基于Camera的方法受限于无法利用深度信息，其效果不如基于LiDAR和4D Radar的方法。

（2）车路协同3D目标检测任务

指融合车载与路侧传感器的数据，以自车为核心进行三维环境感知，从而突破单视角的遮挡限制并增强远距离检测能力。车路协同3D目标检测任务存在以下技术挑战：

Ø空间异步挑战：车端平台实时定位误差导致其与路侧单元间的动态空间同步存在误差。当进行跨平台多源传感器数据空间对齐时，这种系统级坐标偏差会引发针对同一被观测物体，来自不同平台传感器的点云数据存在显著的空间错位现象，进而影响协同感知算法的性能表现。

Ø时序异步挑战：在有限通信带宽限制下，车路平台之间的数据传输过程会引发网络延迟，造成实际参与融合的车端平台与路侧单元数据不处于同一时刻，即无法避免的时间异步。在动态场景下，这种时间异步会使得运动目标的点云轨迹在时空投影时产生鬼影效应，导致目标形态重构失真，进而影响协同感知算法的性能表现。

在V2X-Radar-C数据集上，基于不同的模态数据，现有相关感知方法的性能表现情况如表5所示。基于表中数据分析可知：

Ø协同感知优于单车感知：在不同模块传感器数据作为输入条件下，协同感知模型相比单车感知基线性能显著提升，验证了车路协同感知对单车感知增强的有效性。

Ø通信延迟对协同感知影响显著：固定异步时延条件下（100ms延迟），主流方法（F-Cooper、CoAlign、HEAL）在0.7 IoU阈值时性能下降13.30%~20.49%，凸显降低通信延迟对协同鲁棒性的关键作用。 

(3)LiDAR与4D Radar融合在恶劣天气下的互补感知

我们在车端数据子集中筛选包含雨、雾和雪等恶劣天气场景数据进行了消融实验，对比了仅使用LiDAR、仅使用4D Radar以及LiDAR与4D Radar融合的三种模型。结果如下：

Ø在正常天气条件下，4D Radar模型的整体性能略低于仅使用LiDAR的模型；但在恶劣天气条件下，4D Radar模型的平均精度（mAP）比LiDAR模型高约 1–2 个百分点，展现出其在环境退化情况下的出色适应能力。

ØLiDAR与4D Radar 融合模型在所有对比中均取得了最高精度，说明两种传感器具有显著的互补优势：LiDAR提供精确的空间几何结构信息，而4D Radar在恶劣天气下则展现出更强的感知鲁棒性。

7. 结论

在本研究中，我们提出了 V2X-Radar ——首个基于 4D 雷达（4D Radar） 的大规模真实场景多模态车路协同感知数据集。该数据集聚焦于复杂的十字路口场景，并涵盖不同时间与多种天气条件下的采集数据。除数据集与基准测试外，我们的研究还为学术界揭示了两个重要发现：(i) 在异步通信环境下存在显著的性能退化，这一结果暴露出现有协同感知方法在通信时延鲁棒性方面的关键弱点；(ii) 4D Radar 的独特优势 ——在恶劣天气条件下依然保持可靠感知，可有效补充基于 LiDAR 和摄像头的方法. 通过发布 V2X-Radar，我们不仅填补了协同感知研究中 4D Radar 领域的空白，还为研究上述挑战与验证潜在解决方案提供了统一平台。我们希望该数据集与基准能够激发更多关于时延容忍的协同感知模型与鲁棒的跨模态融合策略的后续研究。

8. 局限性与未来工作：

我们目前的数据集主要聚焦于 3D 目标检测任务，为研究多种感知模态与多样场景下的车路协同感知提供了基础。然而，该数据集在时间维度覆盖和任务多样性方面仍存在一定局限，目前尚未包含序列化或预测类感知任务。未来，我们计划将 V2X-Radar 数据集扩展为更全面的协同感知基准。具体而言，我们将引入 多目标跟踪（Multi-Object Tracking） 和 轨迹预测（Trajectory Prediction） 任务，以刻画场景的时间动态并支持时空推理。同时，我们将构建一个 占用预测（Occupancy Prediction） 任务，将其形式化为体素级的语义分割问题，区分动态与静态类别。这些扩展旨在实现更丰富的场景理解能力，并推动 V2X-Radar 发展成为一个基于世界模型（World Model)的完整感知基准，为未来的协同智能体感知研究提供坚实平台。

本文仅做学术分享，如有侵权，请联系删文。

• 3D视觉1V1论文辅导

3D视觉硬件，官网：www.3dcver.com

3D视觉学习圈子

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

3D视觉全栈学习课程：www.3dcver.com

3D视觉交流群成立啦，微信：cv3d001

添加微信：cv3d001，备注：方向+单位，邀你入3D视觉交流群！