WeatherBench
A Real-World Benchmark Dataset for
All-in-One Adverse Weather Image Restoration

https://arxiv.org/pdf/2509.11642

https://github.com/guanqiyuan/WeatherBench

Abstract

Existing all-in-one image restoration approaches, which aim to handle multiple weather degradations within a single framework, are predominantly trained and evaluated using mixed single-weather synthetic datasets. However, these datasets often differ significantly in resolution, style, and domain characteristics, leading to substantial domain gaps that hinder the development and fair evaluation of unified models. Furthermore, the lack of a large-scale, real-world all-in-one weather restoration dataset remains a critical bottleneck in advancing this field. To address these limitations, we present a real-world all-in-one adverse weather image restoration benchmark dataset, which contains image pairs captured under various weather conditions, including rain, snow, and haze, as well as diverse outdoor scenes and illumination settings. The resulting dataset provides precisely aligned degraded and clean images, enabling supervised learning and rigorous evaluation. We conduct comprehensive experiments by benchmarking a variety of task-specific, task-general, and all-in-one restoration methods on our dataset. Our dataset offers a valuable foundation for advancing robust and practical all-in-one image restoration in real-world scenarios.

现有的一体化图像恢复方法旨在通过单一框架处理多种天气条件下的图像退化，其训练和评估主要依赖于混合多个单一天气类型的合成数据集。然而，这些数据集在分辨率、风格和领域特征上往往存在显著差异，导致较大的领域鸿沟，阻碍了一体化模型的开发和公平评估。此外，缺乏大规模、真实世界的一体化天气恢复数据集已成为推动该领域发展的关键瓶颈。为应对这些挑战，本文提出了一个真实世界的一体化恶劣天气图像恢复基准数据集。该数据集包含了在多种天气条件（包括雨、雪、雾霾）以及不同室外场景和光照环境下采集的精确对齐的退化-清晰图像对，支持监督学习和严格评估。研究通过在所提数据集上对多种任务专用、任务通用以及一体化恢复方法进行基准测试，开展了全面的实验。该数据集为推进鲁棒且实用的真实世界一体化图像恢复研究提供了宝贵的基础。数据集已公开发布。

Figure 1: Illustration of the All-in-One Weather Acquisition System (AWAS). By fixing camera settings, we sequentially sprayed and captured images for rain, snow, and haze—scheduling haze last due to its slower dissipation. Each stage involved capturing GT images, capturing LQ images, and waiting for the scene to recover. To ensure high-quality pairs, a GT matching strategy filtered out samples with moving objects.

1 Introduction

恶劣天气下的视觉感知在众多实际应用中至关重要，例如自动驾驶、智能交通和户外监控。常见的雨、雪、雾霾等天气现象会引入遮挡、散射和对比度下降等问题，显著降低图像质量，进而损害目标检测与跟踪等下游视觉任务的性能。因此，开发能够有效消除此类退化的鲁棒的一体化图像恢复技术至关重要。然而，现有的一体化方法通常在由多个单一天气合成数据集混合而成的数据上进行训练和评估，这些数据集在分辨率、成像风格和领域特征上差异显著，导致难以进行一致且公平的评估。因此，建立一个统一且真实的基准数据集，对于恶劣天气下的鲁棒多媒体应用而言，是迫切需要的。

近年来，针对恶劣天气的图像恢复研究大多作为独立的子任务展开，如图像去雾、去雨、去雪等。随着深度学习的发展，涌现出多种任务专用方法，它们通常在模拟单一天气退化的合成数据集上训练和评估。尽管在受控环境下取得了不错的效果，但这些方法在复杂真实场景中的泛化能力往往有限。为克服任务专用模型的局限性，近期研究开始探索一体化图像恢复框架，旨在通过单一网络处理多种退化类型。这类框架有潜力简化部署流程并提高实际应用效率。然而，大多数现有的一体化方法仍是通过混合多个单一天气合成数据集来开发和评估，这些数据集存在显著的领域鸿沟，不仅影响训练过程，还可能导致模型在真实世界的一体化天气场景中泛化不佳。此外，对人工合成退化的严重依赖也限制了这些方法的有效性。尽管合成数据便于进行受控实验和大规模训练，但其往往难以捕捉真实世界天气条件的复杂性和不可预测性。将真实世界数据集纳入训练可以显著提升模型在实用环境下的性能。然而，大规模、多样化且真实退化天气数据集的稀缺，持续制约着模型性能的提升和该领域的进一步发展。特别是，缺乏统一的一体化天气数据集，已成为开发和公平评估一体化模型的关键瓶颈。

为此，本文设计了一套一体化天气采集系统，专门用于采集真实世界的一体化天气退化图像对。与以往依赖合成退化或仅关注单一天气类型的数据集不同，本数据集在真实条件下采集，涵盖了雨、雪、雾霾等多种天气，以及多样化的室外场景和光照条件。每张低质量退化图像都与一张清晰的参考图像精确对齐，从而支持监督学习和定量评估。为验证数据集的实际价值，研究利用任务专用、任务通用及一体化方法进行了全面实验，评估了它们在不同天气条件下的性能。

本文的主要贡献总结如下：

• 提出了一个真实世界的一体化恶劣天气图像恢复数据集，包含雨、雪、雾霾条件，并涵盖多样场景和光照水平。

• 设计了一套一体化天气采集系统，能够统一采集不同真实天气退化下的图像，避免了混合不同单一天气合成数据集所带来的领域鸿沟。

• 利用所提出的基准数据集，对任务专用方法、任务通用方法及一体化方法进行了全面研究与评估。

2 Related Work

一体化天气图像恢复

为应对实际挑战，近期研究探索了能在统一框架下处理多种天气退化的一体化模型。一些任务通用方法，虽然并非专为恶劣天气退化设计，但在各类天气相关数据集上展现了强大的泛化能力。一体化方法采用由多个任务专用编码器和一个共享解码器构成的生成器架构，实现了多种天气条件下的统一恢复。基于Transformer的方法则采用独立的编码器-解码器结构来处理雨、雪、雾霾等退化。其他方法则尝试在两个独立阶段分别学习天气通用和天气特定的表示。近期，基于扩散模型的方法进一步拓宽了该领域的研究方向。

然而，现有的一体化天气图像恢复研究仍面临一个主要瓶颈：缺乏足够大规模且具有真实退化的基准数据集。尽管现有数据集覆盖了雨、雪、雾霾，但其规模有限且完全依赖合成退化，不足以用于模型训练。由于缺乏统一的一体化天气基准，大多数一体化模型仍需通过组合多个单一天气数据集进行训练和评估。然而，这些数据集在分辨率、采集设备和图像风格上的显著差异常常导致领域鸿沟，阻碍了一体化模型的开发和公平评估。为解决此问题，本文引入了一个真实世界的一体化天气图像恢复数据集，包含多样的天气条件、光照场景和退化强度。该数据集旨在为训练和评估一体化天气恢复模型提供一个统一的平台，推动该领域向更通用和实用的解决方案迈进。

WeatherBench Dataset

3.1. All-in-One Weather Acquisition System

为收集大规模的真实世界天气退化图像对，本研究开发了一套一体化天气采集系统。该系统利用雾霾发生器、降雨发生器和降雪发生器来模拟各种天气退化。一个便携式电站为所有组件供电，图像通过安装在三脚架上以保持稳定的索尼相机采集。为尽量减少数据采集过程中的干扰，研究采用了无线遥控器和信号接收器进行远程操作。

Figure 2: Illustration of the proposed WeatherBench dataset. (a) Overview of the data collection equipment (taking haze as an example). (b) Data distribution of the proposed dataset. (c) Sample image pairs from our dataset. In each pair, the left image shows the LQ, while the right image displays the corresponding GT image. We collect images with different degradation types under both daytime and nighttime scenes.

3.2. Data Collection

实施细节： 为确保数据真实性，图像采集在多云天气下进行，以保持图像对间的亮度和纹理一致性。为减少场景变化或物体运动导致的错位，研究精心选择了静态环境进行拍摄。在采集每种天气条件后，会等待场景恢复原状再采集清晰图像。由于雾霾消散较慢且可能引起场景变化，其采集安排在雨雪之后。为保持图像质量，相机镜头会被定期清洁。这些步骤确保了图像的精确对齐，为可靠的模型训练和评估奠定了基础。

低质量图像采集： 数据采集在不同光照条件下进行，包括日间和夜间场景，以增强数据集中光照的多样性。低质量图像的采集在不同天气类型下遵循一致的协议。通过调整降雨强度、喷水角度、雪花形态以及雾霾密度等参数，生成了多样化的退化模式。

参考图像采集： 对于自然场景，在记录过程中保持场景组件空间位置不变存在巨大挑战。为此，需要严格控制影响画面的外部环境因素和内部技术参数。具体而言，在拍摄过程中，优先选择在受控光照条件和特定风速范围内进行，以最小化亮度波动并防止轻质物体的不必要移动。内部技术参数包括成像设备的一致性、拍摄参数的标准化、相机视点的一致性以及消除机器产生气流干扰导致的图像抖动。除了上述控制措施，为准确获取场景基线数据，研究实施了四阶段参考图像采集工作流程。

参考图像匹配： 尽管在数据采集中采取了谨慎措施以最小化捕获误差，但参考图像序列与低质量图像序列之间仍可能存在不可预测的空间和时间错位。为解决此问题，本文引入了参考图像匹配策略。首先从捕获的参考序列中裁剪出一组候选图像块，优先选择静态物体区域。然后，根据外观相似性选择最佳匹配块，以获得在空间和时间上更对齐的参考图像。最后，根据参考图像块的位置裁剪低质量图像中的对应区域，从而构建精确对齐的低质量-参考图像对。该策略有效缓解了采集过程中物体运动或场景变化的影响，提高了配对数据的一致性和质量。

Table 1: Comparison of existing weather degradation datasets. Our dataset covers a wider range of degradation types and provides a significantly larger number of image pairs. "Real" denotes real-world data.

3.3. Dataset Statistics and Comparisons

通过上述流程，研究共捕获了50,000对退化及其对应的清晰图像，并从中精心筛选出42,002对高质量图像对以构建数据集。数据集的整体训练集和测试集分别包含41,402和600对图像。所有图像的分辨率均为512×512。本基准数据集相较于现有天气退化数据集具有两个显著优势：(i) 真实场景与更大规模：数据集包含在各种室外场景和拍摄时段采集的真实场景图像对，覆盖复杂的天气条件以及多样的光照设置。(ii) 统一的一体化天气基准：现有方法通常组合多个小规模合成数据集作为一体化图像恢复的训练数据，这限制了实际应用和一体化模型的发展。本文的数据集旨在为训练和评估一体化天气恢复模型提供一个统一的平台，推动该领域向更通用和实用的解决方案发展。

Benchmark Evaluation

4.1 Evaluation Settings

对比基线：

为验证所提出数据集的有效性和适用性，该研究在多种图像恢复方法上进行了广泛实验。这些方法分为三类：

• 任务专用方法：包括 DehazeFormer、DCMPNet、DRSformer、NeRD-Rain 和 SnowFormer。

• 任务通用方法：包括 MPRNet 和 Restormer。

• 一体化方法：包括 AirNet、TransWeather、PromptIR、WGWS-Net、DiffUIR、MWFormer、Histoformer 和 AdaIR。

实施细节与评估指标：

为公平比较，所有选定方法均统一设置 patch size 为 128，其他参数则保持其原始设置。所有实验均在单块 NVIDIA RTX 4090 GPU 上进行。评估指标采用在 Y 通道上计算的 PSNR、SSIM 和 LPIPS。

4.2 Quantitative Comparisons

研究在三个典型的天气退化任务上进行了全面比较：去雾、去雨和去雪。结果如表 2 所示。尽管任务专用方法是为特定退化类型量身定制的，但其在各自指定任务中的表现并非始终领先。值得注意的是，某些一体化方法，如 MWFormer 和 AdaIR，在单任务场景中取得了具有竞争力甚至更优的结果。例如，在去雾任务中，MWFormer 的 PSNR 为 24.42dB，优于 DehazeFormer 的 24.12dB，同时在其他任务中也保持了鲁棒的性能。总体而言，一体化方法在不同天气条件下展现出更强的泛化能力和更均衡的恢复质量。这凸显了构建能够在一个框架内处理各种天气退化的统一模型的必要性和有效性，使其在实际应用中更具实用性。

Table 2: Quantitative comparison of different categories of methods on the WeatherBench dataset. The best and second-best values are blod and underlined.

4.3 Qualitative Comparisons

如图 3 所示，某些方法，例如 AdaIR，在所有三种场景中均能一致地产生视觉效果好且无伪影的结果，显示出对各种天气退化强大的适应性和鲁棒性。相比之下，其他方法在不同任务间表现不均。例如，PromptIR 在去雪任务中能产生视觉上清晰干净的结果，但在去雾任务中未能有效去除雾气，常残留薄雾或过度增强场景。WGWS-Net 在去雨任务中表现良好，但其在去雾和去雪任务中的表现则不尽如人意。

Figure 3: Qualitative results comparison of all-in-one methods. We present visual results under three types of degradation—haze (rows 1–3), rain (rows 4–6), and snow (rows 7–9)—across both daytime and nighttime scenarios.

4.4 Generalization Ability on Real-World Data

为验证基于该数据集训练的模型对真实场景的泛化能力，该研究构建了一个由多个常用数据集组成的混合数据集作为对比。多个代表性方法分别在混合数据集和本数据集上进行了训练，并在三个真实世界基准上进行了评估。如表 3 所示，基于本数据集训练的模型普遍取得了最佳的定量性能，显示出对真实数据更优的泛化能力。图 4 中的定性结果进一步证实，基于本数据集训练的模型能产生视觉上更佳的恢复效果。

Table 3: Quantitative comparison of training on our dataset and the hybrid dataset with testing on the real-world dataset. Where ‘*’ indicates models trained on our WeatherBench dataset. Best results are highlighted in bold.

Figure 4: Qualitative results of generalization ability on realworld data. Where ‘*’ indicates models trained on our WeatherBench dataset and achieving superior results.

---

本工作提出了 WeatherBench，一个真实世界的一体化图像恢复基准，旨在解决合成数据集的局限性。与以往组合不同单一天气数据集的方法不同，WeatherBench 提供了在真实雨、雪、雾霾条件下、跨越多样场景的高质量、对齐图像对。该研究设计的一体化天气采集系统支持监督学习。广泛的实验揭示了不同方法的优势与不足，强调了在真实条件下开发统一、鲁棒的恢复模型的必要性。