DND

CVPR2017

Darmstadt达姆施塔特是德国中西部城市。著名科学家爱因斯坦曾在1919年说:“In my opinion, you definitely ought to go to Darmstadt. They have a good polytechnic school there.”("我认为,你们一定要去达姆施塔特,那里有一所杰出的理工学院。")。瑞士平面艺术家 Hermann Eidenbenz 于1972年设计了达姆施塔特工业大学的标志:艺术和科学的守护神雅典娜的风格化头像,并一直沿用

Darmstadt Noise Dataset (DND)
Benchmarking Denoising Algorithms with Real Photographs

https://arxiv.org/abs/1707.01313

Darmstadt Noise Dataset – Darmstadt Noise Dataset

VCIP2017

Low-ISO High-ISO

50 scenes,4 consumer cameras:A Sony A7R (full-frame), an Olympus OMD E-M10 (Micro Four-Thirds), a Sony RX100 IV (1 inch) and a Nexus 6P (1/2.3 inch)
数据包括了RAW和sRGB
后处理,目的是消除噪声之外的差异,如抖动,曝光增益等。包括camera shift adjustment, linear intensity scaling and removal of low-frequency bias.
合成数据添加的噪声一般说独立同分布的高斯噪声,但真实真实不是i.i.d的。发现在合成数据中表现好的是否,在真实数据中,还不如BM3D

在论文Unprocessing Images for Learned Raw Denoising中,Darmstadt Noise Dataset不仅作为了测试集,也为退化的过程提供了参考。比如退化中为了尽可能逼近DND的分布,在调整digital gain时就参考了DND数据集的亮度的平均值。

When using our synthetic data and the Darmstadt dataset, this scaling ratio is 1.25.

在逆CCM阶段,因为DND包含了四种相机,而CCM是直接和相机相关的,所以对现有的几种CCM矩阵进行随机的权重融合:

To generate our synthetic data such that it will generalize to all cameras in the

dataset, we sample random convex combinations of these four CCMs, and for each synthetic image, we apply the inverse of a sampled CCM to undo the effect of color correction.

下载时需要邮箱注册,下载后会得到两个文件夹,分别存放raw和srgb,分别有48个数据,都以.mat的格式存储。此外还有两个独立的mat:ino.mat pixelmasks.mat。读取的方法可以参考unprocess的代码:

  for i in range(0, 50):
    # Loads the noisy image.
    filename = os.path.join(args.data_dir, 'images_raw', '%04d.mat' % (i + 1))
    print('Processing file: %s' % filename)
    img = h5py.File(filename, 'r')
    noisy =np.float32(np.array(img['Inoisy']).T)

RENOIR

RENOIR - A Dataset for Real Low-Light Image Noise Reduction

https://arxiv.org/abs/1409.8230

Renoir Dataset

VCIP2018

Low-ISO High-ISO,首尾拍低ISO,中间时间段拍高ISO
low-light uncompressed natural images of 120 scenes
每个采集过程会拍4帧,可以原来衡量采集的质量。因为光照变化等因素,即便手机设置相同也会有差异,所以PSNR太低的就被舍弃
Intensity Alignment,采集时iso不同,曝光时间又是自动,所以需要把亮度对齐

SIDD

论文作者来自纽约大学和Microsoft Research,每个数据都包含带噪和干净的raw与rgb图,分别是.MAT和.PNG格式。

每个文件夹的命名都是有规则的,记录了机型,场景,曝光参数等:

0052_002_S6_01600_01000_5500_N
means that this is scene instance 52, from scene 2, captured be Samsung Galaxy S6 Edge (S6), using ISO level of 1600, using shutter speed of 1000 (i.e., exposure time of 1/1000 second), under illuminant temperature of 5500K, under normal (N) brightness.

Smartphone Image Denoising DatasetSIDD
A High-Quality Denoising Dataset for Smartphone Cameras

https://openaccess.thecvf.com/content_cvpr_2018/papers/Abdelhamed_A_High-Quality_Denoising_CVPR_2018_paper.pdf
https://github.com/AbdoKamel/sidd-ground-truth-image-estimation
 

SIDD

CVPR2018

30,000 noisy images (10 scenes × 5 cameras × 4 conditions × 150 images),static indoor scenes,direct current (DC) light source,five smartphone cameras
由多帧得到GT的过程,做了

坏点矫正、异常剔除、强度校准、局部对齐等之后才叠加求平均。求平均的方法是在DND基础上改进的,好于低ISO作GT的方案

SID

  专注于解决级暗场景,其中三个作者来自英特尔实验室Intel Labs。长曝光图的光子数目和SNR都更高,但是容易有blur,而短曝光图像则SNR低。所以这里构建了

 raw short-exposure low-light images, with corresponding long-exposure reference images

具体多暗呢,使用lux作为衡量标准。lux勒克斯被定义为每平方米的流明数,而流明是光通量的单位。

一般办公室的桌面照明通常要求达到300 - 500勒克斯。城市主干道的照明一般需要达到15 - 20勒克斯左右,以确保车辆和行人在夜间能够安全通行;而小区内的道路照明可能相对较低,在5 - 10勒克斯左右。

The illuminance at the camera is generally between 0.2 and 5 lux outdoors and between 0.03 and 0.3 lux indoors.

和DND相比,虽然都是真实的,但是SID是暗光场景的;和RENOIR相比,正如文献 [32] 所报道的,RENOIR数据集中的图像对存在空间错位问题。

SID中不同的长曝光参考图像数 量为424张,5094张原始短曝光图像,多张短曝光图像可以对应同一张长 曝光参考图像。输入图像的曝光时间设置在1/30秒到1/10秒之间。相应的参考(真实)图 像是以长100到300倍的曝光时间拍摄的,即10到30秒,所以场景需要是静态场景。

送入网络前,提前对这些low light对数据进行亮度放大。并且为了避免误差累积和放大,还端到端地进行了训练,网络直接在sRGB空间中输出处理后的图像。

相比之下,burst denoising需要完美对齐,但暗场景的对齐很难,即便是三脚架采集的数据,也会有固定artifacts的问题。

See-in-the-Dark Dataset

Learning to See in the Dark

https://cchen156.github.io/SID.html

https://arxiv.org/abs/1805.01934
CVPR 2018
5094short exposure,424long-exposure,多对一的关系。two cameras: Sony α7S II and Fujifilm X-T2.
github项目中使用代码download_dataset.py下载数据集

ELD

Extreme Low-light Denoising (ELD) dataset

Physics-based Noise Modeling for Extreme Low-light Photography

https://arxiv.org/abs/2108.02158

CVPR2020

10 indoor scenes and 4 camera devices

three ISO levels (800, 1600, and 3200)5 and two low light factors (100, 200)

首尾各采集一个reference帧,来判断是否发生异常情况

详细分析了噪声,

光子到电子:光子散射噪声

电子到电压:读出噪声、条带噪声

电压到数字信号:量化噪声

reference:

1.图像去噪数据集_dnd数据集-CSDN博客

2.

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐