1. 论文基本信息

• 论文标题：Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

• 作者：Chunle Guo等

• 发表时间和期刊：2020；CVPR

• 论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Guo_Zero-Reference_Deep_Curve_Estimation_for_Low-Light_Image_Enhancement_CVPR_2020_paper.pdf

2. 研究背景和动机

现有的基于CNN方法都是学习一个image2image的映射，这篇工作创新性地将该问题建模为一个针对特定图像的曲线估计问题。

补充曲线估计：

实际上，只需要一条简单的曲线，把图像中不同亮度的像素映射到一个新的亮度上，就足以产生亮度恰好合适的图像了。Zero-DCE就是用神经网络来拟合一条亮度映射曲线，再根据曲线和原图像生成提亮图像。整个计算过程可导，可以轻松地用SGD优化神经网络。

另外，与其他一些任务不同，「亮度」是一个很贴近数学的属性。对于物品的种类、文字的意思这种抽象信息，我们很难用数字来表达。而亮度用一个数字来表示就行了。因此，在图像提亮问题中，我们不一定需要带标签的训练数据，而是可以根据图像本身的某些性质，自动判断出一幅图像是不是“亮度合理”的。

这本篇工作中作者使用新颖的误差函数来约束优化该过程。

此外现有的基于CNNorGAN方法在训练过程中依赖于成对或是不成对的数据，基于GAN的方法要精心挑选未配对的数据，而Zero-DCE是“zero reference”、完全数据驱动的，这意味着完全不需要参考图像就能训练。

3. 主要贡献

• 提出了第一个不使用成对或者非成对的数据的低光图像增强网络

• 设计了一个能针对特定图像的曲线估计，并不断通过迭代得到更高阶的曲线，以表示更为复杂的低光情况

• 研究了缺乏参考ground-truth时训练深度网络的可能性，通过特定损失函数设计来实现

4. 方法和模型

网络总体架构图如下。具体解释见下文：

网络核心分为如下三部分：

提亮曲线（LE-curve）、曲线估计网络（DCE-Net）、训练DCE-Net的损失函数（Non-Reference Loss Functions）

（1）提亮曲线（LE-curve）

设计该曲线时，应满足几个原则：

1. 由于亮度值落在区间[0, 1]（归一化处理），为保证亮度值的值域不变，曲线在0处值要为0，在1处值要为1
2. 曲线必须是单调递增的。不然会出现图像中原本较亮的地方反而变暗
3. 曲线公式必须简单，以保证可导（使用SGD优化）

因此，LE-curve初步公式如下所示，其中α为唯一可学习系数，I(x)为输入，文中有展示在不同参数α下的提亮效果。

由于上述公式的曲线本质上是一个二次函数，变化还不够丰富。为了拟合更复杂的情况，本工作迭代嵌套了这个函数如下所示：

 其中n代表第n次迭代。进一步地，这里的α显然是对全局的像素值进行调整，这可能会导致局部欠曝或者过曝。因此作者进一步优化公式，将每个像素值都分配一个α，因此原公式的α变成一个和输入图像大小相同的参数矩阵A，如下所示：

 通过下图可以看到，参数矩阵成功反映出图像中的亮度信息：

 （2）曲线估计网络（DCE-Net）

DCE-Net也就是拟合该曲线的神经网络，结构如下所示：

网络设计较为简单且轻量化，共有七层，产生24个参数矩阵，供8轮迭代使用（因为每轮迭代由三个通道，因此需要3个参数矩阵）

（3）训练DCE-Net的损失函数（Non-Reference Loss Functions）

总损失如下式所示，分别考虑了空间一致性、曝光控制、颜色一致性、亮度平滑：

5. 实验部分

作者与现有sota方法进行定量、定性的比较，且通过high-level任务-人脸识别进一步阐述算法的有效性：

6. 个人思考与讨论

        个人粗浅见解，这篇工作也是引用量很高的经典之作。其新颖之处在于将image2image问题转化为一个曲线估计问题，即将图像中所有像素点重新映射到一个高度上，使得亮度正常。训练时通过精心设计的损失函数通过单张低光图像就能训练。