pix2pix使用U-Net网络结构

U-Net网络属于encoder-decoder，但是与encoder-decoder不同的就是它特有的跳层连接，传统的GAN生成模型网络结构中要求所有数据信息从输入到输出要流过每一层，这无疑会加长训练的时间。对于图像翻译任务来说，输入图像和目标图像虽然需要经过复杂的转化，但输入图像和输出图像的结构大致上是相同的，换句话就是指图像翻译中输入和输出之间在低层次的信息上面是共享的，而这些信息是不需要考虑做转换的，因此采用传统的GAN生成模型网络结构时会造成太多的浪费，所以针对图像翻译的需求进行网络结构调整，使用U-Net网络结构可以实现输入输出之间的信息共享。传统encoder-decoder与U-Net对比如图，

U-Net作为深度学习领域知名的图像分割模型被广泛使用，2015年,基于CNN的U-Net网络首先被提出，它采用了encode-decode的结构，其具体结构如图所示。用U-Net网络架构的好处在于网络中encode和decode两部分相同大小的图像之间进行了连接，给予了生成模型能够跳过一些后续步骤的能力，这也被称为skip-connections（跳层连接）。U-Net中对应的特征分布和decode之后的同样大小的特征分布通过skip-connections连接在一起，使得不同分辨率条件下低层的细节信息被保留。当网络在训练的时候部分信息可以通过该连接直接传输。