[GAN笔记] pix2pix

论文链接： https://arxiv.org/abs/1611.07004

1. 介绍 ：
　　图像处理的很多问题都是将一张输入的图片转变为一张对应的输出图片，比如灰度图、梯度图、彩色图之间的转换等。通常每一种问题都使用特定的算法（如：使用CNN来解决图像转换问题时，要根据每个问题设定一个特定的loss function 来让CNN去优化，而一般的方法都是训练CNN去缩小输入跟输出的欧氏距离，但这样通常会得到比较模糊的输出）。这些方法的本质其实都是从像素到像素的映射。于是论文在GAN的基础上提出一个通用的方法：pix2pix 来解决这一类问题。通过pix2pix来完成成对的图像转换(Labels to Street Scene, Aerial to Map,Day to Night等)，可以得到比较清晰的结果。
先看一张效果图：

2. 方法

2.1 目标函数

一般的cGAN的目标函数如下，生成器 G 不断的尝试minimize下面的目标函数，而D则通过不断的迭代去maximize这个目标函数。

为了测试输入的条件x对于D的影响，论文也训练一个普通的GAN，判别器D只用于判别生成的图像是否真实。

前人的一些工作中发现，将GAN的目标函数和传统的loss结合，可以带来更好的效果。所以论文增加了一个L1 loss交给生成器G去最小化。

所以最终的目标函数是：

文中对于不同的loss的效果做了一个对比，可以看到L1 + cGAN的效果相对于只用L1或者cGAN都是比较好的。

2.2 网络结构
论文对DCGAN的生成器和判别器的结构做了一些改进。

2.2.1 生成器结构

2.2.2 判别器结构

利用马尔科夫性的判别器(PatchGAN)
　　pix2pix采用的一个想法是，用重建来解决低频成分，用GAN来解决高频成分。一方面，使用传统的L1 loss来让生成的图片跟训练的图片尽量相似，用GAN来构建高频部分的细节。

优点：pix2pix巧妙的利用了GAN的框架来为“Image-to-Image translation”的一类问题提供了通用框架。利用U-Net提升细节，并且利用PatchGAN来处理图像的高频部分。
缺点：训练需要大量的成对图片，比如白天转黑夜，则需要大量的同一个地方的白天和黑夜的照片。

扩展阅读：p浏览器官网下载1.37 ... pishop pimall fun ... p浏览器在线下载 ... raspberry pi ... p浏览器旧版本下载 ... pixel gun 3d内置修改 ... 下载派app1.37版本 ... pi your personal ai ... pi最新版本下载安装 ...