摘要: 作为计算机视觉里的一个分支——图像修复，它一直是研究者们追捧的一个重要研究领域，特别是随着深度学习的发展，图像修复的研究热度持续升温，达到一个前所未有的高度。如今，许多著名的图像修复方法都是基于生成对抗网络（Generative Adversarial N... 展开 作为计算机视觉里的一个分支——图像修复，它一直是研究者们追捧的一个重要研究领域，特别是随着深度学习的发展，图像修复的研究热度持续升温，达到一个前所未有的高度。如今，许多著名的图像修复方法都是基于生成对抗网络（Generative Adversarial Network，GAN）而提出的。然而，现有的图像修复方法都或多或少的存在一些问题。基于此，本文提出了两种基于改进的生成对抗网络的图像修复模型，研究内容如下： 第一，在图像修复过程中，由于生成器合成的图像会出现纹理、颜色与真实图像不一致等情况，这通常被称为假纹理。而为了减少不合理的像素对生成图片的破坏，本文提出了一种基于假纹理注意力图（ Fake-texture Attention Map， FAM）的网络模型（FAM-GAN）。该机制致力于训练假纹理区域以及生成假纹理图，将其与真实图像和修复图像之间生成的灰度像素差图进行对比得到误差，并反馈到网络中，以消除生成器中特征图的像素不一致性，生成更加真实的图片纹理，从而达到图像修复的目的。 第二，在图像修复领域中，所提出的方法基本都具有很大的感受野，这适用于对缺失区域比较集中的图像进行修复，而如果缺失区域比较分散，图像的修复效果不佳，即较大的感受野带来的结果可能并不理想。为此本文从感受野以及掩码更新的角度，提出了一种基于全局与局部细化的三阶段图像修复模型，该模型中将传统的卷积替换为了门控卷积。具体过程为：首先将原始图像和掩码的数据集输入到粗略重建网络（小型U-Net网络），得到粗略的图像修复结果；其次进入到局部细化网络（具有小感受野的网络模型），针对图像中缺失的部分进行局部细化；最后将上述结果输入到全局细化网络（具有大感受野的网络模型），对其进行全局细化，生成最终结果。 通过对比三个经典图像修复方法在Paris Street View谷歌街景数据集和CelebA-HQ数据集上的实验结果表明，本文提出的方法在两个流行的公开可用的图像修复数据集上的性能均有较好的表现。 收起