摘要: 传统的图像修复方法往往基于纹理或者补丁传播的技术在图像像素层次填补缺失区域，然而这些方法无法应用于复杂的场景(比如人脸)，并且这些方法无法感知图像深层语义信息。随着深度学习的发展，图像修复领域也在变化，基于深度学习的图像修复利用卷积... 展开 传统的图像修复方法往往基于纹理或者补丁传播的技术在图像像素层次填补缺失区域，然而这些方法无法应用于复杂的场景(比如人脸)，并且这些方法无法感知图像深层语义信息。随着深度学习的发展，图像修复领域也在变化，基于深度学习的图像修复利用卷积神经网络提取图像深层语义信息对孔洞内容的进行重建。同时，生成对抗网络的提出以及发展为修复细节的质量提升提供了全新的思路。然而这些方法只针对具有固定大小的中心缺损区域图像进行修复，无法满足实际的生活场景，因为用户需要修复的区域不仅仅是固定的区域而是不规则的区域。同时这些方法生成的孔洞内容经常会出现模糊或者明显的修复痕迹，从而导致整张图像内容不协调。因此，进行本文基于深度学习进行图像修复的研究，从而解决以上问题。本文的内容主要包括： (1)提出了一种基于局部生成对抗网络的人脸修复算法。文中提出了一种新的生成器损失函数，在辨别器训练时用人脸的整体属性进行训练，在生成器训练时只对人脸局部属性进行损失计算从而进行细节加强，使网络更加关注人脸局部属性的语义特征，从而对人脸的局部特征(眼睛,鼻子等)进行精细的还原。 (2)提出了一种基于扩张跳跃结构生成器以及多尺度辨别器的人脸修复算法。本文中提出了一种新的生成器结构，通过结合标准卷积和扩张卷积的优势，能够在上下采样时有效的扩大感受野,并且在特征升降维度时防止特征信息的过多损失。同时利用多尺度的辨别器扩大辨别器的感受野，从而对修复细节进行加强。 (3)基于连贯性语义注意力机制的图像修复算法。以往图像修复的工作没有考虑特征连续性从而导致色彩或线条断层的问题，文中提出了一种全新的连贯性语义注意力机制，保证了生成特征连续性以及全局语义信息的一致性。同时文中提出了一个新的一致性损失配合注意力机制，确保注意力机制层及其对应的解码器层的特征分布一致性。最后本文设计了一个新的特征补丁辨别器对修复细节进行加强。 (4)基于具有特征均衡模块的互编解码器的图像修复算法。本文从一个全新的视角解决图像修复问题，本文设计了一种全新的互编解码器，该编码器包含纹理感知分支和结构感知分支，两个分支分别关注图像的纹理和结构信息并进行修复，最后两个分支的特征通过特征均衡模块进行交互形成完整的图像特征。完整的图像最后分成多个分别率的特征拼接到解码器的对应层中。 本文在CelebA，Places2以及ParisStreetView三个公开数据集上进行实验验证，在视觉效果和数值对比上都取得了不错的提升。 收起