摘要: 图像修复(Image inpainting)，是指利用图像已知区域中的像素信息，对缺失区域进行填补修复的过程。图像修复是图像处理中一个经典的且具有挑战性的课题，在图像编辑、图像合成、基于图像的渲染和计算摄影等领域有着广泛的应用。目前图像修复算法面临... 展开 图像修复(Image inpainting)，是指利用图像已知区域中的像素信息，对缺失区域进行填补修复的过程。图像修复是图像处理中一个经典的且具有挑战性的课题，在图像编辑、图像合成、基于图像的渲染和计算摄影等领域有着广泛的应用。目前图像修复算法面临的挑战，一是生成准确的整体结构，另一个是合成生动的纹理细节，使得修复后的图像在视觉上真实合理。传统的图像修复算法的修复效果随着缺失区域面积的增加而直线下降，并且修复结果存在图像模糊和缺乏视觉连贯性等问题。近年来，基于深度学习的图像修复算法取得了良好的效果，然而它们通常会生成带有明显人工边界、扭曲结构或模糊纹理的内容。因此研究可以生成准确全局结构和生动的纹理细节的图像修复算法就具有十分重要的意义。许多学者提出了多种方法来解决图像修复问题，本文在前人的基础上采用生成对抗网络来实现图像修复工作，具体如下: 第一，利用小波域的注意力机制提取图像特征，提出了一种对抗性的图像修复方法。本模型的构建是在生成对抗网络基础上，其中生成器网络部分采用Unet++结构，判别器网络部分采用PatchGAN结构。首先利用小波变换理论将图像修复任务转换为小波域进行，有利于提取图像已知区域的特征，并将其分解为多频子带进行深层信息的提取和传递;其次使用注意机制增强小波域中各个层次的多频子带捕获重要信息的能力;最后联合对抗性约束、重建约束和纹理约束共同进行模型的训练。实验表明，本章方法不仅可以合成全局一致的图像结构，还可以在缺失区域生成生动的纹理细节，在中心矩形缺失区域中获得了比当前主流算法更好的主观结果和客观结果。 第二，利用概率推理模型推测多频子带图像特征分布，提出了一种对抗性的图像修复方法，针对低频语义结构和高频细节纹理两种不同频率信息对图像修复问题进行了研究。首先，利用小波变换理论将图像修复任务转换为小波域进行，通过推理网络中的不同路径提取完整图像的低频语义内容特征和高频纹理特征，针对地处理不同频率的信息而不受其他频率信息的干扰;其次，在生成网络中将受损图像分解为多频子带，利用推理网络估计的低频和高频特征分布，进行不同频率子带图像的修复工作;最终，两条网络并行训练，将补全的多频子带合成最终的修复图像。实验表明，相比于主流算法，该模型能够获得更加丰富的高频纹理细节和更准确的低频语义结构，并且适用于规则和不规则的多种缺失区域的图像修复工作。 收起