摘要: 随着人们对图像的广泛应用和对图像质量的不断追求，修复图像中的模糊对象和去除无关对象的需求也日益增长。然而，现有的图像和照片往往存在对象模糊和无关对象的问题，因此需要进行图像修复来解决这些问题。 图像修复是填充缺失或损坏图像区域的... 展开 随着人们对图像的广泛应用和对图像质量的不断追求，修复图像中的模糊对象和去除无关对象的需求也日益增长。然而，现有的图像和照片往往存在对象模糊和无关对象的问题，因此需要进行图像修复来解决这些问题。 图像修复是填充缺失或损坏图像区域的过程。传统算法中，基于扩散和基于块的方法被研究者广泛探讨。然而，基于扩散的方法局限于修复小区域，大面积损坏会导致模糊结果。基于块的方法可修复相似纹理，但缺乏相似块时效果欠佳。近年来，深度学习伴随着设备硬件一同迅速发展，学者们广泛认可深度学习在图像处理中的应用。目前，基于生成对抗网络(Generative Adversarial Network, GAN)的图像修复方法已得到广泛研究。尽管生成对抗网络取得了巨大的进步，但在处理大面积缺失时，现有方法仍可能会导致结构扭曲和纹理模糊等问题。其中一个主要原因是由于卷积操作的局域性，它只是考虑了局部感受野忽视了全局或远距离结构信息。 为了解决以上问题，本论文首先提出了一种新的图像修复网络模型，即多尺度自注意力生成对抗网络(Multi-Scale Self-Attention Generative Adversarial Network, MSSA-GAN)，它通过捕获不同尺度下的结构信息和局部细节纹理进而完成对受损图像的修复。本论文的MSSA-GAN提出了一种级联的多尺度自注意力传播模块，将其键入到网络的中层和深层中。这个模块由多个多尺度自注意力块组成，用于学习不同尺度下的结构特征和纹理细节信息。另外，在MSSA-GAN基础上提出了一种新的图像修复网络模型，称为混合双注意力生成对抗网络(Hybrid Dual Attention Generative Adversarial Network, HDA-GAN)，它可以同时捕获全局结构信息和局部细节纹理。详细来说，本论文提出的HDA-GAN将两种级联的通道注意力传播模块和级联的自注意力传播模块集成到网络的不同层中。对于级联的通道注意力传播模块，将多个多尺度通道注意力块级联在网络的高层，用于学习从低级细节到高级语义的特征。对于级联的自注意力传播模块，本论文将多个基于分块的自注意力块级联在网络的中低层，以便在保留更多细节的同时捕获长距离依赖关系。值得一提的是，级联模块将多个相同的注意力块堆叠成不同的层，能够增强局部纹理传播到全局结构。 本论文在Paris Street View数据集和CelebA-HQ数据集采用了均方差(MSE)、峰值信噪比(PSNR)和结构相似性指数(SSIM)等客观评价指标进行实验评估。结果显示，本论文提出的HDA-GAN在定量比较中相较于Edge-LBAM方法，在不同样比例下，PSNR提升了1.28DB、1.13DB、0.93DB和0.80DB，SSIM提升了5.2%、8.2%、10.6%和13.1%。同样地，在CelebA-HQ数据集上相比于AOT-GAN方法，在掩码不同比例下，MAE降低了2.2%、5.4%、11.1%、18.5%和28.1%， PSNR提升了0.93DB、0.68DB、0.73DB、0.84DB和0.74DB。可视化实验结果进一步验证了本文方法优越性。本文提出的图像修复方法充分发挥深度学习模型在特征学习和图像生成方面的优势，实现了对缺失或损坏图像部分的准确修复，获得了更令人满意的结果。 收起