摘要: 图像修复技术就是在给定相应掩码情况下，对受损图像进行修复的技术。针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义或修复边缘模糊导致修复痕迹明显、修复结果失真等问题，研究内容如下： 提出结合注意迁移网络... 展开 图像修复技术就是在给定相应掩码情况下，对受损图像进行修复的技术。针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义或修复边缘模糊导致修复痕迹明显、修复结果失真等问题，研究内容如下： 提出结合注意迁移网络和上下文注意网络的图像修复方法。首先，将受损图像输入由多层卷积构成的粗略修复网络进行初始填充。然后，将结果输入细化修复网络，使用注意迁移网络和上下文注意网络对图像内部纹理细节进行修复处理，在编解码阶段引入SimAM模块作为注意力机制，强化对待修复图像中重要信息的筛选能力。最后，通过谱归一化的马尔可夫判别器判别真伪同时提供对抗损失，将L1损失与结构相似性损失作为重建损失再将其与对抗损失相结合作为损失函数。实验结果表明，该方法能得到符合背景语义的修复图像，评价指标结构相似性均值为92.43%，峰值信噪比均值为28.67dB，效果良好。 由于上述方法在场景复杂的缺失图像修复时易产生生成部分内部纹理不清晰、语义不连贯问题。针对这些问题，提出一种由粗略到细节的基于门控卷积与注意迁移网络的两阶段渐进式图像修复方法。首先，使用门控卷积对破损图像进行粗略填充。然后，将粗略结果作为细化生成阶段的图像特征输入并行的双分支结构中，利用多尺度特征融合与多层注意迁移网络获取现存图像内部最有利于修复图像的区域并对其进行加权处理，引入CBAM（ConvolutionalBlockAttentionModule，CBAM）模块作为网络注意力机制。在细化生成阶段定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失，将其与感知损失和多尺度结构相似性损失共同作为损失函数。最后，将修复图像与原始图像同时输入孪生网络判别器判别真伪。在Place2数据集上与四种方法进行比较，平均峰值信噪比和平均结构相似性分别29.14dB和94.35%，在结构相似性上较四种方法分别提升12.64%、7.48%、4.4%、3.37%。对改进网络各模块的消融实验结果也验证了有效性。实验表明，在主观感受和客观指标上，提出的图像修复方法均优于同类算法。 收起