摘要: 随着图像处理在生活和科技上的应用越来越广泛，人们对图像风格迁移相关技术的研究更加深入，图像风格迁移任务的复杂度也逐渐增加，不同方法以及不同应用的图像风格迁移已经成为研究热点。为提升图像风格迁移的生成效果，本文在深度学习的方法下提出... 展开 随着图像处理在生活和科技上的应用越来越广泛，人们对图像风格迁移相关技术的研究更加深入，图像风格迁移任务的复杂度也逐渐增加，不同方法以及不同应用的图像风格迁移已经成为研究热点。为提升图像风格迁移的生成效果，本文在深度学习的方法下提出了新的模型和方法，主要研究内容如下: (1)图像风格迁移已成为现代图片编辑应用中的一项关键技术。虽然在将一张图像的内容与另一张图像的风格混合生成方面已经取得了重大进展，但在处理高分辨率图像风格转移任务时，以及当风格图像的纹理丰富时，合成的图像可能会产生不真实效果。本文提出了一种新的注意力机制—组合注意力，设计了一种基于组合Transformer的图像风格迁移自编码器(CTA)来解决上述问题。在该模块的支持下，当从纹理丰富的风格图像迁移到具有语义的内容图像时，该模型能够生成高质量的图像。此外，在损失函数中引入了基于区域的一致性损失，确保合成图可以很好的保存原始图像的内部结构语义。讨论了基于CTA的信息论，引入了 Kullback-Leibler散度损失，以保留更多的亮度信息，这有助于增加生成图像的真实感。基于三个基准数据集(即Churches、Flickr-landscopes和FlickrFacesHQ)的大量实验结果证实，与几种最先进的方法相比，本文提出的方法具有出色的性能。 (2)现有的图像风格迁移算法和模型都需要成对图像完成，即提取一张图片的内容特征同时提取另一张图像的风格特征，融合两者后生成风格迁移图片。然而随着图像领域的研究深入以及应用的需求越来越高，在很多实际情况下没有对应的风格图像或者需要想象中的风格完成迁移。为了解决这一问题，提出了新的图像风格迁移模型-文本引导的图像风格迁移模型。该模型可以完成文本语义引导的风格迁移，不需要具体的风格图像，只需对风格的具体文字描述。所提出的模型使用基于对比文本-图像对的预训练(CLIP)模型来完成图像风格迁移任务。在提出的模型中，提取了文本对应的风格图像来约束图像生成过程，提出分块风格鉴别器Dpatch来监督生成过程。大量的实验结果证实本文提出的方法模型可以很好的完成文本引导图像风格迁移的任务。 综上所述，基于组合Transformer的图像风格迁移自编码器以及文本引导的图像风格迁移模型能够应用于图像风格迁移任务。该研究不仅解决了图像风格迁移中生成图像不真实，质量不佳的问题，而且提出了新颖的文本引导的图像风格迁移方法。两者为图像风格迁移任务提供了技术支撑，也对图像风格迁移领域的技术发展有一定的贡献。 收起