摘要: 产品外包装上的喷码字符通常包含了生产日期、保质期限等重要信息，为了避免因喷码质量问题而影响产品的流通与销售，在生产过程中需对喷码信息进行检测。利用深度学习技术进行检测需要大量标注数据，数据时常存在不平衡的问题，即一些字符标注溢出，... 展开 产品外包装上的喷码字符通常包含了生产日期、保质期限等重要信息，为了避免因喷码质量问题而影响产品的流通与销售，在生产过程中需对喷码信息进行检测。利用深度学习技术进行检测需要大量标注数据，数据时常存在不平衡的问题，即一些字符标注溢出，而另一些字符标注数量不够。为了减少人力、物力以及时间成本，需要研究平衡图像中字符的方法，使得在标注图像数量一定的情况下，标注字符分布均匀，提高数量少的字符的检测准确率。 本文针对产品外包装喷码字符数量不平衡导致的喷码字符识别准确率低的问题，提出一种直接在图像中进行编辑，用数量少的目标字符替换源图像中数量多的字符的数据生成方法。根据喷码字符的特点，本文在SRNet网络的基础上，提出了一个融合注意力机制SE(Squeeze-and-Excitation)和多级自我关注模块MSA(Multi-Self Attention)的端到端的字符替换网络(Character Replacement Network, CRNet)，该网络的文本转换模块将源图像的文本内容转换为目标文本，同时保持原始文本样式，其中SE模块用于下采样提取特征的过程中，重点关注有较多信息的通道特征，精确提取出源图像中喷码字符的风格；MSA模块则用于充分结合文本特征和风格特征，将源图像的样式风格更好地渲染到内容图像的字符上。背景修复模块擦除原始文本，并用适当的纹理填充文本区域。融合模块结合前两个模块的信息，生成字符替换后的图像。 本文在合成数据集进行了实验，证明了提出方法的有效性， l2误差降低到0.0455、峰值信噪比达到了15.230、平均结构相似性指数达到了0.660。本文用YOLOv4对真实数据集的喷码字符进行检测，在字符替换前16类有效字符的mAP值为99.836%，通过字符替换增加样本后16类有效字符的mAP值达到了99.862%，该字符替换方法为后续的字符检测与识别提供大量样本，为图像中字符不平衡的数据生成提供了一种新思路。 收起