摘要: 胸部X光影像被广泛应用于胸部疾病的诊断与治疗。根据病人的胸部X光影像，医生需要通过影像中的表现给出细致的描述与诊断意见，最终形成一份诊断报告。随着影像技术的发展，影像科医生每天需要审阅大量的影像数据并为每一份影像撰写诊断报告，这占据... 展开 胸部X光影像被广泛应用于胸部疾病的诊断与治疗。根据病人的胸部X光影像，医生需要通过影像中的表现给出细致的描述与诊断意见，最终形成一份诊断报告。随着影像技术的发展，影像科医生每天需要审阅大量的影像数据并为每一份影像撰写诊断报告，这占据了影像科医生的绝大部分工作时间。因此开展能够自动生成诊断报告方法的相关研究显得尤为迫切。大多数现有的医学影像报告自动生成的方法是先根据病人影像检测出疾病异常，然后根据检测得到的疾病异常生成文字报告。然而现有的这些方法存在一些问题：首先这些方法忽略了诊断报告中蕴含的丰富先验知识，在疾病预测过程中没有考虑到疾病标签之间的关联性。另外，现有方法中大多使用公开的英文影像报告数据集，鲜有方法使用中文影像报告数据集。为解决上述问题，本文提出了两种胸部X光影像报告自动生成的模型，分别是融合先验知识的双长短时记忆网络和融合先验知识的Transformer模型，并构造了一个全新的中文胸部X光影像报告数据集。 第一种模型使用了知识图谱表示诊断报告中丰富的先验知识，知识图谱能够考虑到疾病之间的关系并能为影像报告的生成提供丰富的知识表示。模型首先利用卷积神经网络对图像进行特征提取，然后融合知识图谱提供的语义信息对疾病进行检测，之后将检测到疾病的语义特征与图像特征进行融合，最终通过双长短时记忆网络生成诊断报告。 第二种模型在第一种模型的基础上，使用引入多模态融合模块的Transformer模型进行诊断报告自动生成。多模态融合模块能够更好的将视觉信息和知识图谱的语义信息进行交互融合。虽然双长短时记忆网络在一定程度上提高了诊断报告生成的效果，但由于长短时记忆网络存在固有的缺陷，对影像报告这种长文本并不能很好地进行建模。而Transformer模型更适合对长文本进行建模。 本文提出的两种模型分别在公开的英文影像报告数据集IUX-Ray和手动构造的中文影像报告数据集CX-Ray上进行实验。实验结果表明，本文提出的方法不仅可以提升疾病检测的效果，还可以有效提高胸部X光影像报告生成的质量。 收起