摘要 : 医学影像报告自动生成任务面临疾病类型多样、报告描述缺乏专业性和流畅性等多重挑战。为解决以上问题,本文提出一种基于记忆驱动的多模态医学影像报告自动生成方法(mMIRmd),首先使用基于移位窗口的层次视觉转换器(Swin-Transformer)提取患者医学影像... 展开 医学影像报告自动生成任务面临疾病类型多样、报告描述缺乏专业性和流畅性等多重挑战。为解决以上问题,本文提出一种基于记忆驱动的多模态医学影像报告自动生成方法(mMIRmd),首先使用基于移位窗口的层次视觉转换器(Swin-Transformer)提取患者医学影像的多视角视觉特征,通过基于转换器的双向编码模型(BERT)提取病史信息的语义特征,然后将多模态特征进行融合,提高模型对不同疾病类型的识别能力。其次,使用医学文本预训练的词向量词典对视觉特征标签进行编码,以提高生成报告的专业性。最后,在解码器中引入记忆驱动模块,解决医学影像数据中的长距离依赖关系。本研究在印第安纳大学收集的胸部X光数据集(IU X-Ray)和麻省理工学院联合马萨诸塞州总医院发布的重症监护X光医疗数据集(MIMIC-CXR)上进行验证。实验结果表明,本文所提方法能更好地关注患病区域,提高生成报告的准确性与流畅性,可以辅助放射科医生快速完成医学影像报告的撰写。 收起