摘要: 随着深度学习技术的快速发展，情感识别受到广泛关注，在人机交互、在线教育、医疗健康、安全驾驶和智慧交通等领域得到广泛应用。其中表情作为情感最基本的外在表现，在人类与外界进行交流时，表情传达了约55%的情感信息。然而表情容易受主观意识影响... 展开 随着深度学习技术的快速发展，情感识别受到广泛关注，在人机交互、在线教育、医疗健康、安全驾驶和智慧交通等领域得到广泛应用。其中表情作为情感最基本的外在表现，在人类与外界进行交流时，表情传达了约55%的情感信息。然而表情容易受主观意识影响，而被遮盖或隐藏。相比之下，生理信号受神经系统等控制，不为意识所影响，能够真实客观反映情感状态。然而生理信号采集过程中需要佩戴设备，在一定程度上会对诱发的情感产生干扰。针对单模态情感识别准确率不高，多模态融合情感识别研究中提取的生理信号特征不充分、忽略表情模态的全局特征、选用同种数据粒度的模态导致模型泛化能力不足的问题，本文选取表情、眼动和光电容积脉搏(PPG)信号并采用深度学习技术实现多模态融合情感识别，主要研究工作如下： (1)针对当前研究中提取的生理信号时频域特征不完整以及使用深度模型提取的深层特征信息不充分的问题，本文提出了一种基于深度神经网络的生理信号融合情感识别方法。首先，提取眼动的时域特征和PPG的时频域特征，然后将两种生理信号的浅层特征进行特征层融合再输入到FECNN-LSTM(特征提取卷积神经网络-长短时记忆网络)，充分提取眼动和PPG信号中包含的深层时序信息，最后将两种生理信号模态的深浅层特征融合后进一步使用深度信念网络(DBN)挖掘深浅层特征之间的相关信息并分类。 (2)针对当前研究中常用的浅层卷积神经网络提取的表情特征仅能表述局部特征，而忽略了全局特征以及Gabor、LBP等手工提取的表情特征维数较高的问题，提出使用改进Transformer模型提取表情全局特征并实现端到端表情识别，避免手工提取特征的过程。针对表情模态和生理信号模态粒度不同，前者粒度细，后者粒度粗，同步时间窗口内所含信息量不同，数据格式以及特征维数差异较大的问题，提出将眼动和PPG进行特征层融合，再使用DBN输出预测类别，与Transformer表情识别模型的预测类别按照不同权重系数进行决策层融合。该方法实现了同步时间窗口内表情、眼动与PPG融合，充分利用不同粒度的模态之间的相关性和互补性，提高多模态融合模型的泛化能力，解决了当前多模态融合情感识别模型易受应用场景数据质量影响的问题。 此外，针对当前国内外尚无面向在线学习场景下的公开数据集的问题，为了开展在线学习场景下的多模态融合情感识别研究，本文建立了一个真实的在线学习场景下的多模态数据集，共采集了62位被试，总时长为1830分钟的面部视频、PPG和眼动同步信号数据。实验结果表明将眼动和PPG的深浅层特征融合后识别准确率较单一模态提升较大，再融合表情模态后，相比仅使用眼动或仅使用PPG模态或仅使用生理信号，识别效果大大提升。 收起