摘要: 情感在人们的生活交流过程中起着至关重要的作用，正确的理解和表达情感有助于营造良好的沟通氛围。神经科学的研究表明，人的不同情感与大脑皮层不同区域之间存在一定的联系，情感的产生可能是大脑多个功能区域共同起作用的结果。如何建模大脑区域与... 展开 情感在人们的生活交流过程中起着至关重要的作用，正确的理解和表达情感有助于营造良好的沟通氛围。神经科学的研究表明，人的不同情感与大脑皮层不同区域之间存在一定的联系，情感的产生可能是大脑多个功能区域共同起作用的结果。如何建模大脑区域与不同情感之间的关系，关注对于情感产生贡献更大的区域是提高情感识别率的关键。同时不同的生理信号可以反映情感的不同维度，如何有效利用其他模态的情感信息是提高情感识别率的一个重要途径。针对以上问题，本文分别基于单模态脑电信号和多模态生理信号进行研究。 针对单一模态情感识别，本文提出了一种基于图神经网络和注意力的脑电情感识别模型(CA-GNN)。考虑到大脑不同区域对于情感的贡献不同，本文利用图的邻接矩阵对脑电通道的空间拓扑关系进行建模，利用通道注意力给不同通道数据分配权重，充分挖掘EEG信号所包含的信息，同时利用Grad-CAM判断模型分类过程中大脑哪些区域对于分类结果的影响更大。本方案在SEED，SEED-IV和MPED等数据集上进行了广泛的实验，准确率分别为93.73%(三分类)，83.59%(四分类)，39.04%(七分类)，均高于其他基线方案，证明了本方案可以在一定程度上提高情感识别的准确率，同时可以更细粒度地分析情感与大脑哪一部分区域有关。 针对多模态情感识别，本文提出了一种基于图神经网络和注意力的多模态情感识别方法。对于脑电信号，本文使用了图神经网络对其进行分类，对于心电信号，本文使用了基于注意力的Bi-LSTM网络对其进行分类，最终通过Dempster-Shafer证据理论融合脑电和心电分类的结果。为了验证方法的有效性，我们邀请了多名受试者参与了我们的多模态情感数据采集实验，收集了受试者的多种生理信号和刺激后对情感状态的评估。最终，融合后模型的情感分类结果，在Valence维度上的平均准确率为91.82%，在Arousal维度上的平均准确率为88.24%，实验结果表明本文所提方案具有一定的可行性。 收起