基于多域信息融合的卷积Transformer脑电情感识别模型

当前脑电信号的情感识别方法很少融合空间、时间和频率信息，并且大多数识别方法只能提取局部的脑电特征，在全局信息关联方面存在着局限性。本文提出了一种基于多域信息融合的三维特征卷积神经网络Transformer 机制（3D-CNN-Transformer mechanism， 3D-CTM）模型的脑电情感识别方法。该方法首先根据脑电信号的特性设计了一种三维特征结构，同时融合脑电信号的空间、时间以及频率信息；然后采用卷积神经网络模块学习多域信息融合的深层特征，再连接Transformer自注意力模块，提取特征信息内的全局关联性；最后利用全局平均池化整合特征信息进行分类。实验结果表明，3D-CTM模型在SEED数据集上的三分类平均准确率达到96.36%，在SEED-Ⅳ数据集上的四分类平均准确率达到87.44%，有效地提高了情感识别精度。