基于深度残差收缩网络多特征融合语音情感识别

针对语音情感识别任务中说话者的差异性，计算谱特征的一阶差分、二阶差分组成三通道的特征集输入二维网络。结合卷积神经网络、双向长短时记忆网络以及注意力机制建立基线模型，引入深度残差收缩网络分配二维网络中的通道权重，进一步提高语音情感识别的精度。为提升模型的学习效果，采取特征层融合（特征向量并行和特征向量拼接两种方式）和决策层融合（平均得分和最大得分两种方式）等不同信息融合机制。结果表明：（1）特征层融合中的特征向量并行策略是更有效的方式；（2）本文提出模型在CASIA和EMO-DB数据库下分别取得了84.93%和86.83%的未加权平均召回率（Unweighted average recall， UAR），相较于基线模型，引入深度残差收缩网络后的模型在CASIA和EMO-DB数据库上的未加权召回率分别提高5.3%和6.2%。