融合图像显著性的声波动方程情感识别模型

语音情感识别（Speech emotion recognition， SER）是计算机理解人类情感的关键之处，也是人机交互的重要组成部分。当情感语音信号在不同的介质传播时，使用深度学习模型获得的识别精度不高，识别模型的迁移能力不强。为此，设计了一种融合图像显著性和门控循环的声波动方程情感识别（Image saliency gated recurrent acoustic wave equation emotion recognition， ISGR-AWEER）模型，该模型由图像显著性提取和基于门控循环的声波动模型构成。前者模拟注意力机制，用于提取语音中情感表达的有效区域，后者设计了一个声波动情感识别模型，该模型模拟循环神经网络的流程，可以有效提升跨介质下语音情感识别的精度，同时可快速地实现跨介质下的模型迁移。通过实验，在交互情感二元动作捕捉（Interactive emotional dyadic motion capture， IEMOCAP）情感语料库和自建多介质情感语音语料库上验证了当前模型的有效性，与传统的循环神经网络相比，情感识别精度获得了25%的改善，并且具有较强的跨媒介迁移能力。