基于多特征和跨模态知识蒸馏的鱼病命名实体识别

为解决多模态鱼病知识缺乏合理安排的问题，同时降低知识蒸馏过程的冗余数据，从而部署存储低、样本小、精度高的识别模型，提出一种基于多特征协同预测-跨模态多头蒸馏的方法，命名为FSFDAI-TMRD。在多特征协同预测方面，重点改进了原多任务多特征协同预测架构。首先使用更细粒度的BMES（Begin-middle-end-single）法代替原工作中BIO（Begin-inside-outside）法的粗略标注，其次修改原架构的联合概率分布计算公式，使得模型可以更好地识别嵌套名词实体。在跨模态多头蒸馏方面，本文运用了跨模态注意力机制。首先计算合并、拆分和点积后的多头关系矩阵，其次利用相对熵进行知识蒸馏，使得模型可以更好地对齐异构师生间的中间特征。同时，本文还应用了双仿射注意力机制及对抗性权重扰动函数等方法，加强学习语义语音和字形词义等多特征知识。与主流模型相比，本文方法的精确率、召回率和F₁值分别提升了0.45%、3.96%和2.28%，并且存储优化比例提高3.01%，模型参数规模缩小94.86%。