基于多模态多粒度融合网络的癫痫识别方法

结构脑网络（Structural brain network， SC）和功能脑网络（Functional brain network， FC）能从不同角度反映癫痫对大脑结构信息的改变。目前，融合两类脑网络信息进行癫痫的辅助诊断已成为领域内的重要研究之一。然而，常见的融合模型仅在单一粒度上融合两类脑网络信息，忽略了脑网络的多粒度属性。本文提出一种基于多模态多粒度融合网络（Multi-modal multi-grained fusion network，MMFN）的癫痫识别方法，从全局和局部两个粒度对多模态脑网络特征进行融合，充分利用两类脑网络信息。局部粒度上，设计了连接边特征融合和节点特征融合，用以重构两类脑网络的连接边层和节点层的特征图，使两个模态交互式地学习特征；全局粒度上，设计了多模态分解双线性池化模块，学习两类脑网络的联合表示。实验结果表明，相比主流方法，所提方法可以显著提高对癫痫识别的准确率，辅助医生进行癫痫诊断。