视觉言语增强人类颞上回中音素的可分性

内容形式：摘要译文

唇读等视觉言语有助于口语词汇识别，但视听言语感知背后的神经机制仍不明确。视觉线索可能在感知早期阶段消除精细发音特征的歧义，也可能在更具类别性的音素层级与言语信息整合。为检验视觉输入如何调节言语表征，我们分析了12名癫痫患者在执行视听言语感知任务时记录的颅内脑电图（iEEG）信号。参与者感知以纯听觉、纯视觉或一致性视听形式呈现的16个单音节词。这些词由四个声母辅音（/b/、/g/、/m/、/n/）和四个韵部（元音韵核及其后的所有韵尾辅音）组合构成。我们考察了颞上回（STG）的事件相关电位（ERP），并训练支持向量机（SVM）分类器，利用单个电极记录的神经活动解码词汇身份。离散混淆矩阵和连续混淆矩阵分别捕捉分类准确率和归一化分类损失倒数的变化，二者提供互补信息；后者是分类器置信度的连续替代指标。我们在词汇、音素和语音特征三个层级上对解码性能进行了分层评估，以确定视觉言语影响的表征。一致性视听言语提高了分类器对音素层级表征的置信度，并提升了词汇和音素层级的解码准确率，但对语音特征未产生相应影响。时间分辨分析进一步显示，与纯听觉言语相比，视听言语能够更早实现成功解码，且视听增强效应主要见于声母辅音，而非韵部。综上，这些发现表明，

视觉言语主要增强颞上回（STG）中的类别性音素表征，而言语处理的加速和词语识别的改善则是音素层面增强所带来的下游效应。

关键词：视听言语感知 · 颞上回 · 音素表征 · 颅内脑电图 · 神经解码 · 多感觉整合

原文链接：https://www.biorxiv.org/content/10.64898/2026.09.10.750762v1?rss=1