- 5 次围观
言语的时间结构传统上一直通过其典型语言单位(音素、音节、词)的节律性来表征,并以各单位的平均出现率加以概括。尽管这种观点是成立的,但它忽视了言语是否还携带一种更精细的、依赖语境且具有概率性的时间结构,而这种结构可能在听觉过程中支持时间预测编码。 我们利用大型法语和英语语料库,训练了一系列复杂度递增的模型,以预测语言单位的起始时刻。循环神经网络(RNN)优于平均率模型和危险率模型,这表明围绕这些速率的变异并非噪声,而是一种由局部语境塑造的时间结构,并且这种结构在音素、音节和词层面上都具有统计上的可预测性。 随后,我们记录了53名接受神经外科手术患者在聆听自然言语时的7,698个颅内电极信号,并表明模型的输出——即即将到来的起始事件发生的连续概率(何时)——能够在声学和语言内容(何物)特征之外进一步解释神经活动,而且RNN模型的效应明显强于平均率模型或危险率模型。关于起始事件将在何时发生的这种动态神经预测,可以与语言内容的编码相区分,并依赖于在很大程度上彼此不同的通道群体。时间预测调动了一个分布式皮层网络,该网络从双侧颞叶皮层延伸至左侧额叶和感觉运动区域。 总之,这些结果确立了言语中的时间预测本身就是一种动态的、依赖语境且具有概率性的过程。
语音的时间结构传统上通常通过其典型语言单位(音素、音节、词)的节律性来表征,并以各单位的平均出现率加以概括。尽管这种观点是成立的,但它忽视了语音是否还携带一种更精细、依赖语境且具有概率性的时间结构,而这种结构在听觉加工过程中可能支持时间预测编码。
我们利用大规模法语和英语语音语料库,训练了复杂度逐步增加的模型来预测语言单位的起始点。循环神经网络(RNN)优于平均率模型和危险率模型,这表明围绕这些速率的变异性并非噪声,而是一种由局部语境塑造的时间结构,并且这种结构在音素、音节和词的层面上都具有统计上的可预测性。
随后,我们记录了53名神经外科患者在聆听自然语音时来自7,698个颅内电极的信号,并进一步表明:模型输出的、对即将到来的起始点的连续概率(何时)所反映的信息,在解释神经活动方面超出了声学和语言内容(什么)特征,而且这种效应在RNN模型中明显强于平均率模型或危险率模型。
这种关于起始点将在何时出现的动态神经预测,可以与语言内容的编码相区分,并依赖于在很大程度上彼此不同的通道群体。时间预测激活了一个广泛分布的皮层网络,从双侧颞叶皮层延伸至左侧额叶和感觉运动区域。
综上,这些结果确立了语音中的时间预测本身是一种动态的、依赖语境的且具有概率性的过程。
📄 原文链接:https://www.biorxiv.org/content/10.64898/2026.08.16.745095v1?rss=1
🏷️ 言语感知 时间预测编码 皮层编码 颅内电极记录 循环神经网络
来源出处
言语感知过程中概率性时间预测的皮层编码
https://www.biorxiv.org/content/10.64898/2026.08.16.745095v1?rss=1