自然情境电影观看中意外度与语义距离的神经追踪

理解言语要求听者将输入信息与先前的语言知识和主题知识相整合，以获取意义，而预测能够显著促进这一过程。意外度（surprisal）及相关现象（如下一词预测）往往与听觉过程中语言区域的广泛激活相关。解释意外度神经相关性的一个主要挑战在于，词汇预期同时受到句法信息和语义信息的约束。相比之下，语义距离更接近于一种纯粹的相关性度量，用于衡量高维语义空间中一个语言成分（如单词、短语或 n-gram）与另一个语言成分之间的关联程度。在自然主义视听语言理解过程中，我们对连续话语中的意外度和语义距离进行了比较。我们分析了20名英语成人观看完整电影《和莎莫的500天》（500 Days of Summer）时采集的功能性磁共振成像（fMRI）数据。我们的重点是考察语言逐词展开时，大脑对意外度或语义距离的敏感性。为此，我们实施了一系列分层体素水平编码模型。在控制低级听觉和视觉特征之后，加入意外度或语义距离中的任一变量，均能提高对双侧颞上回（STG）、左侧额下回和右侧小脑活动的预测能力。关键的是，在控制另一变量的影响后，语义距离和意外度仍分别能够解释双侧颞叶皮层中的独特变异。这些结果支持这样一种观点：大脑既追踪广义的概率性预测，也进行语义整合。更为普遍地说，这些发现拓展了以往关于纯听觉言语的研究，表明即使在丰富的视听语境中，意外度和语义距离仍能预测具有意义的神经活动变异。

理解言语需要听者将输入信息与先前的语言知识和主题知识相整合，以获取意义，而预测能够极大地促进这一过程。意外度及相关现象（例如下一个词的预测）在听觉过程中往往与语言区域的广泛激活相关。解释意外度神经相关指标的一项主要挑战在于，词汇预期同时受到句法信息和语义信息的制约。相比之下，语义距离更多地提供了一个较为纯粹的相关性度量，用于衡量高维语义空间中一个语言成分（例如词、短语或 n-gram）与另一语言成分之间的关联程度。我们在自然情境下的视听语言理解过程中，对连续话语中的意外度和语义距离进行了比较。我们分析了20名英语母语成人观看完整电影《和莎莫的500天》时采集的功能性磁共振成像（fMRI）数据。我们关注的是，随着语言逐词展开，大脑对意外度或语义距离的敏感性。为此，我们实施了一系列分层体素水平编码模型。在控制低层次听觉和视觉特征后，加入意外度或语义距离中的任一指标，均提高了对双侧颞上回（STG）、左侧额下回和右侧小脑活动的预测能力。关键的是，在控制另一指标的影响后，语义距离和意外度仍分别解释了双侧颞叶皮层中的独特变异。这些结果支持这样一种观点：大脑既追踪广泛的概率性预测，也进行语义整合。更广泛而言，这些发现拓展了以往关于纯听觉言语的研究，表明即使在丰富的视听语境中，意外度和语义距离仍能够预测具有意义的神经活动变异。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.09.09.749230v1?rss=1

🏷️ 自然主义神经科学 意外度 语义距离 语言理解 功能性磁共振成像 分层体素编码模型