非字面言语中韵律与语义的整合：基于大语言模型的体素级编码模型方法

反讽（irony）和讥讽（sarcasm）是复杂的非字面语言形式，其关键在于表层意义与说话者意图之间的不一致，这要求听者整合语境、语义和韵律线索。尽管既往神经影像学研究已表明，一个广泛的脑网络——包括颞叶皮层、额下回和内侧前额叶皮层——参与了对反讽和讥讽言语的理解，但支撑语义与韵律信息整合的精确神经机制仍不清楚。在本研究中，我们采用基于体素的编码模型，系统识别在非字面语言理解过程中专门参与整合韵律与语义线索的脑区，以弥补这一空白。 参与者聆听了自然主义的听觉对话，其中话语语境以及目标话语的语义和韵律均被系统性操纵。我们使用基于Transformer的模型构建了定制文本嵌入，以捕捉反讽陈述中具有语境敏感性的语义表征，同时提取了表征情感韵律的声学特征。我们拟合了岭回归模型，在体素水平上利用语义特征、韵律特征及其组合特征预测BOLD反应，并采用基于置换的合取检验，将整合定义为这样一类体素：在这些体素中，每一种模态都在另一种模态之外贡献了额外的预测信息。 整合韵律与语义的脑区取决于是否对话语语境进行了建模：当陈述以孤立形式进行编码时，整合仅限于双侧颞叶言语皮层；而当根据每个陈述与前文语境的相关性对其进行加权时，还额外招募了左侧额下回眶部（IFGorb）。这些发现表明，左侧IFGorb负责将韵律与依赖语境的意义加以整合；只有在理解需要结合语义、韵律和语境线索——如在反讽和讥讽中——时，它才会在颞叶言语皮层之外被特异性激活。

反讽与讥讽是复杂的非字面语言形式，其关键在于表层意义与说话者意图之间的不一致，这要求听者整合语境、语义和韵律线索。尽管既往神经影像学研究已表明，一个广泛的脑网络——包括颞叶皮层、额下回和内侧前额叶皮层——参与了对反讽性和讥讽性言语的理解，但语义信息与韵律信息整合所依赖的精确神经机制仍不明确。在本研究中，我们采用体素级编码模型，系统识别在非字面语言理解过程中专门参与整合韵律线索与语义线索的脑区，以弥补这一空白。参与者聆听了自然主义的听觉对话，其中话语语境以及目标话语的语义和韵律均经过系统操纵。我们利用基于Transformer的模型构建了定制的文本嵌入，以捕捉反讽陈述中依赖语境的语义表征，同时提取了表征情感韵律的声学特征。随后，我们拟合岭回归模型，使用语义特征、韵律特征及其组合特征在体素水平预测BOLD反应，并通过基于置换的合取检验，将整合界定为每种模态均能在另一种模态基础上提供额外预测信息的体素。整合韵律与语义的脑区取决于是否对话语语境进行建模：当陈述以孤立形式编码时，整合仅限于双侧颞叶言语皮层；而当根据每个陈述与前文语境的相关性对其加权时，左侧额下回眶部（IFGorb）也被额外招募。这些发现表明，左侧IFGorb负责将韵律与依赖语境的意义加以整合；当理解过程需要同时结合语义、韵律和语境线索——如在反讽和讥讽中——该区域会在颞叶言语皮层之外被特异性激活。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.21.746185v1?rss=1

🏷️ 反讽理解 韵律语义整合 体素级编码模型 大语言模型 功能磁共振成像 左侧额下回