在高伽马脑电皮层电图编码中，惊讶度相较于上下文嵌入的额外贡献很小

惊讶度和上下文嵌入都源自大型语言模型，并被广泛用于预测语言理解过程中的神经反应，但目前尚不清楚，在嵌入之外，惊讶度是否还能提供额外信息。我们直接检验这一问题：在纳入 GPT-2 XL 上下文嵌入之后，词语惊讶度是否能够提高对高伽马 ECoG 反应的样本外预测？ 利用来自自然语音的公开 ECoG 记录，我们拟合了词语对齐的岭回归编码模型，其中包含基线刺激特征、GPT-2 XL 嵌入和 GPT-2 XL 惊讶度。加入一个惊讶度预测变量后，在中心时滞处，对保留测试集相关性的影响基本保持不变；并且在备选时滞和敏感性分析中，该效应始终处于预先规定的等效性界限之内。这个近乎为零的增量表明，惊讶度并不能作为一个独立的预测变量发挥作用。更恰当的理解是，它是对嵌入已经捕捉到的同一更广泛预测状态的一种压缩读出。

惊讶度和上下文嵌入都源自大型语言模型，并被广泛用于预测语言理解过程中的神经反应，但目前尚不清楚，在嵌入之外，惊讶度是否还能提供额外信息。我们对此进行了直接检验：在纳入 GPT-2 XL 上下文嵌入之后，词语惊讶度是否能够提高对高伽马 ECoG 反应的样本外预测？利用来自自然语音的公开 ECoG 记录，我们拟合了与词语对齐的岭回归编码模型，其中包含基线刺激特征、GPT-2 XL 嵌入和 GPT-2 XL 惊讶度。加入一个惊讶度预测变量后，在中心时滞处，对保留测试集相关性的影响几乎没有变化；在其他备选时滞和敏感性分析中，该效应也始终处于预先设定的等效性界限之内。这种近乎为零的增量表明，惊讶度并不作为一个独立预测变量发挥作用。更恰当的理解是，它是对嵌入已然捕捉到的同一更广泛预测状态的一种压缩读出。

感谢您关注并帮助传播 bioRxiv 上的研究成果。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.10.737662v1?rss=1

🏷️ 高伽马脑电皮层电图 语言理解 词语惊讶度 上下文嵌入 GPT-2 XL 编码模型