自然阅读过程中大脑与语言的对齐及其被走神的破坏

编码模型为将语言的计算表示与神经活动联系起来提供了一个有原则的框架，但关于脑—语言对齐的脑电图（EEG）证据大多来自高度受控的逐词阅读范式。在自然主义阅读过程中是否能够检测到这种对齐，以及注意力短暂脱离会如何影响这种对齐，仍不清楚。我们利用 ROAMM 这一多模态数据集对此进行了研究。该数据集包含 44 名参与者在阅读自然文本时的同步 EEG 和眼动记录，并提供了时间分辨的走神（mind-wandering, MW）标注。我们使用岭回归编码模型，从五种词嵌入模型（GloVe、word2vec、BERT、GPT-2 和 Llama 3）中预测与注视对齐的 EEG 频谱功率和注视相关电位（FRP）。采用带有假发现率校正的置换检验后，我们发现两类特征均存在统计上可靠的脑—语言对齐，其中上下文嵌入优于静态嵌入。频谱对齐在顶叶电极的 alpha 频段和低 beta 频段最强，而基于 FRP 的对齐在注视起始后 200—300 ms 于中央和顶枕区域达到峰值。借助 ROAMM 的跨度级 MW 标注，我们进一步表明，在 MW 期间脑—语言对齐系统性减弱；且这一效应对振荡（PSD）特征的影响显著大于对事件相关（FRP）特征的影响。这些发现表明，尽管 EEG 本身噪声较大，现代语言模型表示仍会在自然主义阅读中的脑电活动中得到反映；同时，注意力波动是脑—语言编码研究中一个被低估的变异来源。

编码模型为将语言的计算表示与神经活动联系起来提供了一个原则性框架，但关于脑—语言对齐的大多数脑电图（EEG）证据都来自严格控制的逐词阅读范式。在自然阅读过程中是否也能检测到这种对齐，以及注意力分散会如何影响这种对齐，目前仍不清楚。我们使用 ROAMM 数据集解决了这些问题。该数据集包含 44 名参与者在阅读自然文本时同步采集的 EEG 与眼动记录，以及时间分辨的走神（MW）标注。我们采用岭回归编码模型，基于五种词嵌入模型（GloVe、word2vec、BERT、GPT-2 和 Llama 3）预测与注视对齐的 EEG 频谱功率和注视相关电位（FRPs）。通过结合置换检验与假发现率校正，我们发现两类特征均存在统计上可靠的脑—语言对齐，其中上下文嵌入优于静态嵌入。频谱对齐在顶叶电极的 alpha 波段和低 beta 波段最强，而基于 FRP 的对齐在注视开始后 200—300 ms、中央及顶枕区域达到峰值。利用 ROAMM 的跨度级 MW 标注，我们进一步表明，在 MW 期间脑—语言对齐会系统性减弱，而且这一效应在振荡特征（PSD）上明显大于事件相关特征（FRP）。这些结果表明，尽管 EEG 具有固有噪声，现代语言模型表征仍会在自然阅读中的 EEG 活动中体现出来；同时，注意力波动是脑—语言编码研究中一个被低估的变异来源。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.14.744875v1?rss=1

🏷️ 自然阅读 脑-语言对齐 脑电图EEG 走神 语言模型表示 编码模型