语音清晰度在多模态句子理解过程中塑造听觉注意并影响视觉信号耦合

面对面交流要求听者注意、整合并权衡多种交际信号，包括听觉言语、口部运动以及伴随言语的手势。这些信号的贡献可能取决于听觉输入的可靠性以及可用信号所提供的信息量。我们采用结合脑电图（EEG）的快速隐形频率标记技术（rapid invisible frequency tagging, RIFT），考察参与者在清晰和不利听觉条件下如何注意并整合这些不同信号。 参与者观看一位女演员说出清晰句子或经噪声声码化处理句子的视频。听觉言语以58Hz进行振幅调制，而手势区域和口部区域的亮度分别以63Hz和65Hz进行频率标记。受损言语在听觉标记频率上诱发了更强的反应，这表明当聆听具有挑战性时，对听觉信号的注意增益会增强。相比之下，清晰言语在手势标记频率上诱发了更强的反应，并产生了更强的2Hz互调反应（65−63Hz），这反映出口部运动与手势之间增强的非线性耦合。最后，在受损言语条件下，口部运动而非手势的信息量与互调强度相关，这表明当聆听具有挑战性时，口部运动的信息量在多感官交互中发挥更大的作用。我们的研究结果表明，在口语语言理解过程中，信号可靠性和信息量都会共同塑造多感官整合。

语音清晰度在多模态句子理解过程中塑造听觉注意与视觉信号耦合 | bioRxiv

跳转至主要内容

首页

关于

提交

提醒 / RSS

搜索此关键词

高级搜索

新结果

语音清晰度在多模态句子理解过程中塑造听觉注意与视觉信号耦合

Cecilia Husta，

Noor Seijdel，

Linda Drijvers

doi： https://doi.org/10.64898/2026.07.13.738151

Cecilia Husta

1 马克斯·普朗克心理语言学研究所；

在 Google Scholar 上查找该作者

在 PubMed 上查找该作者

在持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。

本文依据 CC-BY-NC 4.0 国际许可协议 公开提供。

返回顶部

上一页

下一页

发布于 2026 年 7 月 14 日。

下载 PDF

电子邮件

感谢您有兴趣帮助传播 bioRxiv 的内容。

您的电子邮件

*

您的姓名

*

发送至

*

请输入多个地址，每行一个，或用逗号分隔。

您将通过电子邮件发送以下内容

语音清晰度在多模态句子理解过程中塑造听觉注意与视觉信号耦合

消息主题

（您的姓名）已从 bioRxiv 转发一个页面给您

消息正文

（您的姓名）认为您可能希望查看 bioRxiv 网站上的此页面。

您的个人留言

验证码

此问题用于测试您是否为人工访客，并防止自动垃圾信息提交。

分享

语音清晰度在多模态句子理解过程中塑造听觉注意与视觉信号耦合

Cecilia Husta，

Noor Seijdel，

Linda Drijvers

bioRxiv

2026.07.13.738151； doi： https://doi.org/10.64898/2026.07.13.738151

分享本文：

复制

引文工具

语音清晰度在多模态句子理解过程中塑造听觉注意与视觉信号耦合

Cecilia Husta，

Noor Seijdel，

Linda Drijvers

bioRxiv

2026.07.13.738151； doi： https://doi.org/10.64898/2026.07.13.738151

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.13.738151v1?rss=1

🏷️ 脑电图 多模态语言理解 听觉注意 视听整合 频率标记