五十年后的听唇辨声与观声辨音:用于视听语音研究的大规模麦格克错觉数据集

由 root 提交于 周四, 10/15/2026 - 02:29

内容形式:摘要译文

高效的面对面交流依赖于听觉语音与视觉发音信号的整合。过去五十年来,麦格克错觉一直被广泛用作衡量视听语音整合的指标。然而,不同参与者和说话者对该错觉的易感性存在显著差异,这限制了它作为视听整合能力稳定测量指标的可靠性。在此,我们介绍麦格克错觉数据集(McGurk illusion dataset,MID)。据我们所知,这是迄今规模最大的公开麦格克刺激数据集。MID包含由80名普通话说话者生成的听觉(N = 400)、视觉(N = 400)和视听(N = 640)语音刺激,并通过涵盖360,900次试次的行为判断进行了验证。基于该数据集,我们刻画了麦格克刺激的声学特征和面部发音特征,重复验证了错觉易感性在参与者和说话者之间存在显著差异,并揭示了麦格克错觉率的变化与单感觉知、视听对应关系及说话者特征变化之间的关联。此外,该刺激集支持对基于不同麦格克错觉指标衡量视听语音整合时的可靠性进行系统比较。总体而言,MID不仅为研究视听语音整合及其在人群中的变化提供了标准化资源,也支持说话者归一化、唇读和语音感知等领域的研究。

关键词:麦格克错觉 · 视听语音整合 · 语音感知 · 唇读 · 行为数据集

原文链接:https://www.biorxiv.org/content/10.64898/2026.06.09.731046v1?rss=1