- 2 次围观
人类在日常生活中依赖多种感觉通道，如视觉、听觉和触觉，来感知材料。既往研究表明，多感官知觉会产生促进效应，然而导致这种促进效应的机制仍然知之甚少。一种潜在机制是跨模态预测，即一种感觉通道的输入会生成关于另一种感觉通道的预测。尽管关于多感官促进效应的大量研究集中于自下而上的过程，例如空间、时间和语义一致性，但跨模态预测的作用，尤其是在材料知觉中的作用，尚未得到充分关注。为填补这一空白，我们开展了两项实验：一项反应时任务和一项材料评分任务。在实验中，被试观看熟悉物体落至地面的计算机生成动画。该范式利用了撞击事件的自然时间结构：撞击前的视觉外观提供了有关物体材料的信息，因此能够生成对即将到来的撞击声音的预期。关键在于，被试只能看到撞击发生前的事件，此后视频即被掩蔽。因此，视觉和听觉在时间上是对齐的，但并非同时呈现，这使我们能够在不存在自下而上冲突的情况下，分离由视觉驱动的预期对传入听觉信息的影响。在某些试次中，声音与预期材料相匹配；而在一部分试次中，声音则与之不一致，从而违背了由先前视觉信息所诱发的预期。 在两项实验中，被试在不一致试次中的反应时间均长于一致试次，这表明其加工需求有所增加。在评分任务中，不一致试次还改变了材料判断，使得评分反映了传入听觉信息与视觉驱动预测的加权组合，而在线索相对权重方面存在显著的个体差异。这些发现表明，来自一种感觉通道——具体而言是视觉——的关于材料属性的先验，不仅会在该通道内部建立关于物体未来状态的高层次预期，而且还会扩展至跨模态层面。
人类在日常生活中依赖多种感觉模态，如视觉、听觉和触觉，来感知材料。既有研究表明，多感官知觉会产生促进效应，然而导致这种促进效应的机制仍然知之甚少。一种潜在机制是跨模态预测，即一种模态的输入会生成关于另一种模态的预测。尽管关于多感官促进效应的大量研究主要聚焦于自下而上的过程，例如空间、时间和语义一致性，但跨模态预测的作用，尤其是在材料知觉中的作用，尚未得到充分关注。为填补这一空白，我们开展了两个实验：一个反应时任务和一个材料评价任务。在实验中，参与者观看熟悉物体落至地面的计算机生成动画。该范式利用了撞击事件的自然时间结构：撞击前的视觉外观提供了关于物体材料的信息，因此能够生成对即将到来的撞击声音的预期。关键在于，参与者只能看到撞击发生之前的事件，随后视频即被掩蔽。因此，视觉与听觉在时间上是对齐的，但并非同时呈现，这使我们能够在不存在自下而上冲突的情况下，分离出视觉驱动的预期对输入听觉信息的影响。在某些试次中，声音与预期材料相匹配；而在另一些试次中，声音则不一致，从而违反了先前视觉信息所引发的预期。在两个实验中，参与者在不一致试次中的反应时间均长于一致试次，这表明其加工需求有所增加。在评价任务中，不一致试次还改变了材料判断，使得评分反映了输入听觉信息与视觉驱动预测的加权组合，并且在线索相对加权方面存在显著的个体差异。这些发现表明，来自一种模态——具体而言是视觉——的关于材料属性的先验，不仅会在该模态内部建立关于物体未来状态的高层次预期，而且还会扩展至跨模态层面。
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.24.734160v1?rss=1
🏷️ 跨模态知觉 材料知觉 多感官整合 预测加工 视觉听觉交互
来源出处