- 3 次围观
人工智能研究人员日益通过干预语言模型来研究其功能的组织方式，以类似于长期以来用于绘制卒中后失语症患者语言功能图谱的脑损伤研究的方式，对权重和注意力组件进行静默处理。在机制可解释性这一研究框架下，一种常见做法是消融一个注意力头，并将某种行为随之出现的下降视为该注意力头实现了该行为的证据。然而，这种做法究竟能够在多大程度上确定某一行为的计算位置，仍不明确，因为一个注意力头的移除若会扰乱某种行为，只能说明该注意力头对于该行为是必要的，却不必然意味着该行为正是在此处被计算的。我们以图片命名任务为对象考察了这一问题，并将定义失语症的命名丧失（命名不能，anomia）作为所关注的行为。在六个视觉—语言模型中，我们依次消融每一个注意力头，模型均涵盖三种语言骨干网络及不同的参数规模；在单词图片命名任务中，我们分别测量消融前后的准确率。不同模型之间的定位程度差异很大。在 LLaVA-1.6-Vicuna-13B 中，单个早期注意力头（第 0 层、第 20 个头）是必要的：仅移除该注意力头，就会使命名准确率从 0.99 降至 0.006。然而，该注意力头并非充分条件，因为在保留该头、同时消融其余 1,599 个注意力头时，命名准确率同样降至 0%。两个采用 Mistral 作为骨干网络的模型（LLaVA-Mistral-7B 和 Idefics2-8B）均不存在关键注意力头。所有模型都表现出对早期层的依赖，但依赖强度各不相同；与此同时，对任一单个注意力头的依赖程度则从占主导地位到完全不存在不等。在 Qwen2.5-VL 中，7B 模型存在一个占主导地位的注意力头，而 3B 模型中不存在，这表明这种集中性是随着规模扩大而出现的，而非在同一模型家族中固定不变；此外，这一现象也不能由注意力类型加以解释。这些结果表明，消融某个注意力头后若命名行为受到扰乱，并不能据此证明该注意力头计算了该行为，不能证明这一结果能够跨模型泛化，也不能证明该行为必然定位于某个注意力头。
人工智能研究人员日益通过干预语言模型来研究其功能的组织方式，例如使权重和注意力组件失活；这种做法让人联想到长期以来用于绘制卒中后失语症患者语言功能图谱的脑损伤研究。在机制可解释性这一研究框架下，一种常见做法是对某个注意力头进行消融，并将某项行为随之出现的下降视为该注意力头实现了该行为的证据。然而，这种做法究竟能够在多大程度上说明某项行为是在何处计算的，仍不明确，因为移除某个注意力头会破坏某项行为，只能表明该注意力头对于该行为是必要的，却并不意味着该行为正是在此处被计算的。我们以图片命名任务为对象考察了这一问题，将失语症中作为定义性表现的命名缺失（命名不能）作为所关注的行为。在六个视觉—语言模型中，我们依次对每个注意力头进行消融；这些模型涵盖三种语言骨干网络和一系列参数规模，并在单词图片命名过程中测量消融前后的准确率。
不同模型中的定位程度差异很大。在 LLaVA-1.6-Vicuna-13B 中，单个早期注意力头（第 0 层第 20 个注意力头）是必要的：仅移除该注意力头，就会使命名准确率从 0.99 降至 0.006。然而，该注意力头并非充分条件，因为在保留它的同时对其余 1{,}599 个注意力头进行消融，同样会导致准确率降至 0%。两个采用 Mistral 骨干网络的模型（LLaVA-Mistral-7B 和 Idefics2-8B）均不存在关键注意力头。所有模型都表现出对早期层的依赖，但依赖程度各不相同；相比之下，对任一单个注意力头的依赖程度则从占主导地位到完全不存在不等。在 Qwen2.5-VL 系列中，7B 模型存在一个占主导地位的注意力头，而 3B 模型中不存在，这表明这种集中性是随模型规模增大而出现的，而非在同一模型家族中固定不变；同时，这一现象也无法由注意力类型加以解释。
这些结果表明，对移除后会破坏命名行为的注意力头进行消融，并不能证明该注意力头计算了该行为，不能证明这一结果能够跨模型推广，也不能证明该行为必然定位于某个注意力头。
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.09.15.751760v1?rss=1
🏷️ 视觉-语言模型 机制可解释性 注意力头消融 图片命名 模型行为定位