谁对谁有贡献:追溯蛋白质语言模型预测主链可变性背后的证据

由 root 提交于 周六, 10/31/2026 - 04:47
摘要

背景:蛋白质在保持整体折叠结构的同时,其骨架可探索不同的局部构象。基于序列的模型能够预测这种变异性,但准确的预测并不能揭示模型如何得出该结果。仅凭注意力权重无法判断某一序列位置的信息是支持还是反对某项预测。结果:我们开发了 ESMfluc,用于预测局部骨架变异性,并考察其决策背后的证据。该模型基于 ATLAS 分子动力学模拟数据进行训练,利用 ESM2 或 ESM3 蛋白质语言模型表征,区分仅采样一种蛋白质结构块(Protein Block,PB)状态的残基与采样多种 PB 状态的残基。在七种模型配置中,表现最佳的是经过微调的 ESM3 模型,其在 208 个留出的 ATLAS 蛋白质上的受试者工作特征曲线下面积(AUROC)达到 0.889。在依据与 ATLAS 的序列相似性进行筛选的 985 个 mdCATH 结构域中,排除各链两端各两个残基后,该模型与 PB 状态变异性之间的域内 Spearman 相关系数均值为 0.616,而表现最强的外部预测方法 PEGASUS 为 0.589(纳入所有位置时,两者分别为 0.634 和 0.527)。若干外部预测方法与均方根涨落的一致性高于 ESMfluc。对最终注意力分类器阶段的精确分解揭示了哪些序列位置为各类别提供证据,并将某一位置受到关注的强度与其证据所支持的类别区分开来。由此得到的影响谱识别出了正向和负向影响带;这些影响带在不同训练随机种子下重复出现的频率,高于对其位置进行循环移位后所预期的水平。与匹配的非带状区域残基相比,支持多 PB 状态预测的峰值位置在相邻……之间表现出更大的预测骨架角度差异实验结构中的残基数量更少,接触也更少。支持单一 PB 预测的峰表现出更小的角度差异。将学习到的注意力替换为均匀注意力后,支持多个 PB 的候选条带数量由每个蛋白质五至六条降至不足一条。结论:ESMfluc 将基于序列的预测与对其所依据证据的直接观察联系起来。这些图谱将模型证据与局部几何结构及其结构环境相关联,但并未证明存在物理通信通路或揭示突变效应。ESMfluc 是对位置波动预测器的补充,而非替代。

背景:蛋白质可以保持其整体折叠结构,同时其主链探索不同的局部构象。基于序列的模型能够预测这种变异性,但即使预测准确,我们仍无法得知模型是如何得出该预测的。仅凭注意力权重无法判断序列中的某一位置所包含的信息究竟是支持还是反对某项预测。

结果:我们开发了 ESMfluc,用于预测局部主链变异性并探究其决策背后的证据。该模型基于 ATLAS 分子动力学模拟进行训练,利用 ESM2 或 ESM3 蛋白质语言模型的表征,区分仅采样一种 Protein Block(PB)状态的残基与采样多种 PB 状态的残基。在七种模型条件中表现最佳的微调 ESM3 模型,在 208 个留出的 ATLAS 蛋白质上取得了 0.889 的受试者工作特征曲线下面积(AUROC)。在 985 个经过筛选、与 ATLAS 具有序列相似性的 mdCATH 结构域中,排除每条链末端的两个残基后,其域内平均 Spearman 相关系数为 0.616,而表现最强的外部预测器 PEGASUS 的相应数值为 0.589(纳入所有位置时,二者分别为 0.634 和 0.527)。有几种外部预测器与均方根波动的吻合程度高于 ESMfluc。对最终注意力分类器阶段进行精确分解后,可以揭示哪些序列位置为每个类别提供了证据,并将某一位置受到注意的程度与其所支持的证据内容区分开来。所得的影响谱确定了正向和负向影响带;与在其位置进行循环移位后预期出现的情况相比,这些影响带在不同训练随机种子之间重复出现的频率更高。与匹配的非带状残基相比,支持多 PB 预测的峰值在相邻……之间的预测主链角度差异更大。

在实验结构中,这些残基的数量更少,接触也更少。支持单个 PB 预测的峰表现出更小的角度差异。将学习得到的注意力替换为均匀注意力后,每个蛋白质中支持多个 PB 的候选带状区域由五至六个减少到不足一个。

结论:ESMfluc 将基于序列的预测与对其所依据证据的直接观察联系起来。这些图谱将模型证据与局部几何特征及结构环境相关联,但并未确立物理通信通路或突变效应。ESMfluc 可作为位置波动预测器的补充,而非替代。

作者声明不存在利益冲突。

感谢您有兴趣帮助传播 bioRxiv 的信息。

注意:要求提供您的电子邮件地址仅用于确认您是本文的发送者。

关键词:蛋白质语言模型 · 主链构象变异性 · 模型可解释性 · 注意力机制 · 分子动力学模拟 · 蛋白质结构预测

原文链接:https://www.biorxiv.org/content/10.64898/2026.10.27.762338v1?rss=1