- 10 次围观
我们对 ESM-2 蛋白质语言模型的六种数值精度配置进行了基准测试，从吞吐量、内存占用和预测准确性三个方面进行评估，并考察了两类特性截然不同的工作负载：批量嵌入提取和深度突变扫描（DMS）变体效应评分。 准确性评估基于完整的 ProteinGym 替换基准——201 个实验、241 万个变体——并在 650M 到 15B 参数范围内的三种模型规模上进行，统计检验采用按蛋白质聚类的配对自助法（paired bootstrap）。由此得到三项结论，而每一项都与一种常见实践相矛盾。 第一，基准平均值掩盖了决定可部署性的失效情形：在任何模型规模下，没有任何一种配置会使平均相关性偏移超过 0.007；然而，INT8 动态量化——在 3B 规模上其平均表现与 fp32 无法区分（p = 0.34）——却会使某一单项实验的 {rho} 从 0.591 降至 0.223。因而，选择应基于最坏情况表现，而非平均表现。 第二，以 fp32 为参照衡量保真度可以界定风险，但不能用于排序质量：在 3015 个实验/配置配对中，它能够预测真实变化幅度的大小（r = 0.56–0.81），却无法预测其方向；此外，INT4 的效应在 650M 与 3B 之间存在显著差异（+0.0101，p = 0.0007），且不存在可供外推的单调趋势。 第三，对大模型进行量化，其收益不及直接使用小模型：在十八种规模/配置组合中，仅有三种在准确性、内存和速度三者之间构成帕累托最优，而这三种全部都是 650M。 我们观察到的唯一灾难性失效，并非 W8A8 本身的缺陷，而是默认对称激活缩放的缺陷：采用非对称激活量化——这一无需校准、只需一行代码的修改——即可消除所有受损实验。我们还给出了一种无需标签即可筛查高风险目标的方法，并报告了本研究中遇到的四类测量伪影，其中三类颠倒了它们原本意图测量的结果。
我们在两类特征截然不同的工作负载上，对 ESM-2 蛋白质语言模型的六种数值精度配置进行了基准测试，评估其吞吐量、内存占用和预测准确性：一类是批量嵌入提取，另一类是深度突变扫描（DMS）变体效应评分。准确性在完整的 ProteinGym 替换基准上进行评估——共 201 个测定、241 万个变体——涵盖 650M 至 15B 参数的三种模型规模，并采用以蛋白质为聚类单位的配对自助法（paired bootstrap）。由此得到三项发现，且每一项都与一种常见实践相矛盾。
第一，基准平均值掩盖了决定可部署性的失效情形：在任何规模下，没有任何一种配置能使平均相关性变化超过 0.007；然而，INT8 动态量化——在 3B 规模上其均值与 fp32 不可区分（p = 0.34）——却会使某一单个测定的 {rho} 从 0.591 降至 0.223。选择配置时必须依据最坏情况表现，而非平均表现。
第二，相对于 fp32 所测得的保真度可以界定风险上限，但不能用于质量排序：在 3015 个“测定/配置”组合中，它能够预测真实变化幅度的大小（r = 0.56-0.81），却不能预测其方向；并且，INT4 的影响在 650M 和 3B 之间存在显著差异（+0.0101，p = 0.0007），且不存在可供外推的单调趋势。
第三，对大模型进行量化，其收益仍然不及直接使用小模型：在 18 种“规模/配置”组合中，只有 3 种在准确性、内存和速度上构成帕累托最优，而这 3 种全部都是 650M。我们观察到的唯一灾难性失效并非 W8A8 本身的问题，而是默认对称激活缩放的缺陷：非对称激活量化只需一行代码修改且无需校准，便可消除所有受损测定。
我们还给出了一种无需标签的高风险目标筛查方法，并报告了本研究中遇到的四类测量伪影，其中三类将其原本意图测量的结果完全颠倒。
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.10.744024v1?rss=1
🏷️ 蛋白质语言模型 模型量化 变体效应预测 深度突变扫描 ProteinGym 性能基准测试