稀疏自编码器揭示 BiRNA-BERT 中的结构和家族级特征

RNA 语言模型能够学习对结构与功能有用的表示，但其隐藏状态所编码的生物学概念仍然难以解释。BiRNA-BERT 是一种采用自适应字节对分词的 RNA 语言模型，这使其成为机制分析的理想对象。我们提出了 SPIRAL（用于可解释 RNA 分析的稀疏自编码器），这是一种针对 BiRNA-BERT 的逐层稀疏自编码器（SAE）分析方法，能够在保留底层语言模型行为的同时提取可解释的稀疏特征。我们在第 0、5 和 11 层分别训练了独立的稀疏自编码器，每个自编码器都将 768 维隐藏状态扩展为 6,144 个字典特征。 对所学习特征的分析揭示了具有生物学意义的结构和家族选择性。稀疏特征与 bpRNA 的核苷酸级二级结构注释以及 RNAcentral 的类型标签相一致：在第 5 层中，44.3% 的受检特征表现出具有统计显著性的结构关联（平均富集度为 1.61 倍），并且全部 1,237 个符合条件的特征都表现出显著的 RNA 类型关联。与第 5 层的稠密 BiRNA-BERT 嵌入相比，RNA 类型选择性的稀疏表示在 k 近邻分类中的平衡准确率有适度提升。综上，这些结果表明，稀疏自编码器能够从 BiRNA-BERT 中恢复忠实于原模型、具有核苷酸感知能力且具有生物学可解释性的特征分解。

RNA语言模型能够学习对结构与功能有用的表征，但其隐藏状态所编码的生物学概念仍然难以解释。BiRNA-BERT 是一种采用自适应字节对分词的 RNA 语言模型，因此是机制分析的一个有吸引力的研究对象。我们提出了 SPIRAL（用于可解释 RNA 分析的稀疏自编码器），这是一种针对 BiRNA-BERT 的逐层稀疏自编码器（SAE）分析方法，能够在保留底层语言模型行为的同时提取可解释的稀疏特征。我们在第 0、5 和 11 层分别训练了独立的稀疏自编码器，每个自编码器都将 768 维隐藏状态扩展为 6,144 个字典特征。对所学习特征的分析揭示了具有生物学意义的结构和家族选择性。稀疏特征与 bpRNA 的核苷酸水平二级结构注释以及 RNAcentral 的类型标签相一致：在第 5 层中，44.3% 的受检特征显示出统计学显著的结构关联（平均富集倍数为 1.61 倍），并且全部 1,237 个符合条件的特征都表现出显著的 RNA 类型关联。与第 5 层的稠密 BiRNA-BERT 嵌入相比，RNA 类型选择性的稀疏特征谱在 k 近邻分类中的平衡准确率有适度提升。综上，这些结果表明，稀疏自编码器能够从 BiRNA-BERT 中恢复忠实、具备核苷酸感知能力且具有生物学可解释性的特征分解。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.11.744228v1?rss=1

🏷️ RNA语言模型 稀疏自编码器 可解释表示学习 二级结构关联 RNA家族特征