- 5 次围观
缩放定律描述了模型性能如何随着训练数据量的增加而提升，近期诸如 zeta 定律之类的理论表明，缩放行为受模型潜在表征的特征谱影响。在此，我们评估了判别信号在谱模态中的分布是否能够预测未来的缩放行为，研究对象为用于疾病分类的 MRI Transformer。我们使用阿尔茨海默病神经影像计划（ADNI）中的 2,822 例训练扫描，训练了三个监督式 3D 视觉 Transformer（ViT3D、MINiT 和 NIT）用于阿尔茨海默病分类；并将其编码器谱与一个冻结的自监督 DINO ViT-B/16 编码器在三维 MRI 上的适配版本进行比较。监督式模型学习到高度集中的表征，其中 CLS token 方差的 90–96% 由单个主成分解释；而 DINO 则将信号分布于更多潜在方向。通过对马氏信号进行谱展开，我们发现，监督式训练将疾病信息集中到了单一主导模态中，而自监督训练则产生了更丰富的谱几何结构，具有更高的有效秩和可发现性。这导致了不同的缩放行为：监督式模型表现出更平坦的 AUC(N) 曲线，而随着样本量增加，DINO 仍持续提升，从 N=50 到 N=2,822 提升了 11.0 个百分点。总体而言，对于这些不同类型的编码器，判别信号在谱上的分布影响了随着样本量增加仍可发现的性能增益大小。分布式表征可能在更多潜在模态中保留信号，并随着额外数据继续提升；而集中式表征往往会在更低的样本量下耗尽大部分可发现信号。
摘要
尺度定律描述了模型性能如何随着训练数据量的增加而提升，近期诸如 zeta law 的理论则表明，尺度行为会受到模型潜在表示特征谱的影响。在此，我们评估了用于疾病分类训练的 MRI Transformer 中，判别信号在不同频谱模式上的分布是否能够预测未来的尺度行为。我们使用来自阿尔茨海默病神经影像计划（ADNI）的 2,822 例训练扫描，训练了三个有监督的 3D 视觉 Transformer（ViT3D、MINiT 和 NIT）用于阿尔茨海默病分类；并将它们的编码器谱与一个冻结的自监督 DINO ViT-B/16 编码器（已适配至 3D MRI）进行比较。与之相比，有监督模型学习到了高度集中的表示，其 CLS-token 方差的 90–96% 仅由一个主成分解释，而 DINO 则将信号分布在许多潜在方向上。通过对马氏信号进行谱展开，我们发现，有监督训练将疾病信息集中到一个占主导地位的模态中，而自监督训练产生了更丰富的谱几何结构，具有更高的有效秩和可发现性。这导致了不同的尺度行为：有监督模型表现出更平坦的 AUC(N) 曲线，而 DINO 随样持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。
本作品采用 CC-BY-NC 4.0 国际许可 发布。
返回顶部
上一篇
下一篇
发布日期：2026 年 7 月 20 日。
下载 PDF
电子邮件
注意：我们请求您的电子邮件地址仅用于识别您作为本文作者。
您的电子邮件
* 您的姓名
* 发送至
* 可在每行单独输入多个地址，或用逗号分隔。
您将发送以下内容
何时更多数据会带来帮助？MRI Transformer 中的谱几何与尺度定律
消息主题
（您的姓名）已从 bioRxiv 向您转发了一页内容
消息正文
（您的姓名）认为您可能会对 bioRxiv 网站上的此页面感兴趣。
您的个人留言
验证码
此问题用于测试您是否为人类访客，并防止自动垃圾邮件提交。
分享
何时更多数据会带来帮助？MRI Transformer 中的谱几何与尺度定律
Tamoghna Chattopadhyay ， Kartik Shelar ， Sophia I Thomopoulos ， Paul M. Thompson
bioRxiv 2026.07.14.738571； doi： https://doi.org/10.64898/2026.07.14.738571
分享本文：
复制
引用工具
何时更多数据会带来帮助？MRI Transformer 中的谱几何与尺度定律
Tamoghna Chattopadhyay ， Kartik Shelar ， Sophia I Thomopoulos ， Paul M. Thompson
bioRxiv 2026.07.14.738571； doi： https://doi.org/10.64898/2026.07.14.738571
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.14.738571v1?rss=1
🏷️ MRI Transformer 缩放定律 谱几何 自监督学习 阿尔茨海默病分类