- 4 次围观
缩放定律有助于确定训练大模型的最优数据规模,但这类定律通常建立在目标是确定性的领域中。生理信号则有所不同:心跳序列具有随机性,因此即使拥有大量数据,仍有一部分误差是不可约的。诸如 MAE 之类的指标并未考虑这种非确定性行为,因此,评估缩放效应需要考察分布校准性(即衡量所预测的概率密度对真实条件特征的刻画程度)。 我们提出一个缩放定律 metric(n) = E + A*n^-,并使用五种指标对其进行评估:精度指标(MAE、RMSE)、分布校准指标(KS 距离、拟合优度)以及训练目标(负对数损失)。这些评估基于一个在由四导联 ECG 数据集构成的队列上训练的神经时间点过程模型。该定律与五种指标均拟合良好。尽管点预测精度在 n=183 时已接近饱和,但当外推至 10,000 名受试者时,KS 距离和拟合优度仍分别提升了 6% 和 12%。这表明,在随机性领域中,缩放决策必须由分布校准性而非点预测精度来指导。
尺度定律有助于确定训练大型模型的最优数据规模,但它们通常建立在目标为确定性的领域中。生理信号则不同:心跳序列具有随机性,因此即使拥有大量数据,误差中仍有一部分是不可约的。诸如 MAE 之类的指标并未考虑这种非确定性行为,因此,评估尺度效应需要考察分布校准性(即衡量预测的概率密度对真实条件特征的刻画程度)。
我们构建了一个尺度定律 metric(n) = E + A*n^- ,并使用五项指标对其进行评估:准确性(MAE、RMSE)、分布校准性(KS 距离、拟合优度)以及训练目标(负对数损失)。评估基于一个在包含四次 ECG 数据集的队列上训练的神经时间点过程模型。该定律能够拟合全部五项指标。尽管点预测精度在 n=183 时已接近饱和,但当外推至 10,000 名受试者时,KS 距离和拟合优度分别提升了 6% 和 12%,这表明在随机性领域中,尺度扩展决策必须由分布校准性而非点预测精度来指导。
📄 原文链接:https://www.biorxiv.org/content/10.64898/2026.08.11.744303v1?rss=1
🏷️ 缩放定律 生理信号建模 心电图 时间点过程 分布校准
来源出处
迈向生理学尺度定律:随机序列数据中模型质量与队列规模的关系
https://www.biorxiv.org/content/10.64898/2026.08.11.744303v1?rss=1