神经网络作为决策树：学习与神经选择性的分析框架

非线性神经网络会形成结构化的内部表征，但其几何结构如何由所学习的任务决定，仍缺乏充分认识。在此，我们为分段线性前馈网络和循环网络建立了一个分析框架，将学习过程、激活区域结构与神经元选择性联系起来。我们表明，在梯度对齐学习的任一驻点处，非线性网络都可以分解为定义在其各个激活区域上的局部线性回归。相应最小二乘解的偏离受到跨区域共享的网络权重的共同约束，并在低误差状态下趋于消失，从而得到对任务进行近似分段最小二乘分解的结果。这一结构可以用决策树加以解释；通过拟合决策树来根据输入预测网络的激活模式，我们在数值上恢复了这种解释。我们进一步推导出，神经元处于激活状态的区域如何决定其所表征的任务统计特征，进而将神经元选择性组织为不同的亚群体。由此得到的预测与在模拟网络以及两个实证神经数据集上观察到的选择性几何结构高度吻合。最后，我们表明，神经基线调节着激活模式的多样性，使网络处于从粗粒度、具有泛化能力的表征到细粒度、表达能力更强的表征这一连续谱上。总体而言，这些结果确立了激活区域这一统一框架，用于描述非线性网络如何将任务结构分解为局部计算，以及如何通过神经活动揭示这些计算。

非线性神经网络会形成具有结构的内部表征，但其几何结构如何由所学习的任务决定，仍缺乏充分理解。本文针对分段线性前馈网络和循环网络建立了一个分析框架，将学习过程、激活区域结构与神经选择性联系起来。我们证明，在梯度对齐学习的任意驻点处，非线性网络都可在其各个激活区域上分解为局部线性回归。相应最小二乘解的偏差受到跨区域共享的网络权重的共同约束，并且在低误差状态下趋于消失，从而得到对任务的近似分段最小二乘分解。这一结构可以用决策树加以解释；我们通过拟合决策树，根据输入预测网络的激活模式，从数值上恢复了这种解释。进一步地，我们推导出神经元处于激活状态的区域如何决定其所表征的任务统计特征，进而将神经选择性组织为不同的亚群体。所得预测与模拟网络以及两个实证神经数据集中的选择性几何结构高度吻合。最后，我们表明，神经基线会调节激活模式的多样性，使网络处于从粗粒度、具有泛化能力的表征到细粒度、富有表达力的表征这一连续谱上。综上，这些结果确立了激活区域这一统一框架，用于描述非线性网络如何将任务结构分解为局部计算，以及如何通过神经活动揭示这些计算。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.09.23.753718v1?rss=1

🏷️ 神经网络 决策树 神经元选择性 激活区域 表征学习 计算神经科学