循环神经网络中重缩放剪枝的秩依赖性

在发育和成熟过程中，神经回路会经历大规模的突触修剪，从而在保留稳健群体水平计算能力的同时，形成高度稀疏的连接结构。这些群体动力学通常是低维的，使得与任务相关的计算能够被形式化为潜在子空间中的轨迹。如此低维动力学如何在广泛的网络稀疏化过程中得以保留，仍不清楚。在此，我们研究不同的突触修剪规则如何塑造循环神经网络（RNN）中的低维动力学与任务表现。不同于以往主要关注低秩网络随机稀疏化或具有严格受限结构网络的方法，我们系统评估了具有生物学动机的修剪规则如何与网络的底层秩相互作用。我们表明，修剪后的动力学和任务表现关键性地依赖于网络的初始秩，这是由于不同秩区间具有不同的特征谱特性。通过结合数学分析与仿真，我们证明，带有突触重缩放的修剪能够在低秩RNN中以最小失真保留低维动力学，但在高秩区间中这种能力会下降。我们的研究结果表明，低秩结构与稳态调节性的突触重缩放相结合，对于在稀疏网络中维持稳定的低维动力学至关重要。

hannahch{at}gatech.edu

摘要

信息/历史

指标

预览 PDF

摘要

在发育和成熟过程中，神经回路会经历大规模的突触修剪，从而在保持稳健群体水平计算的同时，形成高度稀疏的连接性。这些群体动力学通常是低维的，因此与任务相关的计算可以被形式化为潜在子空间内的轨迹。在广泛的网络稀疏化过程中，这种低维动力学如何得以保留，仍不清楚。在持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。

本文依据 CC-BY 4.0 国际许可协议 公开提供。

查看讨论主题串。

返回顶部

上一页

下一页

发布于 2026 年 6 月 2 日。

下载 PDF

电子邮件

感谢您有兴趣帮助传播 bioRxiv。

您的电子邮件

*

您的姓名

*

发送至

*

请输入多个地址，每行一个，或用逗号分隔。

您将要发送以下内容的电子邮件

循环神经网络中重标定修剪的秩依赖性

邮件主题

（您的姓名）已从 bioRxiv 转发一个页面给您

邮件正文

（您的姓名）认为您可能希望查看 bioRxiv 网站上的这个页面。

您的个人留言

验证码

此问题用于测试您是否为人类访客，并防止自动垃圾信息提交。

分享

循环神经网络中重标定修剪的秩依赖性

Alex Q Wang ，

Soon Ho Kim ，

Hannah Choi

bioRxiv

2026.05.30.728930；

doi： https://doi.org/10.64898/2026.05.30.728930

分享本文：

复制

引文工具

循环神经网络中重标定修剪的秩依赖性

Alex Q Wang ，

Soon Ho Kim ，

Hannah Choi

bioRxiv

2026.05.30.728930；

doi： https://doi.org/10.64898/2026.05.30.728930

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.05.30.728930v1?rss=1

🏷️ 循环神经网络 突触修剪 低秩结构 低维动力学 网络稀疏化 数学建模