训练范式在塑造连接性与动力学中的作用：循环神经网络模型中基于梯度与进化方法的比较

通过时间反向传播（BPTT）训练的循环神经网络（RNN）利用梯度和全局误差信号来解决任务，而进化算法（EA）则通过无梯度优化提供了一种替代性方案。这两类方法都可以通过调整网络权重来解决相同的任务，但训练范式的选择如何对最终的连接结构及其产生的动力学施加偏置，仍不明确。在从任务训练的RNN中得出结论时，尤其是在将其作为神经生物学计算代理模型的情况下，必须考虑所得网络结构是否源于训练方法本身。 在此，我们比较了四种训练范式——BPTT、进化策略（ES）、遗传算法（GA）以及结合Oja赫布可塑性规则的GA（GA+Oja）——在包含32、64和128个神经元的RNN中的表现。这些训练范式被应用于两种具有鲜明对比的任务，这两类任务可作为动物所执行任务的代表：一个离散工作记忆任务和一个连续感觉运动整合任务。对于这两项任务，我们通过四项指标分析了每种训练算法如何改变网络：输入层、循环（隐藏）层和输出层之间的权重变化分配；循环权重矩阵的有效秩；隐藏状态动力学的维度；以及任务准确率。BPTT在所有任务条件下都实现了近乎完美的准确率，并且随着工作记忆任务难度的增加，逐步将更多的权重变化分配到输出层，同时将隐藏状态活动限制在比任何进化方法都更低维的子空间中。进化方法则保持了更高的循环有效秩、更高的活动维度，并且没有出现与任务难度相关、向读出层重新分配权重变化的类似现象，同时仍维持了与BPTT相当的任务准确率。 这些发现表明，基于梯度和无梯度的算法在面对相同计算问题时，会发现不同的结构性与动力学解决方案，尤其是在涉及工作记忆的任务中；这对于将任务训练的RNN作为生物神经计算模型进行分析具有重要意义。由进化和局部可塑性而非梯度下降塑造的生物神经回路，可能运行于比梯度训练的RNN模型所预测的更高维度状态空间。

训练范式在塑造连接性与动力学中的作用：循环神经网络模型中基于梯度方法与进化方法的比较 | bioRxiv

跳转至主要内容

首页 关于 投稿 提醒 / RSS 搜索此关键词 高级搜索 最新结果

训练范式在塑造连接性与动力学中的作用：循环神经网络模型中基于梯度方法与进化方法的比较

Ivyer Mingwei Qu，Jiayue Dora Li，Yuqing Zhu

doi： https://doi.org/10.64898/2026.07.09.737022

Ivyer Mingwei Qu 1 波莫纳学院；

在 Google Scholar 上查找该作者 在 PubMed 上查找该作者 在持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。 本文依据 CC-BY-NC-ND 4.0 国际许可协议 提供。

返回顶部 上一项 下一项

发表于 2026 年 7 月 15 日。 下载 PDF 数据/代码 电子邮件

您的电子邮件 * 您的姓名 * 发送至 * 请输入多个地址（每行一个）或用逗号分隔。

您将要通过电子邮件发送以下内容

训练范式在塑造连接性与动力学中的作用：循环神经网络模型中基于梯度方法与进化方法的比较

消息主题

（您的姓名）已从 bioRxiv 转发一个页面给您

消息正文

（您的姓名）认为您可能希望查看 bioRxiv 网站上的此页面。

您的个人留言

验证码

此问题用于测试您是否为人工访问者，并防止自动垃圾信息提交。

分享

训练范式在塑造连接性与动力学中的作用：循环神经网络模型中基于梯度方法与进化方法的比较

Ivyer Mingwei Qu，Jiayue Dora Li，Yuqing Zhu

bioRxiv 2026.07.09.737022； doi： https://doi.org/10.64898/2026.07.09.737022

分享本文： 复制

引文工具

训练范式在塑造连接性与动力学中的作用：循环神经网络模型中基于梯度方法与进化方法的比较

Ivyer Mingwei Qu，Jiayue Dora Li，Yuqing Zhu

bioRxiv 2026.07.09.737022； doi： https://doi.org/10.64898/2026.07.09.737022

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.09.737022v1?rss=1

🏷️ 循环神经网络 训练范式比较 反向传播 进化算法 网络动力学 工作记忆