- 1次围观
强化学习是动物学习在特定情境下采取适当行动的重要手段。大量研究表明，这类学习依赖于皮层—基底神经节回路与中脑多巴胺能系统之间的相互作用，但其潜在的回路机制和可塑性规则尚未得到充分理解。在此，我们提出了一个具有生物学合理性的、包含多个脑区的鸣禽发声学习神经回路模型，并将其映射到强化学习的行动者—评论家框架中。在该模型中，皮层—基底神经节通路中的随机脉冲活动实现行动选择并驱动行为探索，而驱动中脑多巴胺能信号的通路则评估行为结果，并支持一种基于奖励预测误差的学习规则，该规则近似于随机梯度上升。该模型实现了毫秒级精确学习，其结果与观察到的行为相一致。我们进一步利用该模型考察生物强化学习面临的两个基本约束。首先，多巴胺能强化信号在时间上并不精确，这可能导致控制时间上相近行动的神经元之间发生干扰。其次，多巴胺能信号在空间上并不精确，这可能导致控制行为不同方面、但接收共同强化信号的神经元之间发生干扰。通过对回路中的行动者和评论家成分进行联合建模，我们表明，在这两种干扰下，快速更新奖励预测对于实现精确且高效的学习至关重要；此外，该模型还预测了实验观察到的奖励预测更新时间尺度。这些结果提示了一种回路层面的机制，说明生物系统如何尽管面临时间和全局神经调节信号的空间局限性
强化学习神经回路模型中空间和时间精确学习的约束条件 | bioRxiv
跳转至主要内容
主页
关于
投稿
提醒 / RSS
搜索此关键词
高级搜索
最新结果
强化学习神经回路模型中空间和时间精确学习的约束条件
查看 ORCID 资料
Mark S
Goldman
，
Yiheng
Wang
，
查看 ORCID 资料
Joergen M.R.
Kornfeld
，
Michale S
Fee
doi：
https://doi.org/10.64898/2026.07.22.740062
Mark S Goldman
1
加利福尼亚大学戴维斯分校；
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Mark S Goldman 的 ORCID 记录
Yiheng Wang
2
加利福尼亚大学戴维斯分校神经科学中心；
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Joergen M.R. Kornfeld
3
MRC 分子生物学实验室；
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Joergen M.R. Kornfeld 的 ORCID 记录
Michale S Fee
4
麻省理工学院
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
通讯作者：
fee{at}mit.edu
摘要
信息/历史
指标
补充材料
预览 PDF
摘要
强化学习是动物学习在特定情境下采取适当行动的一种关键方式。大量研究表明，这类学习依赖于皮层—基底 ganglia 回路与中脑多巴胺能系统之间的相互作用，然而其潜在的回路机制和可塑性规则尚未得到充分理解。在此，我们提出了一个具有生物学合理性的、涵盖多个脑区的鸣禽发声学习神经回路模型，并将其映射至强化学习的行动者—评论家框架。在这一天天中彩票
模型中，皮质-基底神经节通路中的随机脉冲活动实现动作选择并驱动行为探索，而驱动中脑多巴胺能信号的通路则评估行为结果，并支持一种基于奖励预测误差的学习规则，该规则近似于随机梯度上升。该模型实现了毫秒级精确学习，其结果与观察到的行为相一致。我们进一步利用该模型考察生物强化学习的两个基本约束。首先，多巴胺能强化信号在时间上并不精确，这可能导致控制时间上相近动作的神经元之间产生干扰。其次，多巴胺能信号在空间上也不精确，这可能导致控制行为不同方面、但接收共同强化信号的神经元之间产生干扰。通过对该回路中的行动者和评论家成分进行联合建模，我们表明，在这两种干扰形式下，快速更新奖励预测对于实现精确且高效的学习都至关重要；此外，该模型预测的奖励预测更新时间尺度与实验观察结果一致。这些结果提示了一种回路层面的机制，说明生物系统如何尽管受到全局神经调质信号在时间和空间上的局限，仍能实现强化学习。
利益冲突声明
作者声明不存在利益冲突。
基金信息声明
西蒙斯基金会，
版权
本预印本的版权持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。
该预印本依据
CC-BY-NC-ND 4.0 国际许可协议
提供。
返回顶部
上一篇
下一篇
发布于2026年7月22日。
下载 PDF
补充材料
电子邮件
谢谢
感谢您有兴趣传播 bioRxiv 的信息。
注意：请求您的电子邮箱地址仅用于确认您是本文的发送者。
您的电子邮箱
*
您的姓名
*
发送至
*
请在不同的行中输入多个地址，或使用逗号分隔地址。
您将要发送以下内容
强化学习神经回路模型中空间和时间精确学习的约束
邮件主题
（您的姓名）已从 bioRxiv 向您转发了一个页面
邮件正文
（您的姓名）认为您可能会对 bioRxiv 网站上的这一页面感兴趣。
您的个人留言
验证码
此问题用于测试您是否为人类访客，并防止自动垃圾邮件提交。
分享
强化学习神经回路模型中空间和时间精确学习的约束
Mark S. Goldman
Yiheng Wang
Joergen M. R. Kornfeld
Michale S. Fee
bioRxiv
2026.07.22.740062；
doi：
https://doi.org/10.64898/2026.07.22.740062
分享本文：
复制
引文工具
强化学习神经回路模型中空间和时间精确学习的约束
Mark S. Goldman
Yiheng Wang
Joergen M. R. Kornfeld
Michale S. Fee
bioRxiv
2026.07.22.740062；
doi：
https://doi.org/10.64898/2026.07.22.740062
引文管理器格式
BibTeX
Bookends
EasyBib
EndNote（标记格式）
EndNote 8（XML）
Medlars
Mendeley
Papers
RefWorks（标记格式）
Ref Manager
RIS
Zotero
推文组件
Facebook 点赞
Google Plus +1
主题领域
神经科学
主题领域
所有文章
动物行为与认知
（7822）
生物化学
（18264）
生物工程
（14433）
生物信息学
（43205）
生物物理学
（22029）
癌症生物学
（19140）
细胞生物学
（26223）
临床试验
（138）
发育生物学
（13669）
生态学
（20453）
流行病学
（2067）
进化生物学
（24913）
遗传学
（15883）
基因组学
（23051）
免疫学
（18253）
微生物学
（41440）
分子生物学
（17586）
神经科学
（91098）
古生物学
（680）
病理学
（2914）
药理学与毒理学
（4963）
生理学
（7900）
植物生物学
（15551）
科学传播与教育
（2072）
合成生物学
（4440）
系统生物学
（10027）
动物学
（2323）
关键词：强化学习 · 神经回路建模 · 多巴胺能信号 · 奖励预测误差 · 鸣禽发声学习 · 时空精确学习
原文链接：https://www.biorxiv.org/content/10.64898/2026.07.22.740062v1?rss=1