熵正则化强化学习统一了纹状体尾部中的厌恶性预测误差与动作预测误差

纹状体尾部（tail of the striatum, TS）中的多巴胺活动对多巴胺强化学习理论提出了一个新的挑战。一些研究表明，投射至TS的多巴胺信号编码了厌恶性或威胁预测误差；而另一些研究则认为，这些信号编码了参与柔性习惯形成的动作预测误差。在此，我们表明，这两种观点并非必然相互排斥。我们构建了一个熵正则化强化学习模型，其中投射至TS的多巴胺神经元同时更新厌恶价值和默认策略。在该模型中，威胁信念对厌恶价值的初始化起门控作用，从而在个体从潜在威胁性新异物体撤退时产生类似TS的活动；与此同时，默认策略学习则生成动作预测误差信号，并随着动作逐渐习惯化而减弱。我们的结果进一步表明，为什么在我们的模型中，这两类信号都可能需要共存于时间差分误差之中；并且在定性上重现了此前分别用于支持这两种观点的研究中的关键反应模式和模拟结果。除这种描述性的调和之外，我们的模型模拟还凸显了纹状体尾部在潜在威胁情境下谨慎行为以及在结果不确定性条件下稳定学习中的规范性作用。

纹状体尾部（TS）中的多巴胺活动为多巴胺的强化学习理论提出了一个新的挑战。一些研究表明，投射至 TS 的多巴胺信号编码厌恶性或威胁预测误差信号；另一些研究则认为，这些信号编码参与软习惯形成的动作预测误差信号。这里，我们表明这两种解释并不必然互斥。我们构建了一个熵正则化的强化学习模型，其中投射至 TS 的多巴胺神经元同时更新厌恶价值和默认策略。在该模型中，威胁信念对厌恶价值初始化进行门控，从而在从潜在威胁性的陌生物体后退时产生类似 TS 的活动；与此同时，默认策略学习生成动作预测误差信号，并且随着动作变得习惯化，这些信号逐渐减弱。我们的结果进一步表明，为什么在我们的模型中，这两种信号可能都需要共存于时序差分误差之中，并且能够定性重现先前被用来支持这两种观点的研究中的关键反应模式和模拟结果。超出这种描述性的调和，我们的模型模拟还强调了纹状体尾部在潜在威胁情境中的谨慎行为以及在结果不确定性面前的稳定学习中的规范性作用。

作者声明不存在竞争性利益。

感谢您关注并传播 bioRxiv 的相关内容。

注：我们仅请求您的电子邮件地址，以便将您识别为本文的发送者。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.09.737461v1?rss=1

🏷️ 纹状体尾部 多巴胺信号 强化学习 预测误差 厌恶价值 动作习惯化