奖励波动性对多种学习策略仲裁的非线性影响反映了成本—收益优化

动作选择涉及两种系统：一种是无模型强化学习策略，它依赖于动作—结果配对的经验；另一种是基于模型的强化学习策略，它通过利用环境中不变结构的模型进行推断，从而支持更灵活的行为。尽管环境变化要求更高的行为灵活性，但波动性这一刻画环境变化速度或频率的高阶统计量，是否能够系统性地调节这些策略，仍不明确。我们使用两种改编的两步决策任务，考察了奖励波动性对无模型与基于模型强化学习策略之间仲裁的影响。在实验1中，参与者完成了具有不同奖励波动性水平和时间压力条件的任务。在实验2中，我们在更广泛的范围内系统操纵奖励波动性，以评估波动性与学习策略之间的关系。行为数据采用与模型无关的单试次和多试次回溯分析、强化学习模拟以及分层贝叶斯模型拟合进行分析。 在各项实验中，奖励波动性对无模型与基于模型强化学习策略之间的仲裁呈现倒U形的非线性影响，即基于模型的学习策略在中等水平的奖励波动性下受到最强驱动。这种调节效应仅出现在已经学习到任务中转换结构的个体中；而未学习到转换结构的个体无论奖励波动性如何，均依赖无模型学习策略。强化学习模拟表明，基于模型学习策略相对于无模型学习策略的相对优势在中等水平的奖励波动性下达到峰值。此外，时间压力的增加会使行为偏向无模型学习策略。这些结果表明，即使人类知晓任务结构，在不确定且动态变化的环境中也并不总是采用基于模型的强化学习策略，这一发现支持了成本—收益优化观点。

动作选择涉及两种系统：一种是无模型强化学习策略，它依赖于行动—结果配对的经验；另一种是基于模型的强化学习策略，它利用关于环境不变结构的模型进行推断，从而支持更加灵活的行为。尽管环境变化要求更强的行为灵活性，但波动性这一刻画环境变化速度或频率的高阶统计量，是否能够系统性地调节这些策略，仍不明确。我们使用两种经过修改的两步决策任务，考察了奖励波动性对无模型与基于模型强化学习策略之间仲裁的影响。在实验1中，参与者完成了具有不同奖励波动性水平和时间压力的任务。在实验2中，我们在更广泛的范围内系统操纵奖励波动性，以评估波动性与学习策略之间的关系。行为数据采用与模型无关的单试次和多试次回溯分析、强化学习模拟以及层级贝叶斯模型拟合进行分析。跨实验结果表明，奖励波动性对无模型与基于模型强化学习策略之间的仲裁表现出倒U形的非线性影响，其中基于模型的学习策略在中等水平的奖励波动性下受到最强驱动。这种调节效应仅出现在已经学会任务中状态转移结构的个体中，而未学会转移结构的个体无论奖励波动性如何，均依赖无模型学习策略。强化学习模拟显示，基于模型学习策略相对于无模型学习策略的相对优势在中等水平的奖励波动性下达到峰值。此外，时间压力的增加会使行为转向无模型学习策略。这些结果表明，即使人类知晓任务结构，在不确定且动态变化的环境中也并不总是采用基于模型的强化学习策略，这一发现支持了成本—收益优化的观点。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.15.732293v1?rss=1

🏷️ 强化学习 基于模型学习 无模型学习 决策行为 奖励波动性 成本收益优化