逆向强化学习揭示自然情境决策中的行动导向价值信号

认知神经科学面临的一项重大挑战，是解释在复杂且自然主义的环境中，目标导向行为的价值如何被计算。标准的决策计算模型在受控的、基于试次的范式中已取得了巨大成功，但对于在自然主义范式中实时展开的行为，它们往往并不适用。逆向强化学习（IRL）提供了一种从自然主义环境中的观察行为推断潜在评估状态的方法，但其神经层面的可解释性在很大程度上仍不清楚。在本研究中，我们考察了在fMRI扫描期间执行的一项实时驾驶任务中，由IRL推导出的逐时刻奖励轨迹是否映射到大脑中的价值信号。 由IRL推导的奖励轨迹与背侧纹状体的活动表现出最稳健的关联；背侧纹状体通常被认为与价值引导的动作选择有关。奖励轨迹还与支持其他附加过程的分布式脑区表现出关联，其中包括认知控制和感觉运动加工。这一模式表明，IRL奖励捕捉到了以奖赏回路为中心的分布式神经活动，可能反映了价值评估如何与其他过程相互作用。综上，这些发现表明，IRL奖励为自然主义决策中的行动导向价值评估提供了一种以行为为基础、具有时间分辨率的代理指标。

认知神经科学面临的一项重大挑战，是解释在复杂且自然主义的环境中，目标导向行为的价值如何被计算。决策制定的标准计算模型在受控的、基于试次的实验范式中已取得了巨大成功，但对于在自然主义范式中实时展开的行为，它们往往并不适用。逆强化学习（IRL）提供了一种根据自然主义环境中的观察行为推断潜在评价状态的方法，但其神经层面的可解释性在很大程度上仍不清楚。在本研究中，我们考察了在功能性磁共振成像（fMRI）扫描期间执行的一项实时驾驶任务中，由IRL推导出的时刻对时刻奖励轨迹是否映射到大脑中的价值信号。

由IRL推导出的奖励轨迹与背侧纹状体中的活动表现出最稳健的关联，而背侧纹状体通常被认为与价值引导的动作选择有关。它们还与支持其他过程的分布式脑区表现出关联，这些过程包括认知控制和感觉运动加工。这一模式表明，IRL奖励捕捉到了以奖赏回路为中心的分布式神经活动，可能反映了价值评估如何与其他过程相互作用。总体而言，这些发现表明，IRL奖励为自然主义决策中的行动导向价值评估提供了一种以行为为基础、具有时间分辨性的代理指标。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.24.733779v1?rss=1

🏷️ 逆向强化学习 自然主义决策 fMRI 价值信号 背侧纹状体