双速率运动适应模型中的最优练习时间安排及其通过强化学习的恢复

一位临床医生引导卒中患者完成一场 45 分钟的康复训练，一位教练规划一天的训练安排，一位教师选择练习题的作答顺序——他们都面临同一个问题：``鉴于到目前为止已经练习的全部内容，下一次试次应该是什么？'' 运动学习文献对此提供了两种粗略的答案：成组练习（blocked practice）与交错练习（interleaved，即``随机''练习），并且二者之间存在一个众所周知的分离现象：成组练习带来更快的习得，但较差的保持；而交错练习则恰好相反。我们认为，这种分离并不是练习安排固有不变的属性，而是更丰富结构的表象。具体而言，对于一类记忆由快速共享成分和较慢的情境特异性成分构成的学习者，最佳练习安排应当是学习者当前内部状态以及保持测验前剩余时间的函数。我们在一个极简的双情境快—慢学习者模型中将这一观点精确化：对于短时训练，其最优安排可以被精确计算；对于更长的训练，则可以通过一种具有结构化的束搜索（beam search）上界进行近似。最优安排既不是成组练习，也不是交错练习，更不是单一规则；它是一族由“相对于习得，对保持赋予多大权重”所决定的练习安排。这一族安排包含三种机制（交替型、混合型、带后期修正的成组型）；对于长时训练，最优安排呈现出一种可解释的结构——先利用一个情境，再修复被忽视的另一个情境，最后通过交错练习来巩固保持。 随后，我们考察：一个强化学习教师在无法访问学习者内部记忆状态、只能观察其动作与误差的情况下，能否仅通过交互学习到这些最优策略。通过将这些学得的策略与精确最优解进行比较，我们表明：一个无模型智能体（PPO）能够恢复短时域下的练习安排，并在中间机制中恢复长时域下“成组—修复—交错”的模式；但这一基准也揭示了在习得主导机制下的一种明显失败，此时 PPO 会坍缩为纯成组练习，并错失一个稀疏的终端修正。一个热启动诊断表明，这种失败是真实的策略梯度亚稳性，而非调参伪影；在这一过程中，“成组后切换”和“纯成组”充当了相互竞争的吸引子，而 PPO 无法在二者之间实现稳定。对观测历史的超参数扫描显示，智能体只需要极少的行为上下文便能进行最优规划，这表明部分可观测性并不是寻找最优练习安排的主要障碍。最后，我们讨论了该框架对运动适应与情境干扰的启示，并为指导者如何设计有限的练习课程以促进长期保持提供了实践性见解。

运动适应双速率模型中的最优练习安排及其通过强化学习的恢复 | bioRxiv

跳转至主要内容

首页

关于

投稿

提醒 / RSS

搜索此关键词

高级搜索

最新结果

运动适应双速率模型中的最优练习安排及其通过强化学习的恢复

Russell Jeter，

Dmitrii Todorov，

Yaroslav Molkov

doi： https://doi.org/10.64898/2026.06.17.732970

Russell Jeter

1 佐治亚州立大学；

在 Google Scholar 上查找该作者

在 PubMed 上查找该作者

在持有人为作者/资助方，其已授予 bioRxiv 许可，允许其永久展示该预印本。

本文依据 CC-BY-NC 4.0 国际许可协议 提供。

返回顶部

上一篇

下一篇

发表于 2026 年 6 月 22 日。

下载 PDF

数据/代码

电子邮件

感谢您帮助传播 bioRxiv 的内容。

您的电子邮箱

*

您的姓名

*

发送至

*

请输入多个地址，每行一个，或以逗号分隔。

您将发送以下内容的邮件

运动适应双速率模型中的最优练习安排及其通过强化学习的恢复

邮件主题

（您的姓名）已从 bioRxiv 转发一个页面给您

邮件正文

（您的姓名）认为您可能希望查看 bioRxiv 网站上的此页面。

您的个人留言

验证码

此问题用于测试您是否为人类访问者，并防止自动化垃圾信息提交。

分享

运动适应双速率模型中的最优练习安排及其通过强化学习的恢复

Russell Jeter，

Dmitrii Todorov，

Yaroslav Molkov

bioRxiv

2026.06.17.732970；

doi： https://doi.org/10.64898/2026.06.17.732970

分享本文：

复制

引文工具

运动适应双速率模型中的最优练习安排及其通过强化学习的恢复

Russell Jeter，

Dmitrii Todorov，

Yaroslav Molkov

bioRxiv

2026.06.17.732970；

doi： https://doi.org/10.64898/2026.06.17.732970

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.17.732970v1?rss=1

🏷️ 运动学习 运动适应 康复训练 练习安排 强化学习 最优控制