皮层-皮层下多头自注意力作为认知表现的基础

新皮层是哺乳动物认知的核心，但一个既受生物学约束又能够执行复杂认知任务的计算框架仍然缺失。在此，我们表明，皮质—丘脑回路非常适合实现多头自注意力与交叉注意力，这一机制是 Transformer 网络认知能力的基础。我们提出，2/3层锥体细胞维持一个递归的键值记忆，而5层锥体细胞对输入查询所检索到的记忆进行解码。键、值和查询的计算对应于核心型和矩阵型丘脑—皮层投射，并分布于某一皮层区域的微柱和宏柱之中。一个皮层区域构成一个注意力头，而整个皮层构成一个多头自注意力网络。相同的丘脑—皮层微回路还计算感觉预测误差，从而引导基于梯度的突触可塑性。奖赏预测误差通过基底节门控皮层输出以及海马记忆的再激活。训练后的网络与人类在言语感知过程中的颅内记录结果相一致。总体而言，所提出的皮层—皮层下注意力回路可能代表哺乳动物认知能力的基础。

新皮层是哺乳动物认知的核心，但一种既受生物学约束、又能够执行复杂认知任务的计算框架仍然缺失。本文表明，皮层-丘脑回路非常适合实现多头自注意力和交叉注意力，这一机制构成了 Transformer 网络认知能力的基础。我们提出，2/3 层锥体细胞维持一种递归的键值记忆，而 5 层锥体细胞对由输入查询检索到的记忆进行解码。键、值和查询的计算映射到丘脑-皮层核心投射和矩阵投射，并分布于皮层区域的微柱和宏柱之中。一个皮层区域形成一个注意力头，而整个皮层构成一个多头自注意力网络。相同的丘脑-皮层微回路还计算感觉预测误差信号，从而引导基于梯度的突触可塑性。奖赏预测误差通过基底神经节门控皮层输出以及海马记忆的再激活。训练后的网络与人类在言语感知过程中的颅内记录结果相一致。总体而言，所提出的皮层-皮层下注意力回路可能代表哺乳动物认知能力的一个基础载体。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.06.743205v1?rss=1

🏷️ 皮层-丘脑回路 多头自注意力 认知计算模型 预测误差 突触可塑性