使用深度神经网络集成的语音神经解码

语音脑机接口（BCI）能够为瘫痪患者恢复快速交流能力，但解码错误仍然限制其性能。在近期的脑到文本解码竞赛中，深度集成方法——即结合多个独立训练解码器的预测——显著提高了准确率，并且相较于基线方法取得了最大幅度的性能增益。然而，这些方法此前尚未在实时条件下进行测试，需消耗大量计算资源，并且其在各种具有临床相关性的约束条件下的表现仍缺乏充分理解。 在本文中，我们首次在一名植入双侧皮层内微电极阵列的参与者中，对深度集成进行了闭环测试，结果表明，在大词汇量任务上，词错误率从33.7%降至26.0%。随后，结合来自另外三名参与者的数据，我们进一步评估了这些增益如何依赖于基线错误率、训练数据集规模和集成规模，包括与实际部署最相关的资源—准确率权衡。最后，我们提出了一种基于测试时增强的计算高效伪集成方法，该方法仅需单个基础解码器即可提升解码准确率，从而大幅降低集成所带来的计算负担。 综上，这些结果表明，深度集成的优势能够在实时条件和实际资源约束下得以实现，从而推动语音脑机接口更接近更广泛的临床应用。

语音脑机接口（BCI）能够为瘫痪患者恢复快速交流能力，但解码错误仍然限制着其性能。在近期的脑到文本解码竞赛中，深度集成方法通过结合多个独立训练的解码器的预测，取得了显著的准确率提升，并且相较于基线方法带来了最大的性能增益。然而，这些方法此前尚未在实时条件下进行测试，且需要大量计算资源；同时，其在多种具有临床相关性的约束条件下的表现仍缺乏充分理解。

在此，我们首次在一名植入双侧皮层内微电极阵列的受试者中，对深度集成进行了闭环测试，展示了其在大词汇量任务中将词错误率从33.7%降低至26.0%。随后，我们利用另外三名受试者的数据，评估了这些性能增益如何依赖于基线错误率、训练数据集规模以及集成规模，并分析了与实际部署最相关的资源—准确率权衡。

最后，我们提出了一种基于测试时增强的计算高效伪集成方法，该方法仅需单个基础解码器即可提升解码准确率，从而大幅降低集成方法的计算负担。综上，这些结果表明，深度集成的优势能够在实时条件下并在实际资源约束下得以实现，从而推动语音脑机接口更接近更广泛的临床应用。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.02.729705v1?rss=1

🏷️ 语音脑机接口 神经解码 深度神经网络 模型集成 实时闭环测试 皮层内微电极