一种可提示的基础模型实现了小鼠多任务数据集的自动构建与实时姿态估计

内容形式：摘要译文

行为实验往往聚焦于动物聚集在一起的时刻。在这类情境下，现有的姿态估计方法通常会失效，因为检测到的裁剪区域包含邻近动物，其身体部位也很容易在个体之间发生混淆。我们通过 DeepLabSAM 解决了这一问题：该流程利用 SAM 3 基础模型，从单个文本提示出发对每只动物进行分割与跟踪，随后结合 DeepLabCut 的掩膜门控预训练姿态估计网络。在多只相互作用小鼠的多组录像中，所提出的方法显著减少了严重遮挡情况下关键点的错误归属。

此外，我们利用 DeepLabSAM 自动构建了多任务小鼠行为（Multi-Task Mouse Behaviour，MTMB）数据集。该数据集包含来自九种行为实验的 14,300 帧图像，并为其中每个实例标注了边界框、掩膜、身份和姿态。SuperAnimal 预训练姿态模型在该数据集上的迁移表现并不稳定。相比之下，在 MTMB 数据集上训练的 MouseLite（我们的 RF-DETR 姿态估计模型）达到了与其相当的分布内准确率，在未见过的行为实验上表现出更好的泛化能力，并实现了实时推理，其速度快于数据采集速度。综合而言，DeepLabSAM、MTMB 数据集和 MouseLite 共同构成了一个可扩展的框架，可实现对自由互动小鼠进行稳健、跨行为实验的姿态跟踪。

关键词：小鼠姿态估计 · 动物行为分析 · 基础模型 · 实例分割与跟踪 · 多任务数据集 · 遮挡鲁棒性

原文链接：https://www.biorxiv.org/content/10.64898/2026.10.02.756254v1?rss=1