JEPA-SORT：世界模型嵌入提升视觉同质深海动物群的多目标跟踪能力

内容形式：摘要译文

通过建立海洋保护区（MPA）保护深海固着生物群落，需要准确估计其空间分布和丰度。现有的计算机视觉检测方法需要仔细校准，以避免计数错误；从理论上说，多目标跟踪（MOT）提供了一种更稳健的替代方案。然而在实践中，光照不足和水体浑浊限制了纯运动学 MOT 算法在深海环境中的效能。与此同时，深海场景中常见的种内视觉同质性，使传统的逐帧外观特征往往不足以在深度关联 MOT 算法中维持稳定的目标身份。本文提出 JEPA-SORT，这是一种将 V-JEPA 2.1 嵌入向量引入检测结果与轨迹关联过程的 MOT 算法。我们旨在展示，视频世界模型嵌入不仅能够表征物理外观，还能捕捉跨视角的时空轨迹，从而帮助对视觉上高度同质的标本维持稳定的身份标识。我们构建了一个基准数据集，包含十二条用于调查深海固着生物群落的遥控潜水器（ROV）航迹，并在一系列模拟光学环境中，将 JEPA-SORT 与标准 MOT 算法进行评估。此外，我们提出生物密度效用指标（BDU），用于衡量跟踪器在下游生态建模情境中的性能。JEPA-SORT 在 IDF1、MOTA 和 BDU 指标上优于所有参与基准测试的跟踪器，在标本计数准确率方面也具有竞争力。消融实验表明，其优势主要源于世界模型嵌入对视觉同质性较高的视频素材所具有的判别能力。

关键词：多目标跟踪 · 深海生物监测 · 视觉世界模型 · 遥控潜水器影像 · 生物密度估计

原文链接：https://www.biorxiv.org/content/10.64898/2026.10.07.757484v1?rss=1