融合注意力机制的双路径孪生视觉跟踪方法

传统基于孪生网络的视觉跟踪方法在训练时是通过从大量视频中提取成对帧并且在线下独立进行训练而成，缺乏对模型特征的更新，并且会忽略背景信息，在背景驳杂等复杂环境下跟踪精度较低。针对上述问题，提出了一种融合注意力机制的双路径孪生网络视觉跟踪算法。该算法主要包括特征提取器部分和特征融合部分。特征提取器部分对残差网络进行改进，设计了一种双路径网络模型；通过结合残差网络对前层特征的复用性和密集连接网络对新特征的提取，将2种网络拼接后用于特征提取；同时采用膨胀卷积代替传统卷积方式，在保持一定感受视野的情况下提高了分辨率。这种双路径特征提取方式可以隐式地更新模型特征，获得更准确的图像特征信息。特征融合部分引入注意力机制，对特征图不同部分分配权重。通道域上筛选出有价值的目标图像信息，增强通道间的相互依赖；空间域上则更加关注局部重要信息，学习更丰富的上下文联系，有效地提高了目标跟踪的精度。为证明该方法的有效性，在OTB100和VOT2016数据集上进行验证，分别使用精确率（Precision）、成功率（Success rate）和平均重叠期望（Expect average overlaprate，EAO）作为评价标准。结果显示，本文算法的精确率、成功率和平均重叠期望分别为0.868、0.641和0.350；相比基准模型分别提高了5.1%、2.0%和0.9%。结果证明本文算法充分利用了不同网络的优点，在保证模型精度的同时，能够较好地适应目标外观的变化，降低相似物的干扰，取得更稳定的跟踪效果。