视频单目标跟踪综述

前言

最近关于目标跟踪论文的一些论文笔记

主要思路：第一帧指定目标，后续帧持续跟踪目标
目标跟踪领域两大主流算法框架：1.基于相关滤波 2.孪生网络
当前算法需要解决的问题：算法无法长时间、低功耗、抗干扰的环境下实用应用
未来目标跟踪方向：多模态数据融合，将深度图像、红外图像、传统彩色视频联合分析

跟踪也可与视频目标检测、分割问题交叉研究
解决深度学习需要大量训练数据集：弱监督、无监督方法的目标跟踪是未来方向

近10年发展

2010年来基于相关滤波的目标跟踪算法出现：具备良好的精度和超高的速度
目标跟踪数据集：OTB、LaSOT，普通彩色（RGB）视频数据集、1个彩色-深度视频、1个彩色-红外（RGB-T）视频数据集

视频目标跟踪中的挑战

目标消失

包括遮挡和移出相机视野范围，当视野重新出现如何追踪目标？会导致跟踪失败

目标变化

目标形变、目标旋转

背景干扰

背景杂乱，光照变化。如果有效的前背景分离，精确的抓取前景，抑制背景也是需要解决的问题

目标移动

目标快速运动和目标运动模糊
由于目标跟踪通常采取在目标前一帧所处的位置周围区域进行搜索的策略，目标移动可能超出搜索区域
目标运动本身会造成目标前景虚化，从而影响目标特征表达
相机移动甚会造成整幅图像的模糊，也是影响目标跟踪效果的挑战之一

视频目标跟踪方法

基于相关滤波的目标跟踪办法（Correlation Filter）

相关滤波用在目标跟踪效果为什么好？
问题表现良好主要得益于以下两方面原因:
(1)CF目标跟踪方法隐式地利用了循环平移操作对训练样本进行扩增﹐从而极大丰富了训练样本的多样性,使得算法的鲁棒性和精度提升;
(2)快速傅利叶变换FFT(Fast Fourier Transform)使得复杂的卷积操作在频域内加速计算,计算量降低,模型求解效率增加.
相关方法主要可以分为两类主要方向:
(1)利用更加强有力的特征提取方法;
(2)构建更加鲁棒的滤波器学习模型

关滤波目标跟踪的思想和算法框架

基于孪生网络

孪生网络参数较少，运行速度快
####全卷积孪生网络
最早是2016年 SINT和SiameseFC （86fps）首次将目标跟踪问题转化为给定模板与候选图像匹配问题。
z是跟踪的目标图像也就是第一帧的框，x是当前帧的搜索区域，经过特征映射σ（由神经网络实现），两个σ是相同的网络，因此被称为孪生网络，经过卷积操作*得到响应图，输出

区域候选孪生网络

SiameseRPN，以SiameseFC为基础，将Fast R-CNN的RPN即区域候选网络提取目标候选框的思想融入其中。解决目标跟踪形变问题
DaSiamRPN通过训练集数据增广提高模型的泛化能力，引入不同难度的负样本，提升模型的判别能力
SPM和C-RPN算法都是多阶段的SiamRPN扩展
SPM （SiamRPN扩展借鉴了Fast R-CNN）
C-RPN（SiamRPN扩展借鉴了目标检测领域的集联网络Cascade R-CNN到目标跟踪领域）
SiameseRPN++和SiamDW 更加深层的主干网络研究
SiameseRPN++（改进了SiameseRPN中的样本采样策略，防止出现正样本都位于图像中心而影响目标定位问题）
SiamDW （研究如何在孪生网络目标跟踪中使用更深更宽的网络提升精度。
提升算法性能的原因:(1)增加神经元的感受野会减少特征的区分度和目标的定位精度;(2)卷积网络填补操作会对定位造成偏差.为解决上述问题,SiamDW提出新的残差模块用于消除填补操作的负面影响,此外还进一步搭建了新的网络结构控制感受野的大小和网络步长.模块应用于SiameseFC和SiameseRPN算法得到了更好的跟踪结果和实时运行速度）

基于注意力机制的目标跟踪

RASNet
通用注意力机制,残差注意力机制,通道注意力机制三种模型,其中通用注意力模型用于训练不同样本的共同特征,残差注意力机制用于捕获目标的形状外观等个体特征,而通道注意力机制用于建模特征通道的差异性,从而选取更有效的特征。
SiameAttn
包括可变形的自注意力机制和互注意力机制两部分.自注意力机制通过空间注意力和通道注意力可学习到强大的上下文信息﹐并选择性地增强通道特征之间的相互依赖;而互注意力机制则可以有效地聚合与沟通模板和搜索区域之间丰富的信息.这种注意力机制为跟踪器提供了一种自适应模板特征隐式更新方法.文献[64]提出了像素引导的空间注意力模块和通道引导的通道注意力模块,以此来突出拐角区进行角点检测.注意力机制模块的引入提升了角点检测的准确性,从而提升了目标定位与矩形框检测的精度.

基于时空关系的目标跟踪

DSiam（引入目标形变转换机制以及背景抑制机制来对应目标在跟踪过程中外观发生变化以及背景干扰等问题，提高了SiameseFC的鲁棒性）
CLNet（面对没经过训练的新样本，容易造成误判。作者提出决定性样本的概念，在跟踪过程中充分利用第一帧的目标标注信息来训练分类网络,另外,CLNet 不仅考虑了标注框内的模板信息而且考虑了其周围丰富的上下文信息用于调整,提升算法跟踪全新目标时的鲁棒性.文献[67]引入背景运动和轨迹预测模型,利用目标的历史轨迹对其当前和未来的空间位置进行预测﹐辅助目标跟踪过程中的时空定位）

无锚点孪生网络目标跟踪

从锚点改进网络
SiameseRPN，对锚点的数量、尺度、横纵比很敏感，训练需要很多超参数，所以需要研究无锚点的孪生网络
SiamFC++（增加了平行于分类分支的质量评估分支去除锚点的先验）
SiameseCAR（添加了一个与分类分支平行的中心突出分支对分类进行处理）
SiamBAN（将分支分为两个通道，预测响应图上每个点对应是前景还是背景，回归分支预测映射到原图上的每个点与标注框四条边之间的偏移量,这种回归分支的设计解决了基于锚点架构中分类与回归不一致的问题.）
Ocean(受启发于目标检测算法 FCOS,提出了基于特征对齐的无锚点目标跟踪网络.由于无锚点网络无需锚点设计先验,同时可以更好地处理目标形状不规则与不固定的问题,因此也是今后的重要研究方向之一)

其他孪生网络跟踪方法

SA-Siam（基于SiameseFC算法改进，建立双路孪生网络用于视频目标跟踪）

其他深度学习目标跟踪办法

卷积网络跟踪算法

MDNet（VOT-2015挑战赛冠军，大量视频跟踪数据集训练，GPU上只有1fps）
RT-MDNet（使用特征提取过程加速和实例分类模型优化技巧，效果提升了25倍）
TCNN（VOT-2016冠军，GPU只有1fps，对丢失和遮挡鲁棒性好）
CREST（首次将残差学习的概念应用到目标跟踪算法）
速度过慢，优势不明显，需要大量样本训练

循环网络的跟踪算法

Men Track 被跟踪的目标的长期记忆未能考虑其时序变化，因此对变化频繁的目标跟踪不利，效果不好

图卷积网络跟踪算法

GCT(考虑目标时空外观特征和环境特征对目标跟踪有很大帮助，现在大多数算法没有利用不同环境下的目标空余上的外观建模)

重叠预测网络跟踪算法

ATOM（引入了一种新颖的多任务跟踪框架，主要包括两个成分，用于目标估计和分类，启发于IoU-Net，训练一个目标预测模块预测估计的目标框与真实结果之间的重叠率，改进损失函数和优化器）

解决目标追踪问题的办法

目标消失问题（遮挡和出视野）

LMCF算法(提出一种评价指标APCE，反应图的变化程度，根据这个评价指标决定是否更新CF滤波器。这种算法不仅缓解了模型漂移问题,还降低了模型更新频率,达到了算法加速的效果)
SSRCF（采取了三种模型更新策略，有效提升了目标遮挡的鲁棒性，目标消失问题应对乏力）
Siamese R-CNN（利用目标重检测机制解决跟踪中目标消失问题，有效应对长时间目标跟踪问题，能够在目标消失后重新检测目标）
BM Net（轨迹预测解决遮挡问题，采用LSTM多留卷积网络结构）

目标形变问题

CSR-DCF（有效环境目标形变对跟踪造成的影响）
SiamMask、D3S（将目标分割引入跟踪，精确获取目标前景区域，确定目标快速移动会有问题）

背景干扰

利用目标周围上下文信息来缓解目标周围相似物体或复杂背景对目标跟踪造成的影响。
CACF（对目标周围区域采样，显示地学习目标周围背景信息）
LMCF（多峰二次检测机制，环境有干扰会出现多个峰）
PG-Net和KYS(考虑场景物体存在)

视频单目标跟踪综述

前言

近10年发展

视频目标跟踪中的挑战

目标消失

目标变化

背景干扰

目标移动