Abstract:視覺跟蹤技術(shù)是計算機視覺領(lǐng)域的一個重要課題，有著重要的研究意義在軍事制導，視頻監(jiān)控，機器人視覺導航，人機交互，以及醫(yī)療診斷等許多方面有著廣泛的應用前景伴隨著研究人員不斷地深入研究，視覺目標跟蹤在近十幾年里有了突破性的進展，使得視覺跟蹤算法不僅僅局限于傳統(tǒng)的機器學習方法，更是結(jié)合了近些年人工智能熱潮mdash，深度學習和相關(guān)濾波器等方法本文主要介紹以下幾點:什么是視覺目標跟蹤，單目標跟蹤的基本結(jié)構(gòu)，目標跟蹤存在的挑戰(zhàn)，目標跟蹤經(jīng)典相關(guān)方法及研究趨勢等

01單目標跟蹤任務簡介

目標跟蹤是計算機視覺領(lǐng)域的一個重要問題，目前廣泛應用在體育賽事轉(zhuǎn)播，安防監(jiān)控和無人機，無人車，機器人等領(lǐng)域下面是一些應用的例子

車輛跟蹤

足球比賽

田徑比賽

視覺目標跟蹤是指對圖像序列中的運動目標進行檢測，提取，識別和跟蹤，獲得運動目標的運動參數(shù)，如位置，速度，加速度和運動軌跡等，從而進行下一步的處理與分析，實現(xiàn)對運動目標的行為理解，以完成更高一級的檢測任務。

其具體任務即根據(jù)所跟蹤的視頻序列給定初始幀的目標狀態(tài)，預測后續(xù)幀中該目標狀態(tài)?；窘Y(jié)構(gòu)如下:

基本流程:輸入初始幀并指定期望跟蹤的目標，通常用矩形框標定，在下一幀中產(chǎn)生眾多候選框并提取這些候選框的特征，觀測模型對這些候選框評分最后在這些評分中找一個得分最高的候選框作為預測的目標，或者對多個預測值進行融合得到更優(yōu)的預測目標至此算法完成了根據(jù)第一幀的信息對第二幀的預測，后續(xù)幀以此類推，同時根據(jù)指定規(guī)則更新模型

根據(jù)如上的框架，將目標跟蹤劃分為五項主要的研究內(nèi)容，流程圖下圖所示:

流程圖

運動模型:如何產(chǎn)生眾多的候選樣本特征提取:利用何種特征表示目標觀測模型:如何對眾多候選樣本評分模型更新:如何更新觀測模型使其適應目標的變化集成方法:如何融合多個決策獲得一個更有的決策結(jié)構(gòu)

下圖的總結(jié)可以幫助更好的理解目標跟蹤算法是如何完成跟蹤任務的。

跟蹤任務流程

02目標跟蹤算法分類

大多數(shù)的跟蹤方法主要集中對觀測模型的設(shè)計，根據(jù)觀測模型的不同可分為兩類:生成式模型和判別式模型。

生成式模型:通過提取目標特征來構(gòu)建表觀模型，然后在圖像中搜索與模型最匹配的區(qū)域作為跟蹤結(jié)果不論采用全局特征還是局部特征，生成式模型的本質(zhì)是在目標表示的高維空間中，找到與目標模型最相鄰的候選目標作為當前估計此類方法的缺陷在于只關(guān)注目標信息，而忽略了背景信息，在目標外觀發(fā)生劇烈變化或者遮擋時候容易出現(xiàn)目標漂移或者目標丟失

舉例:跟蹤器從當前幀知道了目標區(qū)域80%是紅色，20%是綠色，在下一幀中搜索算法回去找最符合這個顏色比例的區(qū)域。

生成式算法框架

判別式方法:將目標跟蹤看做是一個二元分類問題，通過訓練關(guān)于目標和背景的分類器將目標從背景中分離出來，從候選目標中確定目標，該方法可以顯著的區(qū)分背景和目標，性能魯棒，漸漸成為目標跟蹤領(lǐng)域主流方法且目前大多數(shù)基于深度學習的目標跟蹤算法也屬于判別式方法

舉例:在訓練時告訴跟蹤器，目標80%是紅色，20%是綠色，同時背景中有桔紅色，要格外注意，這樣分類器知道更多信息，效果也相對較好。

判別式算法框架

03目標跟蹤任務的困難和挑戰(zhàn)

雖然目標追蹤的應用前景非常廣泛，但還是有一些問題限制了它的應用，主要問題例舉如下:

形態(tài)變化— 姿態(tài)變化是目標跟蹤中常見的干擾問題運動目標發(fā)生姿態(tài)變化時， 會導致它的特征以及外觀模型發(fā)生改變， 容易導致跟蹤失敗例如:體育比賽中的運動員，馬路上的行人尺度變化— 尺度的自適應也是目標跟蹤中的關(guān)鍵問題當目標尺度縮小時， 由于跟蹤框不能自適應跟蹤， 會將很多背景信息包含在內(nèi)， 導致目標模型的更新錯誤:當目標尺度增大時， 由于跟蹤框不能將目標完全包括在內(nèi)， 跟蹤框內(nèi)目標信息不全， 也會導致目標模型的更新錯誤因此， 實現(xiàn)尺度自適應跟蹤是十分必要的遮擋與消失— 目標在運動過程中可能出現(xiàn)被遮擋或者短暫的消失情況當這種情況發(fā)生時， 跟蹤框容易將遮擋物以及背景信息包含在跟蹤框內(nèi)， 會導致后續(xù)幀中的跟蹤目標漂移到遮擋物上面若目標被完全遮擋時， 由于找不到目標的對應模型， 會導致跟蹤失敗圖像模糊— 光照強度變化， 目標快速運動， 低分辨率等情況會導致目標模糊， 尤其是在運動目標與背景相似的情況下更為明顯因此， 選擇有效的特征對目標和背景進行區(qū)分非常必要

下圖是上述問題的一些實例。

目標跟蹤任務中的困難與挑戰(zhàn)

如上圖所示，目標跟蹤任務中的困難和挑戰(zhàn)包括:

1.形變，2.光照變化，3.相似干擾，4.運動模糊，5.背景干擾，6.遮擋，7.超出畫面，8.尺度變化，9.平面外宣傳，10.平面內(nèi)旋轉(zhuǎn)，11.背景相似

04目標跟蹤的數(shù)據(jù)庫

嚴謹?shù)臄?shù)據(jù)集是驅(qū)動算法的關(guān)鍵，前幾年目標跟蹤方向的數(shù)據(jù)庫資源相對匱乏，這也是目標跟蹤的發(fā)展相對落后于目標檢測的重要原因之一下面簡要介紹了兩個權(quán)威的目標跟蹤方向的數(shù)據(jù)庫

OTB50數(shù)據(jù)集

OTB可以說是做單目標跟蹤必跑的數(shù)據(jù)庫了，2013年的OTB50包含50個人工標注的視頻序列由于在此之前目標跟蹤方向沒有比較公認的數(shù)據(jù)庫，所有的單跟蹤算法沒有一個統(tǒng)一的衡量，所以這個數(shù)據(jù)庫的意義非常重大，直接促進了單目標跟蹤算法的發(fā)展后來又擴展為OTB100發(fā)送到TPAMI，有100個序列，難度更大更加權(quán)威如果想要了解最近幾年來比較厲害的跟蹤算法，可以參考吳毅老師的論文

VOT數(shù)據(jù)庫

05目標跟蹤經(jīng)典算法

前幾年最熱門的生成式跟蹤方法是稀疏編碼， 而近來判別式跟蹤方法逐漸占據(jù)了主流地位，以相關(guān)濾波和深度學習為代表的判別式方法取得了令人滿意的效果本節(jié)按年份順序?qū)?jīng)典算法進行一個簡單地梳理，其中各個算法的年份以論文發(fā)表的年份或者參加benchmark的年份為依據(jù)，幫助理解單目標跟蹤算法的演變和發(fā)展趨勢針對于不同的跟蹤任務的挑戰(zhàn)各個算法所提出的解決思想值得我們學習體會，跟蹤算法的發(fā)展趨勢可見一斑

1981LK Tracker 1981

LK Tracker應該是最早的目標跟蹤工作，它使用了光流的概念，如下圖所示，不同顏色表示光流不同的方向，顏色的深淺表示運動的速度光流的計算非常簡單也非常快，但是它的魯棒性不好，基本上只能對平移且外觀不變的物體進行跟蹤

光流法

2002Mean Shift

Mean Shift采用均值漂移作為搜索策略，這是一種無參概率估計方法，該方法利用圖像特征直方圖構(gòu)造空間平滑的概率密度函數(shù)，通過沿著概率密度函數(shù)的梯度方向迭代，搜索函數(shù)局部最大值在當時成為了常用的目標跟蹤方法，簡單易實現(xiàn)，但魯棒性較低

MeanShift算法

2010MOSSE

MOSSE使用相關(guān)濾波來做目標跟蹤，其速度能夠達到600多幀每秒，但是效果一般，主要是因為它只使用了簡單的原始像素特征。

大致流程:

再入初始幀的groundtruth對當前目標框進行隨機仿射變換生成128個樣本，每個樣本經(jīng)過高斯函數(shù)計算得出響應值，最終結(jié)合公式得出濾波器模版根據(jù)模版計算得出第二幀的響應圖，其中響應值最大的點為第二幀目標的中心點，并以此畫出目標框

MOSSE算法

2012CSK

循環(huán)矩陣是一種特殊的矩陣，它的一維形式就是由一個n維向量每次向右循環(huán)移動一個元素，直到生成一個ntimes，n的矩陣，具體效果如下圖所示。

循環(huán)矩陣示意圖

2014KCF

CSK的特征輸入是單通道的灰度像素，而KCF利用的是HOG多通道特征，核函數(shù)利用了高斯核函數(shù)。

方向梯度特征效果圖

可以說CSK和KCF的結(jié)合才是完整的核化相關(guān)濾波器的演變趨勢，既有循環(huán)矩陣及傅立葉對角化簡化計算，又有對單通道特種應用的拓展，可以適應更多優(yōu)秀的特征描述。

DSST

2015MDNet

在離線訓練時，特征提取網(wǎng)絡是共享的，同時針對每個視頻序列構(gòu)建一個新的檢測分支進行訓練這樣特征提取網(wǎng)絡可以學習到通用性更強的與域無關(guān)的特征

在跟蹤時，保留并固定特征提取網(wǎng)絡，針對跟蹤序列構(gòu)建一個新的分支檢測部分，用第一幀樣本在線訓練檢測部分之后再利用跟蹤結(jié)果生成正負樣本來微調(diào)檢測分支。

此外，MDNet在訓練中負樣本的生成用到了難例挖掘技術(shù)，伴隨著訓練的進行增大樣本的分類難度，從而使得網(wǎng)絡的判別能力越來越強。

如下圖所示，負樣本越來越難分。

難例挖掘

SRDCF

邊界效應

SRDCE空間正則化

HCF

HCF的主要貢獻是把相關(guān)濾波中的HOG特征換成了深度特征，它使用的是VGG的3，4，5三個層來提取特征，針對每層CNN訓練一個過濾器，并且按照從深到淺的順序使用相關(guān)濾波，然后利用深層得到的結(jié)果來引導淺層從而減少搜索空間。

HCF算法提取深度特征

上圖是使用卷積可視化得到的，如圖中所示，在conv3中的特征能夠比較清晰的看到目標的輪廓，但是在conv5中已經(jīng)很難看到細節(jié)所在，但是，在conv5當中能夠看到的是，本層特征包含了較多的語義信息，左半部分的高亮區(qū)域就是目標位置的所在的大概區(qū)域范圍，所以在高層特征當中，能夠很容易的找到目標所在的大概區(qū)域范圍，然后逐步使用較低層次的特征對目標進行精確定位。

2016Staple

此算法的創(chuàng)新思路簡單直白，但效果很驚艷。

TCNN

TCNN樹形結(jié)構(gòu)更新示例

siamFC

SiamFC方法的核心思想很簡單，就是將跟蹤過程規(guī)劃為一個相似性學習問題即學習一個函數(shù) f 來比較樣本圖像 z 和搜索圖像 x 的相似性，如果兩個圖像相似度越高，則得分越高為了找到在下一幀圖像中目標的位置，可以通過測試所有目標可能出現(xiàn)的位置，將相似度最大的位置作為目標的預測位置

在深度學習中處理相似度問題最典型的是采用Siamese架構(gòu)，SiamFC的網(wǎng)絡結(jié)構(gòu)如下圖:

SiamFC網(wǎng)絡結(jié)構(gòu)

2017CFNet

2018UPDT

SiamRPN

SiamRPN在SiamFC的基礎(chǔ)上利用了Faster RCNN中的RPN，解決了之前深度學習跟蹤算法沒有domain specific以及還需額外的尺度檢測與在線微調(diào)的問題RPN回歸網(wǎng)絡的引入，一方面提高了精度，另一方面回歸過程代替多尺度檢測，使得速度有所提升

SiamRPN網(wǎng)絡結(jié)構(gòu)

2019SiamRCNN

SiamRCNN發(fā)現(xiàn)重檢測很容易受到干擾物的影響從而產(chǎn)生模型漂移，從難例挖掘和運動軌跡動態(tài)規(guī)劃兩個角度入手，設(shè)計了一個利用第一幀和前一幀為模板的孿生網(wǎng)絡檢測結(jié)構(gòu)，在短時跟蹤評價上效果驚人，在長時跟蹤評價上也有非常顯著的進步。

其中軌跡動態(tài)規(guī)劃算法主要思想是通過重新檢測前一幀中所有的目標候選框，并將這些候選框隨時間分組到短目標軌跡中，同時跟蹤所有潛在的目標，包括干擾目標然后根據(jù)視頻中所有目標對象和干擾對象的完整歷史軌跡選擇當前最佳對象

2020RPT框架

RPT算法框架由目標狀態(tài)估計網(wǎng)絡與在線分類網(wǎng)絡兩部分組成:

目標狀態(tài)估計網(wǎng)絡將跟蹤目標狀態(tài)表示為特征點集，以提升對目標位姿變化，幾何結(jié)構(gòu)變化的建模能力在視覺目標跟蹤任務中，為了方便真值標注與特征提取，目標狀態(tài)通常用矩形框進行表示矩形框一方面是對目標區(qū)域的一種粗略表示，包含多余的背景，另一方面不具備對目標位姿變化，幾何結(jié)構(gòu)變化的建模能力，進而限制了回歸精度因此，將跟蹤目標表示為一系列特征點，通過監(jiān)督學習目標區(qū)域內(nèi)的語義關(guān)鍵點與極值點，實現(xiàn)更精細的目標狀態(tài)估計

PRT目標狀態(tài)估計網(wǎng)絡

在線分類網(wǎng)絡由輕量的兩層全卷積神經(jīng)網(wǎng)絡構(gòu)成，使得RPT框架具備對抗周邊相似干擾物的強魯棒性。

RPT在線分類網(wǎng)絡

06目標跟蹤的研究趨勢

本節(jié)淺析近幾年來目標跟蹤領(lǐng)域各種算法主流的研究趨勢和發(fā)展方向。

a)信息提取深度特征

在現(xiàn)實場景中，物體是在三維的運動場中移動的而視頻或圖像序列都是二維的信息，這其實是一些難題的根本原因之一一個比較極端的例子就是理發(fā)店門前經(jīng)常會出現(xiàn)的旋轉(zhuǎn)柱，如果單純地從二維角度來看，柱子是向上運動的，可在實際的運動場中柱子是橫向運動的，觀測和實際的運動方向是完全垂直的

旋轉(zhuǎn)柱效果圖

因此，為了能夠更好地跟蹤目標，我們需要提取盡可能好的特征，此外最好能從視頻或圖像序列中學到更多豐富的信息。北極光創(chuàng)投合伙人黃河表示，據(jù)其不完全統(tǒng)計，2021年上半年機器人行業(yè)共有112起融資，融資金額高達130億元(人民幣，下同)，單筆融資平均值達到16億元。

時域和空間域結(jié)合

由于CNN能夠在學習的過程中能夠產(chǎn)生對樣本中各個區(qū)域有區(qū)分的關(guān)注度，因此可以不考慮邊界效應對邊界效應的處理主要是在相關(guān)濾波類等需要循環(huán)移位的算法中出現(xiàn)

事實上，目標跟蹤這一個任務本身就在利用時域信息，因為預測下一幀肯定需要上一幀的信息，可是僅僅利用上一幀的信息往往是不夠的，充分的利用時域信息在正則或者輔助記憶方面都可以取得一定的效果。。

b) 元學習

當深度特征興起之后，目標跟蹤中的許多算法都選擇遷移目標分類任務中的一些預訓練模型來提取特征，這種遷移學習其實就包含了元學習的思想例如MDNet將每個視頻看做一個域，在測試時新建一個域但同時保留了之前訓練時在其他域上學到的經(jīng)驗，既能夠更快更好地在新的視頻序列上學習也避免了過擬合

孿生網(wǎng)絡實際上也是元學習領(lǐng)域一種比較常用的結(jié)構(gòu)，它本身學習了如何去判斷輸入之間的相似度。這樣高的數(shù)字，在過去10多年里是從來沒有出現(xiàn)過的。

c) 防止過擬合

目標跟蹤中由于模版更新或目標形變等因素造成的過擬合問題也是一個比較重要的關(guān)注點，下面是一些比較常見的方法:

推薦大家深入地學習一種經(jīng)典的目標跟蹤算法，由于具體算法的詳細原理內(nèi)容較多，在此不做贅述，這里推薦幾種經(jīng)典的跟蹤算法學習資料，也可以自行選取一兩種其他經(jīng)典算法進行深入學習:

以下資料鏈接可以了解最新的跟蹤算法和跟蹤思路:

目標跟蹤算法思維導圖

下面總結(jié)了19年20年的頂會論文: