鬼佬大哥大
  • / 17
  • 下載費用:30 金幣  

一種基于局部特征點特征流型的目標跟蹤方法.pdf

摘要
申請專利號:

CN201410107054.8

申請日:

2014.03.21

公開號:

CN103985136A

公開日:

2014.08.13

當前法律狀態:

駁回

有效性:

無權

法律詳情: 發明專利申請公布后的駁回IPC(主分類):G06T 7/20申請公布日:20140813|||實質審查的生效IPC(主分類):G06T 7/20申請日:20140321|||公開
IPC分類號: G06T7/20 主分類號: G06T7/20
申請人: 南京大學
發明人: 羅偉濤; 郭延文; 劉明; 陳曄; 湯峰; 李昂
地址: 210000 江蘇省南京市棲霞區仙林大道163號南京大學
優先權:
專利代理機構: 江蘇圣典律師事務所 32237 代理人: 胡建華
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201410107054.8

授權公告號:

||||||

法律狀態公告日:

2018.09.14|||2014.09.10|||2014.08.13

法律狀態類型:

發明專利申請公布后的駁回|||實質審查的生效|||公開

摘要

本發明公開了一種基于局部特征點特征流型的目標跟蹤方法,包括以下步驟:指定第一幀圖像中的目標,提取特征點;對局部區域圖像進行變換;對每個變換后圖像的特征點提取尺度不變特征描述向量,構成特征向量集;采用線性子空間逼近特征向量集;在下一幀中提取目標臨近區域特征點尺度不變特征描述;將下一幀中提取的特征點與當前幀的特征流型集合以及候選特征點集合中的元素進行匹配,生成匹配關系;根據匹配關系計算連續兩幀匹配點之間的單應變換矩陣;對目標區域頂點坐標進行單應變換,計算出目標的位移;更新并記錄目標位置,更新特征流型集合及候選特征點集合;若下一幀非最后一幀,移動至下一幀;否則,結束。

權利要求書

權利要求書
1.  一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,包括以下步驟:
步驟1,指定第一幀圖像中的目標,使用特征點檢測方法提取第一幀圖像目標區域的特征點,并獲取每個特征點周圍的局部區域圖像;
步驟2,對局部區域圖像進行變換:所述變換包括縮放變換、旋轉變換和錯切變換,構造變換后的圖像;
步驟3,對每個變換后圖像的特征點提取尺度不變特征描述向量,將每個尺度不變特征描述向量排列在一起,構成特征向量集;
步驟4,采用線性子空間逼近特征向量集:針對該特征向量集,提取特征向量集的特征主元向量;生成特征描述符:將特征主元向量聯結在一起,構成初始特征流型集合,同時生成初始候選特征點集合;
步驟5,在下一幀中提取目標臨近區域特征點尺度不變特征描述;
步驟6,將下一幀中提取的特征點與當前幀的特征流型集合以及候選特征點集合中的元素進行匹配,生成匹配關系;
步驟7,根據匹配關系計算連續兩幀匹配點之間的單應變換矩陣;
步驟8,對目標區域頂點坐標進行單應變換,計算出目標的位移;
步驟9,更新并記錄目標位置,更新特征流型集合及候選特征點集合;
步驟10,若下一幀非最后一幀,移動至下一幀,并返回至步驟5;否則,結束。

2.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟1中提取特征點的局部區域圖像的范圍,是以該特征點為中心,提取寬和高為分別為50像素×50像素的正方形圖像區域。

3.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟2包括以下步驟:
步驟21,對局部圖像區域進行縮放變換,得到三張縮放圖像,三張縮放圖像的分辨率的橫和寬分別為原局部區域圖像的一半,一倍和兩倍;
步驟22,對三張縮放圖像分別進行旋轉變換,旋轉的角度為順時針30度、60度、90度、120度、150度、180度、210度、240度、270度、300度和330度,得到包括未旋轉照片的共36張圖像;
步驟23,對旋轉后的圖像分別進行錯切變換,所述錯切變換為對圖像橫坐標和縱 坐標的縮放,縮放參數取值范圍均是{-1,0,1}。

4.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟3為對每張變換圖像的中心點提取其一個128維的尺度不變的特征描述向量,該向量包括所描述區域的尺度、所描述區域的主梯度方向和描述子矢量,將所述特征向量按照行序排列,即構成特征向量集合。

5.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟4為使用主元分析方法對特征向量集合進行降維,提取兩個以上特征主元向量,將提取到的每個特征主元向量作為特征流形表示。

6.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟5為在下一幀目標臨近區域,提取每個特征點生成一個128維的尺度不變的特征描述向量,且下一幀目標臨近區域的中心與上一幀圖像目標區域的中心一致,長寬和寬度為上一幀圖像目標區域的2倍。

7.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟6中包含兩種匹配,一種是提取的特征點與當前幀的特征流型進行匹配;另一種是將提取的特征點與當前幀的候選特征點進行匹配。

8.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟7為根據連續兩幀的匹配特征點擬合出一個3x3的單應變換矩陣。

9.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟8包括對前一幀為目標頂點所在位置進行單應變換,得到下一幀中目標所在的估計位置。

10.  根據權利要求1所述的一種基于局部特征點特征流型的目標跟蹤方法,其特征在于,所述步驟9為更新記錄跟蹤目標的位置,對找到匹配的特征流型進行更新,對在候選特征點集合中出現一定次數以上的特征點,生成對應特征流型并加入特征流型集合,刪除特征流型集合中一定次數未能匹配超過一定次數的特征流型。

說明書

說明書一種基于局部特征點特征流型的目標跟蹤方法
技術領域
本發明涉及計算機圖像的處理方法,特別是一種基于較強描述性和區分力的圖像局部特征描述的視頻目標物體跟蹤方法。 
背景技術
視頻目標物體跟蹤的目的是在視頻的每一幀中確定目標物體的位置,在安全監控、人機交互、數字娛樂等方面具有重要的應用價值,近些年,基于局部特征的視頻目標物體跟蹤方法取得了一定的跟蹤效果,這類方法提取目標物體上的特征點,以這些特征點的描述作為目標物體的表示,通過與下一幀特征點的匹配來確定目標物體在下一幀中的問題。然而近年來的研究表明,傳統局部特征描述針對實際情況中圖像拍攝視點仿射變換的不變性范圍相當有限,這使得現有的視頻目標物體跟蹤方法在魯棒性和跟蹤效果方面十分有限。因此,提出一種基于較強描述性和區分力的圖像局部特征描述的視頻目標物體跟蹤方法具有廣泛的實際應用價值。 
發明內容
發明目的:本發明所要解決的技術問題是針對現有技術的不足,提供一種新穎的基于圖像的局部特征描述的視頻跟蹤方法。 
為了解決上述技術問題,本發明公開了一種基于圖像的局部特征流形的視頻目標物體跟蹤方法,包括以下步驟: 
步驟1,指定第一幀圖像中的目標,使用特征點檢測方法提取第一幀圖像目標區域的特征點,并獲取每個特征點周圍的局部區域圖像;一般情況下,局部區域取為以每個特征點為中心,是固定寬和高的正方形圖像區域; 
步驟2,對局部圖像進行一系列復合變換,復合變換由三種基礎變換依次組合而成,三種基礎變換是縮放變換、旋轉變換和錯切變換,改變各變換的參數,構造一系列變換圖像; 
步驟3,對每個變換圖像的特征點提取尺度不變特征描述;形成特征向量集:將針對每個變換圖像的特征點提取的特征描述向量排列在一起,構成特征向量集; 
步驟4,采用線性子空間逼近特征向量集:針對該特征向量集,運用主元分析提取特征向量集的特征主元向量;生成特征描述符:將特征主元向量聯結在一起,構成初 始特征流型集合。同時生成初始候選特征點集合;在預處理時,初始候選特征點集合為空集,而在跟蹤時候,新添加的候選特征點為新檢測到的且沒有用于生成特征流型的特征點。 
步驟5,在下一幀中提取目標臨近區域包含的特征點的尺度不變特征描述; 
步驟6,將下一幀中提取的特征點與當前幀特征流型集合以及候選特征點集合中的元素進行匹配,生成匹配關系; 
步驟7,根據匹配關系計算連續兩幀匹配點之間的單應(Homography)變換矩陣; 
步驟8,對目標區域頂點坐標應用單應(Homography)變換,計算出目標的位移; 
步驟9,更新并記錄目標位置,更新特征流型集合及候選特征點集合。 
步驟10,若下一幀非最后一幀,移動至下一幀,并循環至步驟5;否則,程序結束。 
本發明中,所述步驟1以特征點為中心,提取一個高和寬分別為50像素×50像素的正方形局部圖像區域;可以根據圖像的大小以及特征點在圖像中的位置,適當調整特征點周圍局部圖像區域的大小。 
本發明中,所述步驟2包括以下步驟: 
步驟21,首先對局部圖像區域進行縮放變換,得到三張縮放圖像,其寬和高分別為原局部圖像的1半,1倍和2倍;如果原始局部圖像區域分辨率為50×50,則三張縮放圖像分別為25×25,50×50和100×100; 
步驟22,其次對三張縮放圖像分別進行旋轉變換,旋轉的角度為順時針30、60、90、120、150、180、210、240、270、300和330度,得到包括未旋轉照片的共36張圖像; 
步驟23,再次對旋轉圖像分別進行錯切變換,錯切變換涉及到對圖像橫和縱坐標的縮放,縮放參數取值范圍均是{-1,0,1},改變橫向和縱向縮放的參數共產生9種錯切變換。 
本發明中,所述步驟3使用SIFT(Scale Invariant Feature Transformation)算法對每張變換圖像的中心點提取其一個128維的尺度不變特征描述向量,該向量包括所描述區域的尺度、所描述區域的主梯度方向和描述子矢量。SIFT算法的具體內容可參見作者David G.Lowe的原論文“D.G.Lowe,Distinctive image features from scale-invariant  keypoints,International Journal of Computer Vision60(2)(2004)91–110”。每張變換圖像的中心點均有一個128維的尺度不變的特征描述向量,將這些特征向量按照行序排列,即構成一個完整的特征向量集合。 
本發明中,所述步驟4使用PCA主元分析方法對特征向量集合進行降維,可以人為設定降維的維度,假設降維的維度為N,則提取出N個特征主元向量,一般N的取值為5。主元分析PCA(Principal component analysis)是一種對數據進行分析的技術,最重要的應用是對原有數據進行簡化,可以有效的找出數據中最“主要”的元素和結構,去除噪音和冗余,將原有的復雜數據降維,揭示隱藏在復雜數據背后簡單且重要的結構,關于其算法的具體內容可參見論文“主元分析與偏最小二乘法.王桂增,葉昊編著,清華大學出版社,出版時間2012-8-1,ISBN9787302279426”中關于主元分析的闡述。將提取到的N個特征主元向量作為原始局部特征點的特征流形表示。 
本發明中,所述步驟5中,對于當前幀,在下一幀目標臨近區域,提取每個特征點生成一個128維的尺度不變的特征描述向量,且下一幀目標臨近區域的中心與上一幀圖像目標區域的中心一致,長寬和寬度為上一幀圖像目標區域的2倍。 
本發明中,所述步驟6含有兩種匹配類型,一種是提取的特征點與特征流型之間的匹配,另一種是提取出的特征點與候選特征點之間的匹配。 
本發明中,所述步驟7依據匹配關系可生成一個3x3的單應(Homography)變換矩陣,該矩陣常用于圖像的變換中。關于其具體信息可參見“計算機視覺:一種現代方法(第二版),福賽斯,電子工業出版社,2012年5月1日出版,ISBN:9787121168307”的闡述。 
本發明中,所述步驟8是用前一幀中四個頂點的坐標分別與Homography變換矩陣相乘,得到四個新的坐標即為目標在下一幀中的估計位置。 
本發明中,所述步驟9是輸出被跟蹤目標在下一幀中的估計位置。所述步驟9為更新記錄跟蹤目標的位置,對找到匹配的特征流型進行更新,對在候選特征點集合中出現一定次數以上的特征點,生成對應特征流型并加入特征流型集合,刪除特征流型集合中k次未能匹配超過t次數的特征流型,k=[1,10]t=[1,k]。同時,使用增量式主元分析IPCA(Incremental Principal component analysis)做特征流型的更新,其中IPCA方法的目的是當新增數據到來時候,可在原有數據的基礎上進行迭代處理,從而節約計 算量。關于其具體信息可以參見論文“D.Skocaj,A.Leonardis,Weighted and robust incremental method for subspace learning,in:Proc.ICCV,2003,pp.1494–1501”。另外,在特征流型集合中添加新的穩定特征流型,刪除過期的特征流型,此更新操作保證了在特征流型集合中的特征流型都是穩定的。 
本發明中,所述步驟10是判斷是否處理到視頻的結尾,若是則算法結束,否則至步驟5,循環執行程序。 
有益效果:本發明的顯著優點是:本發明公開了一種基于特征流型的視頻目標跟蹤方法,針對視頻中的目標物體采用特征流形進行表示,特征流形對更符合實際視頻拍攝情況的視角變換適應性要明顯好于傳統的局部特征點,進而在視頻相鄰幀匹配跟蹤目標時準確率更高。本發明提出了特征流形來擴大局部特征點對視角變換的適應范圍,特征流形通過構造適當個數的多個視角下特征點的描述,從而獲得了該特征點的全視角完備描述;相對于其它的視頻跟蹤方法,采用本發明提出的特征流形來表示局部特征,在進行圖像匹配時,圖像的匹配準確性會更高,這極大地提高了圖像的特征匹配率,從而提高了目標物體跟蹤的魯棒性和跟蹤效果。另外在跟蹤算法中,我們采用PCA進行了降維,并用IPCA對特征流型模型做更新,低維的版本既節省了內存空間,又能方便地應用到跟蹤過程之中。 
附圖說明
下面結合附圖和具體實施方式對本發明做更進一步的具體說明,本發明的上述和/或其他方面的優點將會變得更加清楚。 
圖1為本發明方法的基本流程圖。 
圖2為一個特征點的局部圖像區域。 
圖3為經過變換后生成的部分結果圖像。 
圖4為所得到的特征描述集合中的部分特征向量。 
圖5a和圖5b為牛津大學的一個研究小組公開發布的兩幅視角變化的圖像。 
圖6為采用基于特征流行的特征匹配算法與采用基于原始尺度不變特征SIFT的特征匹配算法在圖5的亮度圖像上進行實驗,所得到的匹配精確度和召回率曲線圖。 
圖7為本發明中對比實驗所使用的測試視頻信息。 
圖8為跟蹤成功率對照表格,其中對比了不同跟蹤算法在不同視頻數據上的成功 率。 
圖9為平均中心誤差對照表格。其中對比了不同跟蹤算法在不同視頻數據上的平均中心誤差。 
圖10為15個測試視頻的具體信息表。 
圖11為對比了各個算法在不同視頻序列上的成功率的數據表。 
圖12為對比了各個算法在不同視頻序列上的平均中心誤差的數據表。 
具體實施方式
具體地說,如圖1所示,本發明公開了一種基于局部特征點特征流型的視頻目標物體跟蹤方法,包括以下步驟: 
步驟1,利用特征點檢測方法提第一幀目標初始區域所包含的特征點并獲取每個特征點周圍的局部區域圖像:一般情況下,局部區域取為以每個特征點為中心,固定寬和高的正方形圖像區域。 
步驟2,對局部圖像進行一系列復合變換:復合變換由縮放變換、旋轉變換和錯切變換三種基礎變換依次組合而成,首先施加縮放變換,然后是旋轉變換,最后施加錯切變換。改變各變換的參數,構造一系列變換圖像; 
步驟3,采用SIFT特征描述方法,對每個變換圖像的特征點提取尺度不變特征描述;然后形成特征向量集:將針對每個變換圖像的特征點提取的特征描述向量排列在一起,構成特征點的特征向量集; 
步驟4,采用線性子空間逼近特征向量集:針對該特征向量集,運用主元分析提取特征向量集的特征主元向量;生成特征描述符:將特征主元向量聯結在一起,構成特征描述符即初始特征流型集合MS及候選特征點集合CF。 
步驟5,提取下一幀目標鄰近區域的局部特征點。 
步驟6,將提取的特征點與當前幀特征流型集合以及候選特征點集合中的元素進行匹配。 
步驟7,利用與特征流型中元素的匹配信息擬合物體單應(Homography)變換矩陣。 
步驟8,利用變換矩陣計算出目標的位移。 
步驟9,更新并記錄目標新位置,同時更新特征流型集合以及候選特征點集合。 
步驟10,若下一幀非最后一幀,則移動至下一幀,并循環至步驟5;否則,程序結束。 
所述步驟1包括以下步驟:采用SIFT算法提取輸入圖像目標物體區域的特征點,對每一個特征點,以該特征點為中心,提取一個高和寬分別為50×50的正方形局部圖像區域;可以根據圖像的大小以及特征點在圖像中的位置,適當調整特征點周圍局部圖像區域的大小。SIFT算法的具體內容可參見David G.Lowe的原論文David G.Lowe,"Distinctive Image Features from Scale‐Invariant Keypoints"(International Journal of Computer Vision2004,60:91‐110)。 
所述步驟2包括以下步驟: 
步驟21,首先對原始特征點的局部區域圖像進行縮放變換:縮放變換將每一點的橫和縱坐標縮小或放大至s倍,變換矩陣為: 
s000s0001,]]>
參數s取值范圍是{1/2,1,2}。經過縮放變換后,得到三張結果圖像,其分辨率的橫和寬分別為原局部區域圖像的一半25×25、,一倍50×50和兩倍100×100; 
步驟22,進而對三張經過縮放變換的結果圖像施加旋轉變換:假設原始圖像特征點的坐標是(x,y),繞其為軸心順時針旋轉θ弧度,變換矩陣為: 
cosθ-sinx-x*cosθ+y*sinθsinθcosθy-x*sinθ-y*cosθ001,]]>
這里參數θ取值范圍是{0、30、60、90、120、150、180、210、240、270、300和330}度。對經過縮放變換得到的三張結果圖像分別進行旋轉變換,會得到一組36張旋轉后的結果圖像; 
步驟23,再次對旋轉后得到的一系列結果圖像進行錯切變換:錯切變換分別對圖像區域在橫和縱坐標上實行不同程度的錯切,使圖像呈現不同程度扭曲,變換矩陣為: 
1shx0shy10001,]]>
參數shx,shy取值范圍均是{-1,0,1}。通過改變這兩個參數的取值,對旋轉后得到的一系列結果圖像各施加9個錯切變化,從而生成一組324(36×9個)錯切圖像。 
所述步驟3包括以下步驟:使用SIFT特征描述算法對每張變換圖像的中心點提取一個128維的尺度不變特征描述向量,該向量包括所描述區域的中心坐標點、尺度、所描述區域的主梯度方向和描述子矢量。每張變換圖像的中心點均有一個128維的尺度不變的特征描述向量。然而部分特征描述可能不夠精確,具體表現是與從原始圖像中提取的SIFT特征描述向量差距過大,這樣的特征描述向量不符合要求,需要將其過濾掉。在此,計算每一個128維的特征描述向量與原128維的特征向量的歐式距離,當該距離大于設定閾值時,舍棄該特征描述向量,根據不同圖像的特點,閾值取值范圍介于300-500間。在對這些特征向量進行過濾后,將剩余的特征向量按照行序排列,即構成一個完整的特征向量集合。 
所述步驟4包括以下步驟:使用PCA主元分析方法對特征向量集合進行降維,可以人為設定降維的維度,假設降維的維度為N,則提取出N個128維的特征主元向量,一般N的取值為5,PCA算法的具體內容可參見論文“主元分析與偏最小二乘法.王桂增,葉昊編著,清華大學出版社,出版時間2012-8-1,ISBN9787302279426”。將提取到的N個特征主元向量作為原始局部特征點的特征流形表示;同時也生成初始候選特征點集合。在預處理時,初始候選特征點集合為空集,而在跟蹤時候,新添加的候選特征點為新檢測到的且沒有用于生成特征流型的特征點。 
所述步驟5包括以下步驟:提取視頻下一幀目標物體臨近區域的局部特征點。這里臨近區域定義為中心與上一幀目標物體的區域中心重合,且長和寬分別是上一陣目標區域長寬的2倍。 
所述步驟6包括以下步驟:將下一幀提取得到的特征點與之前生成的特征流型集合(即MS)和候選特征點集合(CF)中的元素進行匹配,生成配對關系。這里包含兩種匹配,一種是特征點與特征流型的匹配,在跟蹤的過程中,我們一直存儲著每個特征流型的低維版本,而這個版本是通過主成分分析降維得到的,求解公式為: 
d(Mi,fl)=minjd(Cij,fl),]]>
其中Mi為特征流型,f′l是待匹配特征點,Cij為線性子空間;d(,)定義為歐式距離。另一種匹配是下一幀提取出的特征點與候選特征點集中的特征點之間的匹配。 
所述步驟7包括以下步驟,利用匹配的信息去擬合計算所有匹配的特征之間的單應(Homography)變換矩陣。該矩陣是3x3的矩陣,常用于圖像變換中,具體信息可以參閱“計算機視覺:一種現代方法(第二版),福賽斯,電子工業出版社,2012年5月1日出版,ISBN:9787121168307”的闡述。 
所述步驟8包括以下步驟,依據步驟7中獲得的單應變換矩陣,對于當前幀目標物體最小包圍盒的四個頂點,分別作用單應變換矩陣,即可得到這四個頂點在下一幀中的估計位置,再求取這四個頂點的外接矩形,作為目標物體在下一幀中的新位置。 
所述步驟9包括以下步驟,記錄目標物體在視頻下一幀的位置;執行特征流型更新操作:對于找到匹配的特征流形,采用增量式主成分分析更新該特征流形表示,關于增量式主成分分析的具體內容可以參見論文“D.Skocaj,A.Leonardis,Weighted and robust incremental method for subspace learning,IEEE ICCV2003,pp.1494–1501”;同時對于連續數幀中找到匹配次數低于一定閾值的特征流形,將它從特征流形集合中刪除,而對于連續數幀中找到匹配次數高于一定閾值的候選特征點,生成對應的特征流形,并添加到特征流型集合中;對于下一幀中位于目標物體范圍內新檢測的特征點,將其添加到候選特征集合。在具體實現中,我們使用時間窗口法來實現判定特征流型的添加、刪除。將時間窗口的寬度定義為k幀,這里時間窗口包含從視頻下一幀往前的k幀,并且定義時間閾值t,設每個特征流型在時間窗口k幀內找到匹配的幀數為l,那么在備選的特征點集合中,對于在時間窗口內找到匹配的幀數l大于或等于t的特征點,算法為其生成特征流型,并將其添加到表示物體的特征流型集合中;在表示物體的特征流型集合中,對于在時間窗口內找到匹配的幀數l小于t的特征點被認定為過時的特征流型,繼而將其從特征流型集合中刪除;具體實現中設定k等于5,設定t等于4。以上操作保證了在特征流型集合中的特征流型都是穩定的,且能表示目標物體的最新狀態。 
所述步驟10包括以下步驟,其實質是判定追蹤程序是否運行到最后一幀,若否,循環至第步驟5;否則終止程序并退出。 
實施例1 
圖2給出了一張圖像的局部特征點,以圓點代表,圖2下面的小圖給出了其中一個特征點周圍的局部圖像區域。 
采用本實施例給出的變換對該局部圖像區域進行幾何變換,得到一系列的變換圖像,圖3給出了其中的部分變換圖像。 
圖4給出了針對每張變換圖像提取尺度不變特征描述向量并過濾掉部分欠精確特征向量后得到的特征向量集合中的部分特征向量。 
本實施例提出了特征流形來擴大局部特征點的特征描述向量對視角變換的適應范圍從而將其應用于目標追蹤。傳統的局部特征點描述雖然能很好地適應平移、旋轉和尺度變換,但是對視角變換的適應性并不好,局部特征點描述只能保證在一定小范圍內的圖像變換穩定性;而現實世界我們對相似的物體拍攝照片時,所獲取的圖像間往往具有較大的視角差異。本實施例中的特征流形表示是建立在局部特征點之上,通過構造適當個數的多個視角下該特征點的描述,從而獲得了由一系列特征向量集合構成的該特征點的全視角描述,然后,本實施例采用主元分析方法對該特征向量集合進行降維,從而得到了由少量幾個特征主元向量表示的特征流形。本實施例提出的基于特征流形的視頻目標物體跟蹤方法在進行目標物體的特征流星表示與跟蹤幀特征匹配時,匹配的魯棒性和效果都較好,從而保證了視頻目標物體跟蹤的魯棒性和跟蹤效果。 
實施例2 
圖5a和圖5b給出了同一物體在兩張不同視角下拍攝的照片圖像,該組圖像是牛津大學的一個研究小組公開發布的,同時發布的還有每幅圖像的特征點及正確的匹配點對,這組圖像及匹配數據用以驗證視角變換下特征匹配算法的效果,該組圖像可以在網址http://www.robots.ox.ac.uk/~vgg/research/affine/index.html免費下載并應用。 
圖6比較了采用本實施例方法進行圖像匹配與采用傳統方法進行圖像匹配的效果,從精確度和召回率兩方面關系給出對比曲線,采用本實施例方法的匹配即基于特征流行的特征匹配算法(圖中上方點曲線),采用傳統方法即基于原始尺度不變特征SIFT的特征匹配算法(圖中下方實曲線)。采用尺度不變特征SIFT進行圖像間特征匹配的步驟為:采用SIFT算法檢測兩幅圖像的特征點;對兩幅圖像A,B中的特征點進行特征匹配,即計算兩幅圖像特征點間SIFT特征描述的兩兩歐式距離,假設圖像A中的特征 點p的SIFT描述與圖像B中的特征點q的SIFT描述的距離小于其與圖像B中其它所有特征點SIFT描述距離,且小于某一給定閾值,則認為p與q匹配。采用基于特征流型的特征匹配算法進行圖像間特征匹配的步驟為:采用SIFT算法檢測兩幅圖像的特征點;對圖像B中的每個特征點,構造其特征流行表示,計算圖像A中的每個特征點SIFT特征描述到B中每個特征點的特征流行距離,該距離取做與該特征流行的多個主元向量距離的最小值;假設圖像A中的特征點p的SIFT描述與圖像B中的特征點q的特征流行距離小于其與圖像B中其它所有特征點的特征流行距離,且小于某一給定閾值,則認為p與q匹配。匹配的精確度和召回率分別用precision和recall表示,通過如下公式計算: 


從圖6可以看出,相對于傳統方法,采用基于特征流型的特征匹配算法在實驗的精確度和召回率方面更高,因而具有更好的匹配效果。 
實施例3 
圖7給出了采用本實施例的視頻目標物體跟蹤方法在一段監控視頻上的跟蹤結果,這里給出了5幀的跟蹤結果,矩形框是采用本實施例的方法得到的目標人物的跟蹤結果。 
圖8給出了采用本實施例的視頻目標物體跟蹤方法在另一段監控視頻上的跟蹤結果,這里給出了5幀的跟蹤結果,矩形框是采用本實施例的方法得到的目標人物的跟蹤結果。 
實施例4 
圖9給出了采用本實施例的視頻目標物體跟蹤方法在一段人臉視頻上的跟蹤結果,這里給出了10幀的跟蹤結果,矩形框是采用本實施例的方法得到的人臉跟蹤結果。 
為了直觀的測試本實施例的效果,我們實現了6種國際主流或最新發表的跟蹤方法并在多達15組測試視頻上進行了對比測試,其中另外6種目標跟蹤方法分別為: 
1)Meanshift跟蹤算法,原論文可參考“Comaniciu D,Ramesh V,Meer P."Real-time tracking of non-rigid objects using mean shift[C]."Computer Vision and Pattern Recognition, 2000.Proceedings.IEEE Conference on.IEEE,2000,2:142-149.” 
2)IVT跟蹤算法,原文請參考“D.Ross,J.Lim,R.-S.Lin,M.-H.Yang,Incremental learning for robust visual tracking,International Journal of Computer Vision77(1-3)(2008)125–141.” 
3)TLD跟蹤算法,原文可參考“Kalal Z,Mikolajczyk K,Matas J."Tracking-learning-detection[J]."Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34(7):1409-1422.” 
4)Hough跟蹤算法,原文可參考“M.Godec,P.M.Roth,H.Bischof,Hough-based tracking of non-rigid objects,Computer Vision and Image Understanding(2012).” 
5)L1-APG跟蹤算法,原文可參考“C.Bao,Y.Wu,H.Ling,H.Ji,Real time robust l1tracker using accelerated proximal gradient approach,in:IEEE CVPR2012,pp.1830–1837.” 
6)Superpixel跟蹤算法,原文可參考“S.Wang,H.Lu,F.Yang,M.-H.Yang,Superpixel tracking,in:IEEE ICCV2011,pp.1323–1330.” 
圖10中說明了15個測試視頻的具體信息,包括視頻名稱,分辨率,幀數和使用本實施例方法是否成功追蹤等信息。 
圖11中的表格對比了各個算法在不同視頻序列上的成功率,其中對于某一幀是否跟蹤成功的定義如下:如果則認為算法在該幀上追蹤成功。其中RT代表算法在這一幀輸出的實際跟蹤位置的矩形框,RG代表目標在這一幀的真實位置的矩形框。對于某種算法,在某一視頻序列的成功率等于所有成功追蹤的幀數占總幀數的百分比,為了便于閱讀,表中每個例子最優方法對應的結果用下劃線標出。 
圖12中的表格對比了各個算法在不同視頻序列上的平均中心誤差(單位為像素)。其定義為該算法在每一幀上追蹤的中心誤差之和除以總幀數,同樣的,為了便于閱讀,表中每個例子最優方法對應的結果用下劃線標出。 
可以看到,本實施例提出的算法不僅是在成功率方面還是在平均中心誤差方面均優于其他算法。 
本發明提供了一種基于圖像局部特征點特征流型來進行視頻目標追蹤的思路及方 法,具體實現該技術方案的方法和途徑很多,以上所述僅是本發明的優選實施方式,應當指出,對于本技術領域的普通技術人員來說,在不脫離本發明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發明的保護范圍。本實施例中未明確的各組成部分均可用現有技術加以實現。 

關 鍵 詞:
一種 基于 局部 特征 目標 跟蹤 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種基于局部特征點特征流型的目標跟蹤方法.pdf
鏈接地址:http://www.wwszu.club/p-6140835.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大