鬼佬大哥大
  • / 9
  • 下載費用:30 金幣  

一種動態環境下的空間運動目標檢測方法.pdf

摘要
申請專利號:

CN201410133651.8

申請日:

2014.04.03

公開號:

CN103955948A

公開日:

2014.07.30

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06T 7/20申請日:20140403|||公開
IPC分類號: G06T7/20 主分類號: G06T7/20
申請人: 西北工業大學
發明人: 黃攀峰; 張彬; 蔡佳; 孟中杰; 劉正雄
地址: 710021 陜西省西安市友誼西路127號
優先權:
專利代理機構: 西安通大專利代理有限責任公司 61200 代理人: 蔡和平
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201410133651.8

授權公告號:

||||||

法律狀態公告日:

2016.10.05|||2014.08.27|||2014.07.30

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明提供了一種動態環境下的空間運動目標檢測方法,通過雙目相機獲取前后兩幀四副圖像,提取四副圖像中可靠的特征點,然后對該特征點進行三維重建,計算圖像的場景流,接著,將具有相似運動的特征點聚類,從而檢測出場景中運動的物體。

權利要求書

權利要求書
1.  一種動態環境下的空間運動目標檢測方法,其特征在于:通過雙目相機獲取前后兩幀四副圖像,提取四副圖像中可靠的特征點,然后對該特征點進行三維重建,計算圖像的場景流,接著,將具有相似運動的特征點聚類,從而檢測出場景中運動的物體。

2.  根據權利要求1所述的一種動態環境下的空間運動目標檢測方法,其特征在于:提取圖像中可靠的特征點的方法為:首先檢測出特征點,然后對得到的特征點進行篩選,保留匹配的特征點。

3.  根據權利要求2所述的一種動態環境下的空間運動目標檢測方法,其特征在于:所述三維重建的方法為:假定匹配特征點在雙目相機圖像中的坐標分別為:x=[uL,vL]T,x=[uR,vR]T,則該特征點映射到世界坐標系中的三維坐標X=[X,Y,Z]T∈R3為:
X=(uL-cu,L)·bd,]]>Y=(vL-cv,L)·bd,]]>Z=b·fd,]]>
其中,b為立體相機的基線,cu,L和cv,L是左相機的主點,f是焦距,d表示視差,d=|uL-uR|。

4.  根據權利要求1所述的一種動態環境下的空間運動目標檢測方法,其特征在于:假定特征點映射到世界坐標系的三維坐標點的速度V在5幀的時間段t內是恒定的,t=0.5s,則所述場景流根據以下公式計算:f(x)≈13760f(x)-5f(x-1)+5f(x-2)-103f(x-3)+54f(x-4)-15f(x-5),]]>其中,f'(x)為場景流,f(x),f(x-1),f(x-2),f(x-3),f(x-4),f(x-5)分別表示5幀圖像中的匹配特征點在三維坐標系中的位置。

5.  根據權利要求4所述的一種動態環境下的空間運動目標檢測方法, 其特征在于:具有相似運動的特征點聚類的方法為:以檢測到的匹配特征點為節點使用Delaunay三角剖分進行連接,得到Delaunay三角形集合T,對得到的三角形集合T中的每個三角形邊線的兩個頂點的場景流之差進行閾值判斷,得到具有相似場景流的特征點的聚類。

6.  根據權利要求4或5所述的一種動態環境下的空間運動目標檢測方法,其特征在于:具有相似運動的特征點聚類的方法為:對同一條邊線上的兩個節點i和j定義它們的場景流之差,比較同一條邊線上的兩節點的場景流之差,如果差值不超過給定的閾值,則保留該條邊線,否則移除該邊線。

7.  根據權利要求1至5中任意一項所述的一種動態環境下的空間運動目標檢測方法,其特征在于:檢測出場景中運動的物體后,對錯誤檢測到的靜態物體進行剔除,以確保運動目標檢測的可靠性和穩定性,剔除的具體方法為:檢測得到物體的區域的尺度范圍如果超出合理尺度范圍,則從檢測結果中剔除,所述尺度范圍指物體在圖像中占據的區域范圍,所述合理尺度范圍為120像素×30像素。

8.  根據權利要求6所述的一種動態環境下的空間運動目標檢測方法,其特征在于:檢測出場景中運動的物體后,對檢測到的對象進行關聯,以確保運動目標檢測的可靠性和穩定性,關聯的具體方法為:假設檢測到的物體的速度在時間間隔Δt=0.5s內是不變的,根據物體在前一時刻檢測出的位置和速度,預測出當前時刻的預測 位置,再考慮到可接受范圍內的測量誤差和預測誤差,在當前預測位置周圍放置一個路徑門限,然后在當前時刻判斷物體的檢測位置是否落在這個預測路徑門限內,如果落在了預測路徑門限內,那么認為該物體檢測正常;否則,認為物體檢測丟失;檢測到的運動物體至少在兩個連續的時間步驟Δt都被正確檢測,并且在檢測的過程中,至多丟失一次,那么才確定其為正確檢測的運動物體,否則認為其為誤檢測,應予剔除,最終保留下來的,即為最終檢測出的場景中的運動物體,其中,所述路徑門限為以預測位置為中心,以1米為半徑的空間球形區域。

說明書

說明書一種動態環境下的空間運動目標檢測方法
技術領域
本發明屬于圖像處理與計算機視覺領域,具體涉及一種搭載在空間繩系機器人系統上的雙目立體相機對空間運動目標檢測的方法。
背景技術
空間繩系機器人系統由“繩系機器人+空間系繩+空間平臺”組成,具有安全、靈活、操作距離遠等特點,可廣泛應用于包括在軌維修、在軌加注、輔助變軌及在軌空間站輔助組裝等在軌服務中,已經成為空間操控技術領域的研究熱點之一。這種新型的微型智能機器人,在空間可以自主逼近目標。在其逼近的過程中利用自身攜帶的雙目視覺測量系統對目標進行實時檢測、跟蹤與測量。其中最關鍵的步驟首先是動態背景下對運動目標進行自動檢測提取,這涉及到運動目標檢測技術。
目前運動目標檢測廣泛應用于機器人導航、武器制導、交通流量監測、人體運動分析、視頻壓縮等諸多方面,涉及到計算機視覺、模式識別、統計學、圖像理解等諸多研究領域,是圖像處理研究領域的熱點和難點之一。由于空間繩系機器人的運動特性導致其攜帶的攝像機存在自主運動,與目標相對運動,使得問題變得更加難以解決,這將對后續的運動目標自動檢測極為不利。
對于運動平臺上運動目標檢測問題,常用的一種方法需要先消除相機自身運動,即將同一場景的不同角度或位置拍攝的圖像進行配 準,然后檢測運動目標。但是這種方法需要先消除相機自身運動,使得整個運動目標檢測算法比較復雜,步驟較多,整個算法的穩定性和精度也難以保證。
本專利針對繩系機器人上搭載的攝像機發生自運動時檢測運動目標的問題,提出了一種基于稀疏場景流的運動目標檢測方法,實現動態背景下運動目標的自動檢測。
發明內容
本發明的目的在于彌補現有運動目標檢測技術的不足,提供一種動態環境下的空間運動目標檢測方法,該方法具有良好的魯棒性,且操作簡單,計算速度快,檢測結果準確。
為實現上述目的,本發明的技術方案為:
一種空間繩系機器人運動目標檢測方法,通過雙目相機獲取前后兩幀四副圖像,提取四副圖像中可靠的特征點,然后對該特征點進行三維重建,計算圖像的場景流,接著,將具有相似運動的特征點聚類,從而檢測出場景中運動的物體。
提取圖像中可靠的特征點的方法為:首先檢測出特征點,然后對得到的特征點進行篩選,保留匹配的特征點。
所述三維重建的方法為:
假定匹配特征點在雙目相機圖像中的坐標分別為:x=[uL,vL]T,x=[uR,vR]T,則該特征點映射到世界坐標系中的三維坐標X=[X,Y,Z]T∈R3為:
X=(uL-cu,L)·bd,]]>Y=(vL-cv,L)·bd,]]>Z=b·fd,]]>
其中,b為立體相機的基線,cu,L和cv,L是左相機的主點,f是焦距,d表示視差,d=|uL-uR|。
假定特征點映射到世界坐標系的三維坐標點的速度V在5幀的時間段t內是恒定的,t=0.5s,則所述場景流根據以下公式計算:f(x)≈13760f(x)-5f(x-1)+5f(x-2)-103f(x-3)+54f(x-4)-15f(x-5),]]>
其中,f'(x)為場景流,f(x),f(x-1),f(x-2),f(x-3),f(x-4),f(x-5)分別表示5幀圖像中的匹配特征點在三維坐標系中的位置。
具有相似運動的特征點聚類的方法為:以檢測到的匹配特征點為節點使用Delaunay三角剖分進行連接,得到Delaunay三角形集合T,對得到的三角形集合T中的每個三角形邊線的兩個頂點的場景流之差進行閾值判斷,得到具有相似場景流的特征點的聚類。
具有相似運動的特征點聚類的方法為:對同一條邊線上的兩個節點i和j定義它們的場景流之差,比較同一條邊線上的兩節點的場景流之差,如果差值不超過給定的閾值,則保留該條邊線,否則移除該邊線。
檢測出場景中運動的物體后,對錯誤檢測到的靜態物體進行剔除,以確保運動目標檢測的可靠性和穩定性,剔除的具體方法為:檢測得到物體的區域的尺度范圍如果超出合理尺度范圍,則從檢測結果中剔除,所述尺度范圍指物體在圖像中占據的區域范圍,所述合理尺度范圍為120像素×30像素。
檢測出場景中運動的物體后,對檢測到的對象進行關聯,以確保運動目標檢測的可靠性和穩定性,關聯的具體方法為:假設檢測到的 物體的速度在時間間隔Δt=0.5s內是不變的,根據物體在前一時刻檢測出的位置和速度,預測出當前時刻的預測位置,再考慮到可接受范圍內的測量誤差和預測誤差,在當前預測位置周圍放置一個路徑門限,然后在當前時刻判斷物體的檢測位置是否落在這個預測路徑門限內,如果落在了預測路徑門限內,那么認為該物體檢測正常;否則,認為物體檢測丟失;檢測到的運動物體至少在兩個連續的時間步驟Δt都被正確檢測,并且在檢測的過程中,至多丟失一次,那么才確定其為正確檢測的運動物體,否則認為其為誤檢測,應予剔除,最終保留下來的,即為最終檢測出的場景中的運動物體,所述路徑門限以預測位置為中心,以1米為半徑的空間球形區域。
與現有技術相比,本發明至少具有以下有益效果:本發明采用了稀疏場景流分割的算法檢測動態場景中的運動目標,與以往技術相比,不需要先檢測出相機的自身運動,克服了現有技術的步驟繁瑣,實現復雜,實時性不好,精確度低等不足。本發明利用可靠特征點的稀疏場景流的計算,能顯著提高運行速度,保證實時性。采用Delaunay三角剖分對場景流進行分割,能夠高效地識別出場景中的運動目標。發明中對檢測到的運動對象進行關聯,保證了算法的精確性和可靠性。
附圖說明
圖1為本發明的算法總流程框圖。
具體實施方式
本發明方法主要由三維重建算法、稀疏場景流算法、場景流聚類 算法、對象關聯算法等部分組成。該方法具體包括步驟如下:
步驟一:獲取雙目相機的前后兩幀四幅圖像;
步驟二:對這兩幀連續的圖像對進行特征點提取,保留那些在這四幅圖像中相對應的可靠的特征點;
步驟三:利用左右圖像的視差,對每個特征點進行三維重建,得到每個特征點在3D世界坐標系中的坐標;
步驟四:通過計算每個特征點在5個時間間隔中檢測得到的5個3D位置的有限差分,近似得到場景流;
步驟五:以檢測到的特征點為節點使用Delaunay三角剖分進行連接;
步驟六:判斷同一條連線上兩節點的場景流的差,如果差值不超過給定的閾值,則保留該邊線,否則移除該邊線,這樣就把具有相似場景流的特征點聚類在了一起;
步驟七:去除誤檢測的靜態物體;
步驟八:對檢測到的運動對象進行關聯,進一步確保檢測結果的可靠性和穩定性。
以下結合附圖對本發明進行詳細的描述。應當指出的是,所描述的實施例僅旨在便于對本發明的理解,而對其不起任何限定作用。
如圖1所示,本發明實施例提供的運動目標檢測方法包括:
步驟一:獲取左相機前一幀圖像xL,k-1,當前幀圖像xL,k,右相機前一幀圖像xR,k-1,當前幀圖像xR,k;
步驟二:立體圖像中可靠特征點的提取,具體步驟分解如下:
(1):對圖像xL,k-1,xL,k,xR,k-1,xR,k分別進行特征點檢測,得到四幅圖像的特征點集,分別為P1={p11,p12,…,p1n},P2={p21,p22,…,p2n},P3={p31,p32,…,p3n},P4={p41,p42,…,p4n};
(2):對步驟(1)得到的特征點進行篩選:首先對特征點集P1和P2中的特征點進行匹配,保留匹配的特征點,再用保留下來的特征點和P3中的特征點匹配,保留匹配的特征點,再用保留下來的特征點和P4中的特征點匹配,保留匹配的特征點。特征點集P1,P2,P3,P4中保留下來的那些特征點組成新的點集,稱為匹配特征點集Q1={q11,q12,…,q1j},Q2={q21,q22,…,q2j},Q3={q31,q32,…,q3j},Q4={q41,q42,…,q4j};
其中特征點的檢測,利用的是參考文獻“A.Geiger,J.Ziegler,and C.Stiller.Stereoscan:Dense3d reconstruction in real-time.In IEEE Intelligent Vehicles Symposium,Baden-Baden,Germany,June2011”中所提出的方法,此處不再贅述。
步驟三:對左右相機當前幀的兩幅圖像中的匹配特征點對集合Q2,Q4進行三維重建,得到每個特征點在3D世界坐標系中的坐標:
設匹配特征點在左相機圖像中的坐標為x=[uL,vL]T,在右相機圖像中的坐標為x=[uR,vR]T,那么該特征點映射到世界坐標系中的三維坐標X=[X,Y,Z]T∈R3為:
X=(uL-cu,L)·bd---(1)]]>
Y=(vL-cv,L)·bd---(2)]]>
Z=b·fd---(3)]]>
其中b代表立體相機的基線,cu,L和cv,L是左相機的主點,f是焦距,d表示視差,d=|uL-uR|。
步驟四:計算場景流,假設特征點映射到世界坐標系的三維坐標點的速度V在5幀的時間段(t=0.5s)內是恒定的,那么速度矢量可以看做是世界點Xk位置的一階導數,其中,k為第k幀圖像,k=1,……5:
V=ΔXkΔt---(4)]]>
采樣速率1/Δt=10Hz恒定,其中,Δt代表前后兩幀圖像之間的采樣時間間隔,ΔXk表示世界點Xk在前后兩幀圖像中的對應三維位置之差。
為了計算的方便,使用向后差分近似求導,公式如下:
f(x)≈13760f(x)-5f(x-1)+5f(x-2)-103f(x-3)+54f(x-4)-15f(x-5)---(5)]]>
其中,f'(x)為場景流,f(x),f(x-1),f(x-2),f(x-3),f(x-4),f(x-5)分別表示5幀圖像中的匹配特征點在三維坐標系中的位置。
由公式(4)和(5)可以計算出場景的場景流。
步驟五:以檢測到的匹配特征點為節點使用Delaunay三角剖分進行連接,得到Delaunay三角形集合T。
具體方法在參考文獻“C.B.Barber,D.P.Dobkin,and H.Huhdanpaa.The quickhull algorithm for convex hulls.ACM Transactions on Mathematical Software,22(4):469–483,1996”中有詳細介紹,此處不再贅述。
步驟六:對上步中得到的三角形集合T中的每個三角形邊線的兩個頂點的場景流之差進行閾值判斷,得到具有相似場景流的特征點的 聚類,具體步驟如下:
(1):對同一條邊線上的兩個節點i和j定義它們的場景流之差如下:
Δ(Vi,Vj)=(Vi-Vj)TΣi,j-1(Vi-Vj)---(6)]]>
其中,Vi,Vj分別表示兩個節點i和j上的場景流;
場景流的協方差矩陣Σ如下:
Σ=JSJT               (7)
其中S為測量噪聲為0.5像素的斜對角測量噪聲矩陣。
矩陣J為場景流的雅克比矩陣,對于3D世界點X=[X,Y,Z]T,其雅克比矩陣J給出如下:
J=dVdx=∂VX∂uL,k∂VX∂uR,k∂VX∂vk∂VY∂uL,k∂VY∂uR,k∂VY∂vk∂VZ∂uL,k∂VZ∂uR,k∂VZ∂vk,i=0...5---(8)]]>
(2):比較同一條邊線上的兩節點的場景流之差Δ(Vi,Vj),如果差值不超過給定的閾值(本實施例中設為30像素),則保留該條邊線,否則移除該邊線。這樣就把具有相似場景流的特征點聚類在了一起,就初步檢測出了場景中運動的物體O’1,O’2,…,O’n。
步驟七:去除誤檢測的靜態的物體:
對于誤檢測的靜態的區域,其檢測得到的區域的尺寸范圍往往超出了目標合理的尺寸范圍,因此可以判斷,把尺度范圍超過合理尺度范圍(本實施例中設為120像素×30像素)的區域,從檢測結果中剔除,保留下物體O1,O2,…,Om。此處的尺度范圍指物體在圖像中占據 的區域范圍。
步驟八:對檢測到的運動物體O1,O2,…,Om進行關聯,進一步確保檢測結果的可靠性和穩定性,具體步驟如下:
(1):對于檢測到的物體Oi,假設其速度在時間Δt=0.5s內是不變的;
(2):根據其前一時刻的位置以及其速度,預測出當前時刻位置
(3):考慮到可接受范圍內的測量誤差和預測誤差,在當前時刻預測位置周圍放置一個路徑門限(在本實施例中設置為以預測位置為中心,以1米為半徑的空間球形區域);
(4):在當前時刻,檢測物體Oi的位置為判斷如果其落在了預測位置的路徑門限內,那么認為該物體檢測正常;如果檢測位置落在了預測位置的路徑門限外,那么認為物體檢測丟失;
(5):檢測到的運動物體至少在兩個連續的時間步驟Δt都被正確檢測,并且在檢測的過程中,至多丟失一次,那么才確定其為正確檢測的運動物體,否則認為其為誤檢測,應予剔除,最終保留下來的,即為最終檢測出的場景中的運動物體。
至此,就正確穩定地檢測出場景中的運動目標了。
以上所述,僅為本發明中的具體實施方式,但本發明的保護范圍并不局限于此,任何熟悉該技術的人在本發明所揭露的技術范圍內,可理解想到的變換或替換,都應涵蓋在本發明的包含范圍之內,因此,本發明的保護范圍應該以權利要求書的保護范圍為準。

關 鍵 詞:
一種 動態 環境 空間 運動 目標 檢測 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種動態環境下的空間運動目標檢測方法.pdf
鏈接地址:http://www.wwszu.club/p-6140784.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大