鬼佬大哥大
  • / 12
  • 下載費用:30 金幣  

基于三維點云分割的雙目視覺障礙物檢測方法.pdf

摘要
申請專利號:

CN201410146864.4

申請日:

2014.04.14

公開號:

CN103955920A

公開日:

2014.07.30

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06T 7/00申請日:20140414|||公開
IPC分類號: G06T7/00; G06T17/00 主分類號: G06T7/00
申請人: 桂林電子科技大學; 桂林宇輝信息科技有限責任公司
發明人: 袁華; 曾日金; 莫建文; 陳利霞; 張彤; 首照宇; 歐陽寧; 趙暉
地址: 541004 廣西壯族自治區桂林市七星區金雞路1號
優先權:
專利代理機構: 桂林市華杰專利商標事務所有限責任公司 45112 代理人: 巢雄輝
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201410146864.4

授權公告號:

||||||

法律狀態公告日:

2017.04.12|||2014.08.27|||2014.07.30

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明提供一種基于三維點云分割的雙目視覺障礙物檢測方法,包括同步采集兩個相同規格的攝像機圖像;對雙目攝像機進行標定校正并計算三維點云分割閾值;用立體匹配算法和三維重構計算得到三維點云,對基準圖做圖像分割得到圖塊;自動檢測三維點云的路面高度,利用三維點云分割閾值分割出路面點云、不同位置的障礙物點云和未知區域點云;利用分割得到的點云結合分割后的圖塊,判決障礙物和路面的正確性,確定障礙物、路面和未知區域的位置范圍。本發明在較復雜的環境中仍可檢測攝像機與路面高度并自動估算三維分割的閾值,分割出障礙物點云、路面點云和未知區域點云;結束彩色圖像分割技術,融合顏色信息判決障礙物和路面的正確性,確定障礙物、路面和未知區域的位置范圍,實現高魯棒性的障礙物檢測,具有更高的可靠性和實用性。

權利要求書

權利要求書
1.  基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:包括如下步驟:
(1)通過不同位置的兩臺攝像機獲取兩路彩色圖像,利用立體標定方法對雙目攝像機進行標定,計算兩個攝像機的內外參數和相對位置關系,根據這些參數分別對兩個攝像機進行消除畸變和行或列對準,使兩路彩色圖像的成像原點坐標一致,得到校正后的雙目彩色視圖,由傳感器獲取或預先確定攝像機相對路面的俯仰角和高度;
(2)對步驟(1)校正后得到的雙目彩色視圖,選擇其中一幅視圖作為基準圖,利用立體匹配算法對基準圖進行匹配計算,得到初步的視差圖;對基準圖進行彩色圖像分割,得到顏色相近的圖塊;根據步驟(1)獲得的攝像機相對路面位置關系數據,計算點云分割的閾值,包括在一定精度下可檢測障礙物的最近距離、最遠距離、最大高度和最大寬度;
(3)在步驟(2)計算得到的視差圖后,利用步驟(1)計算得到兩個攝像機相對位置關系數據(重投影矩陣)進行視差圖三維重構,計算出三維點云;
(4)根據步驟(1)獲取的攝像機相對地面的位置數據,校正由步驟(3)計算得出的三維點云,使三維點云中路面點云相對于攝像機處于同一高度;
(5)對步驟(4)校正后的三維點云進行檢測出路面高度(路面相對攝像機的高度),由步驟(2)計算的分割閾值分割出障礙物、路面和未知點云;
(6)融合步驟(5)分割的點云和步驟(2)對基準圖圖像分割的圖塊,確定障礙物、路面和未知區域,并標記顯示出來。

2.  根據權利要求1所述的基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述雙目攝像機是由兩個同規格的像機組合在一起的雙路視頻設備,可根據需要獲取不同的圖片像素,處理方法為原始RGB三通道彩色圖片。

3.  根據權利要求1或2所述基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述自動檢測三維分割閾值方法,是根據攝像機的分辨率和立體標定數據,計算出在一定精度下可檢測障礙物的最近距離、最遠距離、最大高度、最大寬度和分割閾值。

4.  根據權利要求1和3所述基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述利用三維點云進行檢測出路面高度,是利用循環迭代的方法提高檢測路面高度的準確性,同時在假設高于路面的物體為障礙物下,由路面高度和三維點云分割閾值分割出不同位置的障礙物點云、路面點云和未知區域點云。

5.  根據權利要求1和4所述基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述的障礙物、路面和未知區域的獲得,是利用步驟(5)分割得到的三維點云結束圖像分割后的圖像塊確定,并標記顯示出來。

6.  根據權利要求1所述的基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述雙目攝像機標定:標定包括攝像機標定和立體標定;
攝像機標定主要計算出切向畸變、徑向畸變、焦距和光學中心;
立體標定是計算空間上兩臺攝像機幾何關系的過程,依賴于查找兩臺攝像機之間的旋轉矩陣和平移向量;
雙目校正:攝像機需要矯正和立體校正,矯正是消除切向和徑向畸變;
立體校正是由于兩臺攝像機幾乎不可能有準確的共面和行對準的成像平面,需要通過立體的標定兩個攝像機之間的旋轉矩陣和平移向量校正。

7.  根據權利要求1所述的基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述雙目匹配和視差計算:立體匹配主要是通過找出每對圖像間的對應關系,根據三角測量原理,得到視差圖;在獲得了視差信息后,根據投影模型很容易地可以得到原始圖像的深度信息和三維信息;
立體匹配技術被普遍認為是立體視覺中最困難也是最關鍵的問題,目前立體匹配算法是計算機視覺中的一個難點和熱點,算法很多,但是一般的步驟是:匹配代價計算,匹配代價疊加,視差獲取,視差細化。

8.  根據權利要求1所述的基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述自動估算分割閾值:在允許的最小深度范圍精度內,根據攝像機的分辨率和立體標定得到的兩攝像機間距離、焦距計算出離攝像機的最近距離、離攝像機最遠距離、最大高度和最大寬度,進而在允許的精度范圍內計算出障礙物前后和左右之間的間隔、障礙物高度誤差范圍。

9.  根據權利要求1所述的基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:所述三維點云路面高度檢測:對三維重構得到的三維點云進行路面高度檢測,滿足設定誤差的高度視為路面高度;在第一次檢測路面高度時誤差可能會較大,進行多次迭代檢測后,路面高度的檢測精確度趨向穩定,并隨著近幾次的高度檢測值更新而更新。

10.  根據權利要求1所述的基于三維點云分割的雙目視覺障礙物檢測方法,其特征是:
所述三維點云分割:在三維重構得到較稠密的三維點云后,根據攝像機相對地面的俯仰角度旋轉三維點云,使三維點云上路面點云與攝像機處于同一高度;
由障礙物離攝像機的最近距離、離攝像機最遠距離、最大高度、最大寬度路面、點云高度和障礙物高度誤差,分割三維點云得到路面點云、障礙物點云和未知區域點云;由障礙物前后和左右之間的間隔,分割障礙物點云得到各個位置的障礙物點云;未知區域點云是由一些匹配計算錯誤的點云和精度較差的點云構成;
三維點云融合顏色信息檢測障礙物:三維點云融合顏色信息即對三維點云分割得到不同位置的障礙物點云、路面點云和未知區域點云,對彩色基準圖進行按顏色圖像分割得到圖像塊,將分割得到的點云與分割得到的圖像塊融合對比,判決障礙物和路面的正確性,確定障礙物、路面和未知區域的位置范圍,實現高可靠性的障礙物檢測。

說明書

說明書基于三維點云分割的雙目視覺障礙物檢測方法
技術領域
本發明涉及自主移動機器人和自動駕駛等基于雙目立體視覺障礙物自動檢測領域,具體是基于三維點云分割的雙目視覺障礙物檢測方法。
背景技術
雙目立體視覺是計算機視覺的一個重要分支,這種視覺直接模擬人類雙眼處理景物的方式,簡便可靠,在許多領域均極具應用價值,如機器人導航與航測、三維測量、智能交通及虛擬現實等。雙目立體視覺是由不同位置的兩臺或者一臺攝像機經過移動或旋轉拍攝同一幅場景,通過計算空間點在兩幅圖像中的視差,獲得該點的三維坐標值。在自主移動機器人和自動駕駛等領域的研究中,最基本條件是要求機器人或自動駕駛車配備有視覺裝置。該視覺系統應能完成類似人眼的基本功能,為路徑的規劃提供可靠的視覺信息。障礙物的目標檢測和距離信息的獲取是自主移動機器人和自動駕駛中的關鍵部分。基于雙目立體視覺的障礙物檢測的關鍵在于:(1)雙目圖像對的立體匹配,計算三維點云;(2)障礙物目標的提取,即識別出障礙物位置和大小。通常自主移動機器人和自動駕駛等應用環境復雜,受光學失真和噪聲、平滑表面的鏡面反射、投影縮減、透視失真、低紋理、重復紋理、透明物體和重疊和非連續區域因素的影響,無法保證通過立體匹配計算可得到稠密的視差圖。另外,在復雜的道路環境下,僅依靠道路顏色經驗值或道路邊線檢測來對單幅圖像道路檢測的正確性不高,無法直接應用到實際場合中。
隨著對機器視覺的不斷深入研究,目前已有不少高效且能獲得較稠密視差圖的立體匹配算法應用到實際場景當中,如三維重建、智能交通、智能檢測等。圖像分割是把圖像分成若干個特定的、具有獨特性質的區域并提出感興趣目標的技術和過程,它是由圖像處理到圖像分析的關鍵步驟。研究人員已不斷改進原有的彩色圖像分割方法并把其它學科的一些新理論和新方法用于圖像分割,提出了不少新的適應特定場合的分割方法。
發明內容
本發明的目的是要提供一種基于三維點云分割的雙目視覺障礙物檢測方法,該方法在三維點云上初步分割出路面點云和高于地面的障礙物點云,再結合彩色圖像分割算法融合判決,最終確定障礙物。
實現本發明目的的技術方案是:
一種基于三維點云分割的雙目立體視覺的障礙物自動檢測方法,包括如下步驟:
(1)通過不同位置的兩臺攝像機獲取兩路彩色圖像,利用立體標定方法對雙目攝像機進行標定,計算兩個攝像機的內外參數和相對位置關系,根據這些參數分別對兩個攝像機進行消除畸變和行(或列)對準,使兩路彩色圖像的成像原點坐標一致,得到校正后的雙目彩色視圖。由傳感器獲取或預先確定攝像機相對路面的俯仰角和高度;
(2)對步驟(1)校正后得到的雙目彩色視圖,選擇其中一幅視圖作為基準圖。利用立體匹配算法對基準圖進行匹配計算,得到初步的視差圖。對基準圖進行彩色圖像分割,得到顏色相近的圖塊。根據步驟(1)獲得的攝像機相對路面位置關系數據,計算點云分割的閾值,包括在一定精度下可檢測到障礙物的最近距離、最遠距離、最大高度和最大寬度。
(3)在步驟(2)計算得到的視差圖后,利用步驟(1)計算得到兩個攝像機相對位置關系數據(重投影矩陣)進行視差圖三維重構,計算出三維點云。
(4)根據步驟(1)獲取的攝像機相對地面的位置數據,校正由步驟(3)計算得出的三維點云,使路面點云相對于攝像機的高度一致。
(5)對步驟(4)校正后的三維點云進行檢測出路面高度(路面相對攝像機的高度),由步驟(2)計算的分割閾值分割出障礙物、路面和未知點云。
(6)融合步驟(5)分割的點云和步驟(2)對基準圖圖像分割的圖塊,確定障礙物、路面和未知區域,并標記顯示出來。
上述整個過程,所述的兩個攝像機是始終保持同規格的,即像素、焦距、光圈等性能相同或接近,考慮到影響立體匹配計算的因素,盡量選擇高清晰度的攝像機。兩個攝像機的相對位置和焦距是固定的,即一經標定不再改變兩攝像機的相對位置和焦距。兩個攝像機相與路面的俯仰角度和高度可以固定,也可以變動。步驟(1)中兩個攝像頭的分辨率綜合設備的計算性能而確定,通常可采用640x480或1027x768等分辨率。標定攝像機可采用人工標定、平面棋盤標定或圓(平面圓或平行圓)標定等,計算出切向畸變、徑向畸變、焦距、成像原點、校正映射矩陣和重投影矩陣。校正映射用于校正兩個攝像機的彩色視圖,使兩幅圖像成像原點坐標一致,兩攝像頭光軸平行、左右成像平面共面、對極線行或列對齊。攝像機相對路面的位置包括俯仰角和高度,其中高度為可選項。
步驟(2)中所述選擇的基準圖是確定后續計算參考的主圖像。目前立體匹配算法是計算機視覺中的一個難點和熱點,算法有很多種,一般的步驟有匹配代價計算、匹配代價疊加、視差獲取、視差細化(亞像素級),匹配策略有局部算法和和全局算法。綜合設備的計算性能和精確度要求,選擇合適的立體匹配算法,高效快速地計算出較稠密的視差圖。彩色圖像分割即對彩色圖像按顏色信息進行圖像分割。根據兩個攝像機的相對距離和基準攝像機的焦 距可以確定在可接受精度下可檢測的障礙物離攝像機最近距離、離攝像機最遠距離、最大高度和最大寬度。
步驟(3)所述的三維點云由視差圖利用步驟(1)計算得到的重投影矩陣三維重構計算后得到。視差圖是以圖像對中任一幅圖像為基準,其大小為該基準圖像的大小,元素值為視差值的圖像,包含了場景的距離信息。
步驟(4)所述根據攝像機相對地面的俯仰角度旋轉三維點云,使路面點云相對于攝像機的高度一致。
步驟(5)所述根據步驟(2)檢測的最大高度或步驟(1)獲得的高度分割三維點云,得到路面點云;根據步驟(2)檢測的障礙物離攝像機最近距離和離攝像機最遠距離,分割三維點云得到離攝像機不同距離范圍的障礙物點云和未知區域點云;根據步驟(2)檢測的最大寬度分割離攝像機不同距離范圍的障礙物點云,得到不同位置的障礙物點云。這一步驟即分割出障礙物點云、路面點云和未知區域點云,未區域點云是由一些匹配計算錯誤的點云和精度較差的點云構成。
步驟(6)所述融合步驟(5)分割的點云和步驟(2)對基準圖圖像分割的圖塊,即將步驟(2)彩色圖像分割得到的圖像塊與障礙物點云和路面點云比較,判決障礙物和路面的正確性和區域范圍。
所述雙目攝像機標定:標定包括攝像機標定和立體標定。攝像機標定主要計算出切向畸變、徑向畸變、焦距和光學中心。立體標定是計算空間上兩臺攝像機幾何關系的過程,依賴于查找兩臺攝像機之間的旋轉矩陣和平移向量;所述雙目校正:攝像機需要矯正和立體校正,矯正是消除切向和徑向畸變。立體校正是由于兩臺攝像機幾乎不可能有準確的共面和行對準的成像平面,需要通過立體的標定兩個攝像機之間的旋轉矩陣和平移向量校正;
所述雙目匹配與視差計算:立體匹配主要是通過找出每對圖像間的對應關系,根據三角測量原理,得到視差圖;在獲得了視差信息后,根據投影模型很容易地可以得到原始圖像的深度信息和三維信息。立體匹配技術被普遍認為是立體視覺中最困難也是最關鍵的問題,目前立體匹配算法是計算機視覺中的一個難點和熱點,算法很多,一般計算的步驟為:匹配代價計算,匹配代價疊加,視差獲取,視差細化;
所述自動估算分割閾值:在允許的最小深度精度范圍內,根據攝像機的分辨率和立體標定得到的兩攝像機間距離、焦距計算出障礙物離攝像機的最近距離、離攝像機最遠距離、最大高度和最大寬度。進而在允許的精度范圍內計算出障礙物前后和左右之間的間隔、障礙物高度誤差范圍。
所述三維點云路面高度檢測:對三維重構得到的三維點云進行路面高度檢測,滿足設定誤差的高度視為路面高度。在第一次檢測路面高度時誤差可能會較大,進行多次迭代檢測后,路面高度的檢測精確度趨向穩定,并隨著近幾次的高度檢測值更新而更新。
所述三維點云分割:在三維重構得到較稠密的三維點云后,根據攝像機相對地面的俯仰角度旋轉三維點云,使三維點云上路面點云與攝像機處于同一高度。由障礙物離攝像機的最近距離、離攝像機最遠距離、最大高度、最大寬度、路面點云高度和障礙物高度誤差,分割三維點云得到路面點云、障礙物點云和未知區域點云;由障礙物前后和左右之間的間隔,分割障礙物點云得到各個位置的障礙物點云;未知區域點云是由一些匹配計算錯誤的點云和精度較差的點云構成。
所述三維點云融合顏色信息檢測障礙物:三維點云融合顏色信息即對三維點云分割得到不同位置的障礙物點云、路面點云和未知區域點云,對彩色基準圖進行按顏色圖像分割得到圖像塊,將分割得到的點云與分割得到的圖像塊融合對比,判決障礙物和路面的正確性,確定障礙物、路面和未知區域的位置范圍,實現高可靠性的障礙物檢測。
本發明的優點是:與現有技術相比,本發明在較復雜的環境中三維重構較稠密的三維點云,在攝像機與路面成一定俯仰角下仍可檢測攝像機與路面高度并自動估算三維分割的閾值,分割出障礙物點云、路面點云和未知區域點云;結束彩色圖像分割技術,融合顏色信息判決障礙物和路面的正確性,確定障礙物、路面和未知區域的位置范圍;相比單圖像依靠經驗檢測路面障礙物的方法,具有更高的可靠性和實用性。
附圖說明
圖1為基于三維點云分割的雙目視覺障礙物檢測方法原理圖。
圖2為雙目立體成像原理圖。
具體實施方式
基于三維點云分割并融合顏色信息的障礙物自動檢測方法,如圖1所示,包括以下步驟:
步驟一:通過不同位置的兩臺攝像機獲取兩路彩色圖像,利用立體標定方法對雙目攝像機進行標定,計算兩個攝像機的內外參數和相對位置關系,根據這些參數分別對兩個攝像機進行消除畸變和行(或列)對準,使兩路彩色圖像的成像原點坐標一致,得到校正后的雙目彩色視圖。由傳感器獲取或預先確定攝像機相對路面的俯仰角和高度。兩個攝像機的相對位置和焦距是固定的,即一經標定不再改變兩攝像機的相對位置和焦距。兩個攝像機相與路面的俯仰角度和高度可以固定,也可以變動。
兩個攝像頭的分辨率綜合設備的計算性能而確定,通常可采用640x480或1027x768等分辨率。標定攝像機可采用人工標定、平面棋盤標定或圓(平面圓或平行圓)標定等,計算出切向畸變、徑向畸變、焦距、成像原點、校正映射矩陣和重投影矩陣。校正映射用于校正兩個攝像機的彩色視圖,使兩幅圖像成像原點坐標一致,兩攝像頭光軸平行、左右成像平面共面、對極線行或列對齊。攝像機相對路面的位置包括俯仰角和高度,其中高度為可選項。
在本發明中,兩個攝像機是始終保持同規格的,即像素、焦距、光圈等性能相同或接近,考慮到影響立體匹配計算的因素,盡量選擇高清晰度的攝像機。
現舉例使用平面棋盤標定方法標定左右水平放置好的雙目攝像機。調整好雙目攝像機并采集到兩路RGB圖像后,利用n行m列黑白格棋盤對其標定(n和m大于4),攝像頭由于光學透鏡的特性使得成像存在著徑向畸變:
xcorrected=x(1+k1r2+k2r4+k3r6)     (1)
ycorrected=y(1+k1r2+k2r4+k3r6)
公式中(x,y)為獲取的原始圖像像素,(xcorrected,ycorrected)為校正徑向畸變的圖像像素,參數k1,k2,k3為徑向畸變參數;
由于在工藝上,裝配成像傳感器和鏡頭時存在誤差,傳感器與光學鏡頭之間并非完全平行,因此成像存在切向畸變:
xcorrected=x+[2p1y+p2(r2+2x2)]     (2)
ycorrected=y+[p1(r2+2y2)+2p2x]
公式中(x,y)為獲取的原始圖像像素,(xcorrected,ycorrected)為校正切向畸變的圖像像素,參數p1,p2為切向畸變參數;單個攝像機的定標主要是計算出攝像機的內參以及外參。雙目攝像機定標不僅要得出每個攝像機的內部參數,還需要通過立體標定來測量兩個攝像機之間的相對位置(三維平移向量和旋轉矩陣)。
雙目校正是根據攝像機定標后獲得的單目內參數據(焦距、成像原點、畸變系數)和雙目相對位置關系(旋轉矩陣和平移向量),分別對左右視圖進行消除畸變和行對準,使得左右視圖的成像原點坐標一致、兩攝像頭光軸平行、左右成像平面共面、對極線行對齊,便于立體匹配的計算。
步驟二:對步驟一校正后得到的雙目彩色視圖,選擇其中一幅視圖作為基準圖。利用立體匹配算法對基準圖進行匹配計算,得到初步的視差圖。對基準圖進行彩色圖像分割,得到顏色相近的圖塊。根據步驟一獲得的攝像機相對路面位置關系數據,計算點云分割的閾值,包括在可接受精度下可檢測的最近距離、最遠距離、最大高度和最大寬度。
現利用Heiko Hirschmüller提出的SGBM立體匹配算法并加以優化,以左視圖為基圖進行匹配,計算得到初步的視差圖。立體匹配算法包括以下幾個步驟:首先進行匹配代價計算,
C(p,d)=C(x,y,d)=CBT(pLi,pLi+d,I′L,I′R)
=max{0,IL(pLi)-I′max,I′min-IL(pLi)}     (3)
等式(3)中,d為視差。
匹配代價疊加如下式:
E(D)=ΣpC(p,Dp)+Σq∈NpP1T[|Dp-Dq|=1]+Σq∈NpP2T[|Dp-Dq|>1]---(4)]]>
式(4)中D為視差圖,右側第一項表示所有像素點的匹配代價的和。
圖像分割方法有很多種,這里用基于顏色的均值漂移聚類相似算法。這里均值漂移分割能找到在空間上顏色分布的峰值,通過給定一組多給數據,其維數是(x,y,藍,綠,紅),均值漂移可以用一個窗口掃描空間來找到數據密度最高的“聚塊”。設定一個空間半徑,根據顏色變量設定一個顏色半徑。當均值漂移窗口移動時,經過窗口變換后收斂到數據峰值的所有點都會連通起來,并且屬于該峰值。這種所屬關系,是從密集的尖峰輻射,形成了圖像的分割。分割由比例金字塔完成,金字塔中高層的顏色簇,擁有自己的邊界,這些邊界在金字塔中被精確定義在金字塔的低一層。
根據攝像機分辨率用下列式子計算最近距離、最遠距離、最大高度、最大寬度和確定障礙物高度誤差范圍:
ΔZ=Z2fTVd---(5)]]>
其中Vz為獲得的最小嘗試范圍精度,z為障礙物離攝像機的距離,f為攝像機的焦距,T為兩臺攝像機間的距離,Vd為視差值。
步驟三:在步驟二計算得到的視差圖后,利用步驟一計算得到兩個攝像機相對位置關系數據(重投影矩陣)進行視差圖三維重構,計算出三維點云。
根據雙目立體成像原理,如圖2:
其中基線距T為兩攝像機的投影中心連線的距離;相機焦距為f。
經過立體校正后,兩攝像機的圖像在同一個平面上,基準圖像的成像中心為(cx,cy),右圖像上的這一點x坐標為c′x,兩臺攝像機x方向的距離為Tx,剛重投影矩陣職下:
Q=100-cx010-cy000f00-1/Tx(cx,cxTx)---(6)]]>
給定一個二維齊次點的和其關聯的視差d,可以將此點投影到三維中:
Qxyd1=XYZW---(7)]]>
因此,(X/W,Y/W,Z/W)就是視差點d對應的三維坐標。
步驟四:根據步驟一獲取的攝像機相對地面的位置數據,校正由步驟三計算得出的三維點云,使三維點云中路面點云相對于攝像機高度一致。獲取攝像機相對地面的俯仰角后,便可旋轉三維點云,使三維點云的路面高度值一致。這里設置雙目攝像機與路面平行。
步驟五:對步驟四校正后的三維點云進行檢測出路面高度(路面相對攝像機的高度),由步驟二計算的分割閾值分割出障礙物、路面和未知點云。
假設路面是沒有下凹的且高于路平面的物體為障礙物。通過查找步驟四校正后三維點云的小時值,取該值在障礙物高度誤差范圍內的所有值的平均值,為當前檢測到的路面高度,通過與前一次檢測的路面高度加權計算得出當前最終的路面高度。在多次檢測路面高度后,路面高度值準確性得到提高。
步驟六:融合步驟五分割的點云和步驟二對基準圖圖像分割的圖塊,確定障礙物、路面和未知區域,并標記顯示出來。
三維點云融合顏色信息即對三維點云分割得到不同位置的障礙物點云、路面點云和未知區域點云,對彩色基準圖進行按顏色圖像分割得到圖像塊,將分割得到的點云與分割得到的圖像塊融合對比,圖塊上出現占比達到一定值后,確定該圖塊是否為障礙物、路面,確定障礙物、路面和未知區域的位置范圍。
采用上述方法所設計的基于三維點云分割并融合顏色信息的障礙物自動檢測方法,如圖1所示,包括雙目攝像機標定、雙目校正、雙目匹配與視差計算、自動估算分割閾值,三維點云路面高度檢測,三維點云分割,三維點云融合顏色信息檢測障礙物。其中
雙目攝像機標定:標定包括攝像機標定和立體標定。攝像機標定主要計算出切向畸變、徑向畸變、焦距和光學中心。立體標定是計算空間上兩臺攝像機幾何關系的過程,依賴于查找兩臺攝像機之間的旋轉矩陣和平移向量。
雙目校正:攝像機需要矯正和立體校正,矯正是消除切向和徑向畸變。立體校正是由于兩臺攝像機幾乎不可能有準確的共面和行對準的成像平面,需要通過立體的標定兩個攝像機之間的旋轉矩陣和平移向量校正;
雙目匹配與視差計算:立體匹配主要是通過找出每對圖像間的對應關系,根據三角測量原理,得到視差圖;在獲得了視差信息后,根據投影模型很容易地可以得到原始圖像的深度信息和三維信息。立體匹配技術被普遍認為是立體視覺中最困難也是最關鍵的問題,目前立體匹配算法是計算機視覺中的一個難點和熱點,算法很多,但是一般的步驟是:匹配代價計算,匹配代價疊加,視差獲取,視差細化;
自動估算分割閾值:在允許的最小深度范圍精度內,根據攝像機的分辨率和立體標定得到的兩攝像機間距離、焦距計算出離攝像機的最近距離、離攝像機最遠距離、最大高度和最大寬度。進而在允許的精度范圍內計算出障礙物前后和左右之間的間隔、障礙物高度誤差范圍。
三維點云路面高度檢測:對三維重構得到的三維點云進行路面高度檢測,滿足設定誤差的高度視為路面高度。在第一次檢測路面高度時誤差可能會較大,進行多次迭代檢測后,路面高度的檢測精確度趨向穩定,并隨著近幾次的高度檢測值更新而更新。
三維點云分割:在三維重構得到較稠密的三維點云后,根據攝像機相對地面的俯仰角度旋轉三維點云,使三維點云上路面點云與攝像機處于同一高度。由離攝像機的最近距離、離攝像機最遠距離、最大高度、最大寬度路面、點云高度和障礙物高度誤差,分割三維點云得到路面點云、障礙物點云和未知區域點云;由障礙物前后和左右之間的間隔,分割障礙物點云得到各個位置的障礙物點云;未知區域點云是由一些匹配計算錯誤的點云和精度較差的點云構成。
三維點云融合顏色信息檢測障礙物:三維點云融合顏色信息即對三維點云分割得到不同位置的障礙物點云、路面點云和未知區域點云,對彩色基準圖進行按顏色圖像分割得到圖像塊,將分割得到的點云與分割得到的圖像塊融合對比,判決障礙物和路面的正確性,確定障礙物、路面和未知區域的位置范圍,實現高可靠性的障礙物檢測。

關 鍵 詞:
基于 三維 分割 雙目 視覺 障礙物 檢測 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:基于三維點云分割的雙目視覺障礙物檢測方法.pdf
鏈接地址:http://www.wwszu.club/p-6140507.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大