鬼佬大哥大
  • / 10
  • 下載費用:30 金幣  

一種結合同場景立體圖對的高分辨率深度圖像重建方法.pdf

摘要
申請專利號:

CN201410161575.1

申請日:

2014.04.21

公開號:

CN103955954A

公開日:

2014.07.30

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06T 11/00申請日:20140421|||公開
IPC分類號: G06T11/00 主分類號: G06T11/00
申請人: 杭州電子科技大學
發明人: 楊宇翔; 高明煜; 何志偉; 吳占雄; 黃繼業; 曾毓
地址: 310018 浙江省杭州市下沙高教園區2號大街
優先權:
專利代理機構: 杭州求是專利事務所有限公司 33200 代理人: 杜軍
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201410161575.1

授權公告號:

||||||

法律狀態公告日:

2017.02.08|||2014.08.27|||2014.07.30

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明涉及一種結合同場景立體圖對的高分辨率深度圖像重建方法。越來越多的應用依賴于對真實場景深度圖像準確且快速的觀測和分析。飛行時間深度相機可以實時的獲取場景的深度圖像,但是由于硬件條件的限制,采集的深度圖像分辨率比較低,無法滿足實際應用的需要。立體匹配算法是獲得深度圖像的經典方法,但是由于左右圖像之間遮擋以及無紋理區域的影響,立體匹配算法在實際應用中存在很大的局限性。本發明方法充分發掘飛行時間深度相機和立體匹配算法各自的優點,提出了一種結合飛行時間深度相機和同場景立體圖對的高分辨率深度圖像重建方法,能很好的克服現有技術的不足,重建高分辨率高質量的深度圖像。

權利要求書

權利要求書
1.  一種結合同場景立體圖對的高分辨率深度圖像重建方法,其特征在于該方法的具體步驟是:
步驟(1)構造非局部濾波權值,對輸入的低分辨率深度圖像進行濾波:
G表示飛行時間深度相機采集得到的低分辨率深度圖像,大小為n×m;L表示CCD左相機采集的同場景高分辨率彩色左圖像,大小為rn×rm;R表示對應的CCD右相機采集的高分辨率彩色右圖像,大小為rn×rm;
按如下方式構造非局部濾波權值:
wijN=exp(-||MiL-MjL||22K·hL2)·exp(-||MiI-MjI||22K·hI2)]]>
其中I是輸入的低分辨率深度圖像進行雙線性插值后的結果,大小為rn×rm;MiL表示以Li為中心的局部塊,MiI表示以Ii為中心的局部塊,K是局部塊內含有的像素點個數,hL,hI是濾波器的參數,用來控制加權計算的指數表達式的衰減速度;
由上述計算得到非局部濾波權值,按下式對雙線性插值結果I進行濾波:
Fi=ΣwijN·IjΣwijN]]>
得到的初始高分辨率深度圖像記為F′,大小為rn×rm;
步驟(2)以左圖像為參考圖像,右圖像為目標圖像,結合初始高分辨率深度圖像F′,構造局部立體匹配權值,計算左圖像的視差圖DL:
(a)結合F′按如下方式構造局部立體匹配權值:
WijL=exp(-||Li-Lj||22σc2)·exp(-||Fi-Fj||22σd2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,參數σc和σd用來控制指數表達式的衰減速度,按如下方式選取:
①計算L當前局部窗內其他點和中心點之間的顏色值差異以當前顏色差異的中值作為當前σc;
②計算F′當前局部窗內其他點和中心點之間的深度差異以當前深度差異的中值作為當前σd;
(b)按如下方式構造左圖像L和右圖像R之間的匹配代價函數:
E(i,i‾d)=Σj∈Ω(i),j‾d∈Ω(i‾d)WijL·e(j,j‾d)Σj∈Ω(i),j‾d∈Ω(i‾d)WijL]]>
其中匹配代價表示左圖像中的點i視差為d時,i和右圖像中的對應點之間的匹配度,j∈Ω(i)表示j在i的局部窗內,表示在的局部窗內,選取對應點之間的彩色和梯度差來定義匹配誤差:
e(j,j‾d)=αmin(||Lj-Rj‾d||,τ1)+(1-α)min(||▿Lj-▿Rj‾d||,τ2)]]>
其中參數α用來平衡彩色和梯度誤差,τ1,τ2為誤差閾值;
(c)根據匹配代價函數,按如下的方式計算得到左圖像內各點的視差:
d*=argmind∈SdE(i,i‾d)]]>
其中Sd={dmin,...,dmax}表示視差范圍;從而得到左圖像的視差圖像DL;
步驟(3)以右圖像為參考圖像,左圖像為目標圖像,計算右圖像內各點的視差值,利用計算得到的右圖像視差圖DR對DL進行左右遮擋檢測:
以右圖像為參考圖,左圖像為目標圖時,由于F′是與左圖像配準的,以右圖像為參考圖時,無法利用F′來構造匹配權值,故以右圖像為參考圖時按如下方式構造局部立體匹配權值:
WijR=exp(-||Ri-Rj||22σc2)·exp(-||i-j||22σs2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,參數σs和σc按如下方式選取:
①σs選為局部窗口的半徑大小;
②計算R當前局部窗內其他點和中心點的顏色值差異以當前顏色差異的中值作為當前σc;
利用計算得到的局部匹配權值,構造右圖像R和左圖像L之間的匹配代價函數,計算得到以右圖像為參考圖時的視差圖,記為DR;
運用DR對DL進行左右遮擋檢測,若視差點滿足如下公式,則將該點標記為滿足左右遮擋檢測:
DiL=Di-DiLR]]>
用集合S表示DL內所有滿足左右遮擋檢測的點;
步驟(4)結合濾波得到的深度圖像F′和匹配得到視差圖像DL融合得到最終的高分辨率深度圖像:
(a)按如下方式將F′和DL進行融合:
Fi=b-fDiL,i∈SFi,else]]>
其中b為左右相機之間基線距,f為CCD相機的焦距;
(b)構造局部濾波權值對融合得到的深度圖像進行修正:
基于如下的兩點觀察:
①彩色圖像中有相似顏色的兩個區域,很有可能有相似的深度值;
②真實場景的表面基本都是分段光滑的;
將局部濾波權值分解為三個部分:顏色相似性、距離相似性和深度相似性,按如下方式構造局部濾波權值:
wij=exp(-||Li-Lj||22σc2)·exp(-||i-j||22σs2)·exp(-||Fi-Fj||22σd2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,參數σc,σs和σd按如下方式選取:
①σs選為局部窗口的半徑大小;
②計算L當前局部窗內其他點和中心點的顏色值差異以當前顏色差異的中值作為當前σc;
③計算F當前局部窗內其他點和中心點的深度差異以當前深度差異的中值作為當前σd;
由上述計算得到局部濾波權值wij,按如下方式對融合結果F進行濾波:
Fi*=Σwij·FjΣwij]]>
從而得到最終的高分辨率深度圖像F*,大小為rn×rm。

說明書

說明書一種結合同場景立體圖對的高分辨率深度圖像重建方法
技術領域
本發明屬于計算機視覺領域,具體涉及一種結合同場景立體圖對的高分辨率深度圖像重建方法。
背景技術
獲取場景的深度圖像是計算機視覺的重要任務。深度圖像中的每一個像素值表示的是場景中的點與相機之間的距離。越來越多的應用如三維重建、碰撞檢測、手勢識別、機器人導航、工業自動化以及在電影和游戲中對虛擬場景的設計建模等,都依賴于對真實場景深度圖像準確的觀測和分析。目前,深度圖像的獲取手段主要有:1)通過立體匹配的方法計算得到深度圖像;2)通過直接的測量儀器觀測得到深度圖像。
立體匹配算法計算左右圖像之間各對應點的視差關系從而得到場景的深度圖像,立體匹配算法是獲得場景深度圖像的一類經典方法。但是由于左右圖像之間遮擋以及無紋理區域的影響,立體匹配算法在實際應用中存在很大的局限性。飛行時間深度相機是直接測量深度圖像的主要設備,它通過給場景發送光脈沖,運用高速快門計算光脈沖的往返時間來確定場景中目標物的距離,飛行時間相機可以快速得到整幅場景的深度信息。但是,由于硬件的限制飛行時間相機得到的場景深度圖分辨率比較低,很難滿足實際應用的需要。
發明內容
本發明的目的就是克服現有技術的不足,提出了一種結合同場景立體圖對的高分辨率深度圖像重建方法。本方法結合飛行時間深度相機采集得到的低分辨率深度圖像和同場景的高分辨率彩色立體圖對來重建高分辨率高質量的深度圖像。具體步驟是:
步驟(1)構造非局部濾波權值,對輸入的低分辨率深度圖像進行濾波:
G表示飛行時間深度相機采集得到的低分辨率深度圖像,大小為n×m;L表示CCD左相機采集的同場景高分辨率彩色左圖像,大小為rn×rm;R表示對應的CCD右相機采集的高分辨率彩色右圖像,大小為rn×rm;
按如下方式構造非局部濾波權值:
wijN=exp(-||MiL-MjL||22K·hL2)·exp(-||MiI-MjI||22K·hI2)]]>
其中I是輸入的低分辨率深度圖像進行雙線性插值后的結果,大小為rn×rm;MiL表示以Li為中心的局部塊,MiI表示以Ii為中心的局部塊,K是局部塊內含有的像素點個數,hL,hI是濾波器的參數,用來控制加權計算的指數表達式的衰減速度;
由上述計算得到非局部濾波權值,按下式對雙線性插值結果I進行濾波:
Fi=ΣwijN·IjΣwijN]]>
得到的初始高分辨率深度圖像記為F′,大小為rn×rm;
步驟(2)以左圖像為參考圖像,右圖像為目標圖像,結合初始高分辨率深度圖像F′,構造局部立體匹配權值,計算左圖像的視差圖DL:
(a)結合F′按如下方式構造局部立體匹配權值:
WijL=exp(-||Li-Lj||22σc2)·exp(-||Fi-Fj||22σd2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,參數σc和σd用來控制指數表達式的衰減速度,按如下方式選取:
①計算L當前局部窗內其他點和中心點之間的顏色值差異以當前顏色差異的中值作為當前σc;
②計算F′當前局部窗內其他點和中心點之間的深度差異以 當前深度差異的中值作為當前σd;
(b)按如下方式構造左圖像L和右圖像R之間的匹配代價函數:
E(i,i‾d)=Σj∈Ω(i),j‾d∈Ω(i‾d)WijL·e(j,j‾d)Σj∈Ω(i),j‾d∈Ω(i‾d)WijL]]>
其中匹配代價表示左圖像中的點i視差為d時,i和右圖像中的對應點之間的匹配度,j∈Ω(i)表示j在i的局部窗內,表示在的局部窗內,選取對應點之間的彩色和梯度差來定義匹配誤差:
e(j,j‾d)=αmin(||Lj-Rj‾d||,τ1)+(1-α)min(||▿Lj-▿Rj‾d||,τ2)]]>
其中參數α用來平衡彩色和梯度誤差,τ1,τ2為誤差閾值;
(c)根據匹配代價函數,按如下的方式計算得到左圖像內各點的視差:
d*=argmind∈SdE(i,i‾d)]]>
其中Sd={dmin,...,dmax}表示視差范圍;從而得到左圖像的視差圖像DL;
步驟(3)以右圖像為參考圖像,左圖像為目標圖像,計算右圖像內各點的視差值,利用計算得到的右圖像視差圖DR對DL進行左右遮擋檢測:
以右圖像為參考圖,左圖像為目標圖時,由于F′是與左圖像配準的,以右圖像為參考圖時,無法利用F′來構造匹配權值,故以右圖像為參考圖時按如下方式構造局部匹配權值:
WijR=exp(-||Ri-Rj||22σc2)·exp(-||i-j||22σs2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,參數σs和σc按如下方式選取:
①σs選為局部窗口的半徑大小;
②計算R當前局部窗內其他點和中心點的顏色值差異以當前顏色差異的中值作為當前σc;
利用計算得到的局部匹配權值構造右圖像R和左圖像L之間的匹配代價函數,計算得到以右圖像為參考圖時的視差圖,記為DR;
運用DR對DL進行左右遮擋檢測,若視差點滿足如下公式,則將該 點標記為滿足左右遮擋檢測:
DiL=Di-DiLR]]>
用集合S表示DL內所有滿足左右遮擋檢測的點;
步驟(4)結合濾波得到的深度圖像F′和匹配得到視差圖像DL融合得到最終的高分辨率深度圖像:
(a)按如下方式將F′和DL進行融合:
Fi=b-fDiL,i∈SFi,else]]>
其中b為左右相機之間基線距,f為CCD相機的焦距;
(b)構造局部濾波權值對融合得到的深度圖像進行修正:
基于如下的兩點觀察:
①彩色圖像中有相似顏色的兩個區域,很有可能有相似的深度值;
②真實場景的表面基本都是分段光滑的;
將局部濾波權值分解為三個部分:顏色相似性、距離相似性和深度相似性,按如下方式構造局部濾波權值:
wij=exp(-||Li-Lj||22σc2)·exp(-||i-j||22σs2)·exp(-||Fi-Fj||22σd2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,參數σc,σs和σd按如下方式選取:
①σs選為局部窗口的半徑大小;
②計算L當前局部窗內其他點和中心點的顏色值差異以當前顏色差異的中值作為當前σc;
③計算F當前局部窗內其他點和中心點的深度差異以當前深度差異的中值作為當前σd;
由上述計算得到局部濾波權值wij,按如下方式對融合結果F進行濾波:
Fi*=Σwij·FjΣwij]]>
從而得到最終的高分辨率深度圖像,記為F*,大小為rn×rm。
本發明通過結合飛行時間深度相機采集得到的低分辨率深度圖像和同場景高分辨率的左右彩色立體圖對,可以重建得到高質量高分辨率的深度圖像。
根據本發明的第一方面,公開了一種非局部權值濾波器的構造方法。
根據本發明的第二方面,公開了一種結合初始深度圖像來構造局部立體匹配權值的方法。
根據本發明的第三方面,公開了一種將飛行時間深度相機采集得到的深度圖像和立體匹配算法計算得到的視差圖像進行融合的方法。
根據本發明的第四方面,公開了一種結合同場景立體圖對的高分辨率深度圖像重建方法的具體流程。主要包括:構造非局部濾波權值對飛行時間深度相機采集得到的深度圖像進行濾波;構造局部立體匹配權值計算得到基于立體匹配算法的視差圖像;最終融合得到高分辨率高質量的深度圖像。
本發明的有益效果:本發明方法很好的結合立體匹配技術和飛行時間深度相機各自的優勢,通過一種融合方法很好的克服了現有技術的不足,能夠重建高質量高分辨率的深度圖像。
具體實施步驟
步驟(1)構造非局部濾波權值,對輸入的低分辨率深度圖像進行濾波:
G表示飛行時間深度相機采集得到的低分辨率深度圖像,大小為n×m;L表示CCD左相機采集的同場景高分辨率彩色左圖像,大小為rn×rm;R表示對應的CCD右相機采集的高分辨率彩色右圖像,大小為rn×rm;
按如下方式構造非局部濾波權值:
wijN=exp(-||MiL-MjL||22K·hL2)·exp(-||MiI-MjI||22K·hI2)]]>
其中I是輸入的低分辨率深度圖像進行雙線性插值后的結果,大小為rn×rm,MiL表示以Li為中心的局部塊,MiI表示以Ii為中心的局部塊,K是局部塊內含有的像素點個數,局部塊大小選為5×5;參數hL選為15,參數hI選為20;
根據按下式對雙線性插值結果I進行濾波:
Fi=ΣwijN·IjΣwijN]]>
得到的初始高分辨率深度圖像記為F′,大小為rn×rm;
步驟(2)以左圖像為參考圖像,右圖像為目標圖像,結合初始高分辨率深度圖像F′,構造局部立體匹配權值,計算左圖像的視差圖DL:
(a)結合F′按如下方式構造局部立體匹配權值:
WijL=exp(-||Li-Lj||22σc2)·exp(-||Fi-Fj||22σd2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,局部窗大小選為9×9,參數σc和σd按如下方式選取:
①計算L當前局部窗內其他點和中心點之間的顏色值差異以當前顏色差異的中值作為當前σc;
②計算F′當前局部窗內其他點和中心點之間的深度差異以當前深度差異的中值作為當前σd;
(b)按如下方式構造左圖像L和右圖像R之間的匹配代價函數:
E(i,i‾d)=Σj∈Ω(i),j‾d∈Ω(i‾d)WijL·e(j,j‾d)Σj∈Ω(i),j‾d∈Ω(i‾d)WijL]]>
其中匹配代價表示左圖像中的點i視差為d時,i和右圖像中的 對應點之間的匹配度,j∈Ω(i)表示j在i的局部窗內,表示在的局部窗內,選取對應點之間的彩色和梯度差來定義匹配誤差:
e(j,j‾d)=αmin(||Lj-Rj‾d||,τ1)+(1-α)min(||▿Lj-▿Rj‾d||,τ2)]]>
其中參數α用來平衡彩色和梯度誤差,選為0.2;τ1,τ2為誤差閾值,分別選為7和2;
(c)根據匹配代價函數,按如下的方式計算得到左圖像內各點的視差:
d*=argmind∈SdE(i,i‾d)]]>
其中Sd={dmin,...,dmax}表示視差范圍;從而得到左圖像的視差圖像DL;
步驟(3)以右圖像為參考圖像,左圖像為目標圖像,計算右圖像的視差圖DR,對DL進行左右遮擋檢測:
以右圖像為參考圖,左圖像為目標圖時,由于F′是與左圖像配準的,以右圖像為參考圖時,無法利用F′來構造匹配權值,故以右圖像為參考圖時按如下方式構造局部匹配權值:
WijR=exp(-||Ri-Rj||22σc2)·exp(-||i-j||22σs2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,局部窗大小選為9×9,參數σs和σc按如下方式選取:
①σs大小選為4;
②計算R當前局部窗內其他點和中心點的顏色值差異以當前顏色差異的中值作為當前σc;
利用計算得到的局部立體匹配權值構造右圖像R和左圖像L之間的匹配代價函數,計算得到以右圖像為參考圖時的視差圖,記為DR;
運用DR對DL進行左右遮擋檢測,若視差點滿足如下公式,則將該點標記為滿足左右遮擋檢測:
DiL=Di-DiLR]]>
用集合S表示DL內所有滿足左右遮擋檢測的點;
步驟(4)結合濾波得到的深度圖像F′和匹配得到視差圖像DL融合得到最終的高分辨率深度圖像:
(a)按如下方式將F′和DL進行融合:
Fi=b-fDiL,i∈SFi,else]]>
其中b為左右相機之間基線距,f為CCD相機的焦距;
(b)構造局部濾波權值對融合得到的深度圖像進行修正:
按如下方式構造局部濾波權值:
wij=exp(-||Li-Lj||22σc2)·exp(-||i-j||22σs2)·exp(-||Fi-Fj||22σd2),j∈Ω(i)0,else]]>
其中j∈Ω(i)表示j在i的局部窗內,局部窗大小選為9×9,參數σc,σs和σd按如下方式選取:
①σs大小選為4;
②計算L當前局部窗內其他點和中心點的顏色值差異以當前顏色差異的中值作為當前σc;
③計算F當前局部窗內其他點和中心點的深度差異以當前深度差異的中值作為當前σd;
由上述計算得到局部濾波權值wij,按如下方式對融合結果F進行濾波:
Fi*=Σwij·FjΣwij]]>
從而得到最終的高分辨率深度圖像F*,大小為rn×rm。

關 鍵 詞:
一種 結合 場景 立體圖 高分辨率 深度 圖像 重建 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種結合同場景立體圖對的高分辨率深度圖像重建方法.pdf
鏈接地址:http://www.wwszu.club/p-6140605.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大