鬼佬大哥大
  • / 10
  • 下載費用:30 金幣  

一種基于KINECT設備的交互式材質外觀采集方法.pdf

摘要
申請專利號:

CN201410146160.7

申請日:

2014.04.11

公開號:

CN103955958A

公開日:

2014.07.30

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06T 15/50申請日:20140411|||公開
IPC分類號: G06T15/50(2011.01)I 主分類號: G06T15/50
申請人: 浙江大學
發明人: 周昆; 吳鴻智
地址: 310058 浙江省杭州市西湖區余杭塘路866號
優先權:
專利代理機構: 杭州求是專利事務所有限公司 33200 代理人: 邱啟旺
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201410146160.7

授權公告號:

||||||

法律狀態公告日:

2016.08.17|||2014.08.27|||2014.07.30

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明公布了一種基于Kinect設備的交互式材質外觀采集方法,該方法利用單個微軟體感設備Kinect來采集某物體的材質外觀,并實時將結果反饋給用戶,最終獲得該物體的隨位置、光照以及觀察角度不同而變化的六維外觀函數。該方法包括四個步驟:環境光照的采集,物體幾何的采集,基于Kinect紅外攝像機的雙向反射分布函數(BRDF)的采集和聚類,漫反射和鏡面反射參數的計算。本發明不使用專業或昂貴的采集設備,只需要普通的Kinect設備,一個鏡面球和一些可用普通打印機打印的標記;能夠實時將采集結果反饋給用戶,不需要等待幾分鐘甚至幾小時的后處理過程才能看到結果;能夠采集較大尺寸非平面物體的材質外觀。

權利要求書

權利要求書
1.  一種基于Kinect設備的交互式材質外觀采集方法,其特征在于,包括以下步驟:
(1)環境光照的采集:將一個鏡面球放置于將要采集材質外觀的場景中,使用Kinect融合方法獲取該球的大致幾何信息,并擬合出一個標準球面,隨后把RGB攝像機采集到的圖像映射到標準球面上,再通過鏡面反射方向來得到環境光照;
(2)物體幾何的采集:使用Kinect融合方法來采集物體的幾何信息,并通過用RGB攝像機拍攝的圖像來識別預先放置于物體周圍的標記,從而實現物體與背景的自動分離;
(3)基于Kinect紅外攝像機的雙向反射分布函數(BRDF)的采集和聚類:把Kinect紅外發射器/攝像機作為主動反射計,采集物體反射的紅外光來擬合出參數化鏡面反射BRDF的參數,并按照BRDF中鏡面反射分量的相似程度把物體進行分割聚類,對自動聚類不準確的結果進行手工修正;
(4)漫反射和鏡面反射系數的計算:使用Kinect RGB攝像機,結合步驟1采集的環境光照,先計算出物體表面上每一點的漫反射系數,再計算步驟3中聚類而得的每一類鏡面反射BRDF的鏡面反射系數。

2.  根據權利要求1所述基于Kinect設備的交互式材質外觀采集方法,其特征在于,所述步驟1包括以下子步驟:
(1.1)將一個鏡面球放置于將要采集材質外觀的場景中,在球的周圍放置使用普通打印機打印的標記,用于實現物體與背景的自動分離;
(1.2)使用Kinect掃描球的幾何形狀,用Kinect融合來獲得鏡面球的幾何信息;
(1.3)對上述子步驟1.2所得的幾何信息,用最小二乘法擬合一個標準球面;
(1.4)把RGB攝像機采集到的圖像按照標記的RGB值進行校正,用于補償曝光時間以及白平衡的變化,再把圖像映射到標準球面上,然后通過鏡面反射方向來得到環境光照。

3.  根據權利要求1所述基于Kinect設備的交互式材質外觀采集方法,其特征在于,所述步驟2包括以下子步驟:
(2.1)使用普通打印機打印出四個黑底白色的圓形,將這四個標記放置于將要掃描物體周圍的平面上,用卷尺之類的測量工具來保證這四個圓的圓心大致能構成一個矩形;如果將要掃描的物體較小,可以直接把四個圓形打印在一張紙上,并省去使用測量工具確認圓心相對位置的步驟;
(2.2)使用Kinect融合來采集物體的幾何信息;
(2.3)用RGB攝像機來標定四個圓形標記的三維位置,以它們所在的支撐平面為基準,把物體從背景中區分開來;
(2.4)在物體表面上隨機采點用于后續處理。

4.  根據權利要求1所述基于Kinect設備的交互式材質外觀采集方法,其特征在于,所述步驟3包括以下子步驟:
(3.1)用Kinect紅外攝像機來采集物體反射的紅外光圖像,找出每個像素在物體表面的對應點,然后根據紅外發射器和攝像機的三維位置,計算出局部坐標系下的入射和出射角度,保存起來供后續處理;
(3.2)對于采集到足夠多紅外信息的物體區域,擬合參數化解析BRDF模型,并按照其鏡面反射分量,進行聚類,從而把整個物體分割成幾類,每一類都共享同一個鏡面反射BRDF;
(3.3)對自動聚類不準確的部分結果,在一個三維噴漆的用戶界面中,進行手工調整修正。

5.  根據權利要求1所述基于Kinect設備的交互式材質外觀采集方法,其特征在于,所述步驟4包括以下子步驟:
(4.1)對于RGB攝像機采集的并經過校正的圖像,找出每個像素所對應物體表面的采樣點,結合所述步驟1所采集的環境光照,計算出物體表面上每一點的漫反射系數;
(4.2)保持漫反射系數不變,根據RGB攝像機采集的并經過校正的圖像,所述步驟1所采集的環境光照,以及所述步驟3所擬合出的參數化鏡面反射BRDF的參數,用逆渲染的方法來計算出鏡面反射BRDF的對應系數,使得誤差的平方和最小。

說明書

說明書一種基于Kinect設備的交互式材質外觀采集方法
技術領域
本發明涉及材質外觀采集技術,尤其涉及一種基于Kinect設備的交互式材質外觀采集方法。
背景技術
本發明相關的研究背景簡述如下:
1.基于專業設備的材質外觀采集方法
專業設備如空間全向反射計(spatial gonioreflectometer),可以直接測量隨著位置變化的BRDF(spatially-varying BRDF或SVBRDF)。這些方法通常對空間、光照和觀察角度進行密集采樣,然后采集相應的材質反射屬性(DANA,K.J.,VAN GINNEKEN,B.,NAYAR,S.K.,AND KOENDERINK,J.J.1999.Reflectance and texture of real-world surfaces.ACM Trans.Graph.18,1(Jan.),1–34.MCALLISTER,D.K.2002.Ph.D.Thesis.A generalized surface appearance representation for computer graphics.University of North Carolina at Chapel Hill.DEBEVEC,P.,HAWKINS,T.,TCHOU,C.,DUIKER,H.-P.,SAROKIN,W.,AND SAGAR,M.2000.Acquiring the reflectance field of a human face.In Proc.OF SIGGRAPH’00,145–156.TUNWATTANAPONG,B.,FYFFE,G.,GRAHAM,P.,BUSCH,J.,YU,X.,GHOSH,A.,AND DEBEVEC,P.2013.Acquiring reflectance and shape from continuous spherical harmonic illumination.ACM Trans.Graph.32,4(July),109:1–109:12.)。專業設備可以對SVBRDF進行相當高精度的測量,但它們并不是針對普通用戶所設計的。通常來說,人們需要可觀的財力、時間以及專業知識來定制、校正并且使用上述的專業系統來進行材質外觀的采集。
2.基于圖像的材質外觀采集方法
這種方法主要是使用照相機獲取的圖像來估計出SVBRDF。其中第一類方法在采集過程中使用主動光源,包括直接拍攝一個被點光源照亮的凸物體,并從照片中估計出其四維BRDF;使用可控光源拍攝一組照片,來計算已知幾何的物體的材質外觀;用線性光源來獲取平面樣本的SVBRDF;和使用LCD顯示器來作為可編程光源進行材質采集等等(MARSCHNER,S.R.,WESTIN,S.H.,LAFORTUNE,E.P.F.,TORRANCE,K.E.,AND GREENBERG,D.P.1999.Image-based BRDF measurement including human skin.In Proc.of EGWR’99,131–144.LENSCH,H.P.A.,KAUTZ,J.,GOESELE,M.,HEIDRICH,W.,AND SEIDEL, H.-P.2003.Image-based reconstruction of spatial appearance and geometric detail.ACM Trans.Graph.22,2(Apr.),234–257.GARDNER,A.,TCHOU,C.,HAWKINS,T.,AND DEBEVEC,P.6492003.Linear light source reflectometry.ACM Trans.Graph.22,3(July),749–758.ALLDRIN,N.,ZICKLER,T.,AND KRIEGMAN,D.2008.Photometric stereo with non-parametric and spatially-varying reflectance.In Proc.of CVPR2008.GHOSH,A.,CHEN,T.,PEERS,P.,WILSON,C.A.,AND DEBEVEC,P.2009.Estimating specular roughness and anisotropy from second order spherical gradient illumination.In Proc.of EGSR2009,1161–1170.WANG,C.-P.,SNAVELY,N.,AND MARSCHNER,S.2011.Estimating dual-scale properties of glossy surfaces from step-edge lighting.ACM Trans.Graph.30,6(Dec.),172:1–172:12.AITTALA,M.,WEYRICH,T.,AND LEHTINEN,J.2013.Practical svbrdf capture in the frequency domain.ACM Trans.Graph.32,4(July),110:1–110:12.)。
另一類方法是被動采集方法,即在采集過程中不使用主動光照,包括先采集環境光照,再從單張照片中恢復BRDF(假定BRDF符合特定的參數化模型);使用逆渲染方法在未知光照和照相機參數的情況下,同時優化得出光照和SVBRDF;用普通攝像機拍攝物體,根據鏡面反射來估計出環境光照,隨后再計算SVBRDF等等(ROMEIRO,F.,VASILYEV,Y.,AND ZICKLER,T.2008.Passive reflectometry.In Proc.of ECCV2008,859–872.HABER,T.,FUCHS,C.,BEKAERT,P.,SEIDEL,H.-P.,GOESELE,M.,AND LENSCH,H.P.A.2009.Relighting objects from image collections.Proc.of CVPR2009.PALMA,G.,CALLIERI,M.,DELLEPIANE,M.,AND SCOPIGNO,R.2012.A statistical method for SVBRDF approximation from video sequences in general lighting conditions.Comput.Graph.Forum(Proc.of EGSR2012)31,4,1491–1500)。另值得一提的是,Kinect SDK支持把未校正的RGB圖像賦予物體的功能,但它無法對隨著光照或者觀察角度而變化的材質外觀進行建模。
3.基于樣例的材質外觀采集方法
在這種方法中,通常不需要對照相機或者光源進行校正,取而代之的是把與物體材質相近的已知BRDF的樣本放在物體旁,并一同拍攝照片,通過樣本的反射光來估計出物體的材質外觀。人們用此思路來把大規模測量的BRDF用一小部分代表元素線性表出;采集人臉的SVBRDF;用兩段式方法采集SVBRDF,第一段用專用設備采集較高精度的BRDF代表元素,第二段用照相機拍攝的照片來估計出如何用代表元素來表出一整塊平面SVBRDF;還有使用線性光源和一塊包 含各種不同BRDF的BRDF色板,拍攝照片時把色板放置于物體旁,從而估計出物體的SVBRDF(HERTZMANN,A.,AND SEITZ,S.M.2003.Shape and materials by example:A photometric stereo approach.In Proc.of CVPR2003,533–540.MATUSIK,W.,PFISTER,H.,BRAND,M.,AND MCMILLAN,L.2003.Efficient isotropic BRDF measurement.In Proc.of EGWR2003,241–247.WEYRICH,T.,MATUSIK,W.,PFISTER,H.,BICKEL,B.,DON-NER,C.,TU,C.,MCANDLESS,J.,LEE,J.,NGAN,A.,JENSEN,H.W.,AND GROSS,M.2006.Analysis of human faces using a measurement-based skin reflectance model.ACM Trans.Graph.25,3(July),1013–1024.DONG,Y.,WANG,J.,TONG,X.,SNYDER,J.,LAN,Y.,BEN-EZRA,M.,AND GUO,B.2010.Manifold bootstrapping for SVBRDF capture.ACM Trans.Graph.29,4(July),98:1–98:10.REN,P.,WANG,J.,SNYDER,J.,TONG,X.,AND GUO,B.2011.Pocket reflectometry.ACM Trans.Graph.30,4(July),45:1–45:10.)。
發明內容
本發明的目的在于針對現有技術的不足,提供一種基于Kinect設備的交互式材質外觀采集方法,本發明可以在普通桌面電腦上供普通用戶使用,來采集各種日常物體隨地點、光照和觀察角度不同而變化的材質外觀。具有快速、易使用、低成本等特點,可以運用于電子商務、游戲和教育等應用中,具有很高的實用價值。
本發明的目的是通過以下技術方案來實現的,一種基于Kinect設備的交互式材質外觀采集方法,包括以下步驟:
環境光照的采集:將一個鏡面球放置于將要采集材質外觀的場景中,使用Kinect融合方法獲取該球的大致幾何信息,并擬合出一個標準球面,隨后把RGB攝像機采集到的圖像映射到標準球面上,再通過鏡面反射方向來得到環境光照;
物體幾何的采集:使用Kinect融合方法來采集物體的幾何信息,并通過用RGB攝像機拍攝的圖像來識別預先放置于物體周圍的標記,從而實現物體與背景的自動分離;
基于Kinect紅外攝像機的雙向反射分布函數(BRDF)的采集和聚類:把Kinect紅外發射器/攝像機作為主動反射計,采集物體反射的紅外光來計算其BRDF,并按照BRDF中鏡面反射分量的相似程度把物體進行分割聚類,對自動聚類不準確的結果進行手工修正;
漫反射和鏡面反射系數的計算:使用Kinect RGB攝像機,結合步驟1采集的環境光照,先計算出物體表面上每一點的漫反射系數,再計算步驟3中聚類 而得的每一類鏡面反射BRDF的鏡面反射系數。
本發明的有益效果是:低成本、簡單、易用,普通使用者不需要空間全向反射計等昂貴的專業設備,也不需要受過專業的材質采集訓練,只使用單個微軟體感設備Kinect,一個鏡面球和一些可用普通打印機打印的標記,在普通的桌面電腦上,即可采集物體的隨位置、光照以及觀察角度不同而變化的材質外觀。本發明相比于之前的方法,能實時將掃描結果反饋給用戶,而不是需要等待幾分鐘甚至幾小時的后處理時間,很大程度上方便了沒有專業材質掃描經驗的普通用戶。從用戶角度看,本發明提出的材質掃描方法和已有的Kinect融合幾何掃描方法相似,從而降低了用戶的入門學習難度,擁有非常好的用戶體驗。
附圖說明
圖1是本發明的數據流程圖;
圖2是本發明使用Kinect紅外發射器/接收器作為主動反射計的示意圖;
圖3是使用本發明采集的物體材質外觀在新光照條件和新視角下的渲染圖。
具體實施方式
本發明的核心是用Kinect交互式的采集物體的材質外觀。該方法主要分為以下四個步驟:環境光照的采集、物體幾何的采集、基于Kinect紅外攝像機的BRDF采集和聚類、漫反射和鏡面反射系數的計算。具體來說,包括以下步驟:
1.環境光照的采集:本發明通過用Kinect掃描一個鏡面球來采集環境光照。首先使用Kinect融合方法來獲取該球的幾何信息。因為鏡面球的高亮反射材質導致Kinect融合的結果噪聲較大,所以我們用最小二乘法對Kinect融合的結果進行擬合來得到一個標準球面。隨后,使用Kinect SDK API將RGB攝像機采集到的圖像映射到標準球面上,再找出相對與當前觀察角度的鏡面反射方向,并對環境光照圖中的相應像素進行更新。在每次更新中,我們計算已有像素和當前像素的加權平均作為新像素的值,每一個環境光照樣本的權重則按照觀察方向和當前點法向量的點積來計算。
2.物體幾何的采集:使用普通打印機打印出四個黑底白色的圓形,將這四個標記放置于將要掃描物體周圍的平面上。用卷尺之類的測量工具來調整標記的位置,使得這四個圓的圓心依此相連后大致能構成一個矩形;如果將要掃描的物體較小,可以直接把四個圓形打印在一張紙上,并省去使用測量工具確認圓心相對位置的步驟。然后我們使用Kinect融合來采集物體的幾何信息。采集結束后,利用RGB攝像機來識別四個白色圓形,并用Kinect SDK API來找出四個標記圓心說對應的三維位置。接著,我們構建一個虛擬長方體,大小由用戶指定,并且以標記所在的支撐平面為底面。利用這個虛擬長方體,我們可以把 物體從背景中區分開來,通過判斷一個點是否落在長方體內。最后我們在物體表面上隨機采點,同時記下相應的法向量,再對法向量進行雙向濾波來對可能的噪聲做平滑,結果將用于后續處理。
3.基于Kinect紅外攝像機的BRDF采集和聚類:在這個步驟中,本發明把Kinect紅外攝像機作為主動反射計,來獲取物體BRDF的鏡面反射分量的形狀,并同時對物體按照其鏡面反射BRDF的相似程度進行分割。
3.1.BRDF融合:我們假定已經有了一組點,它們的鏡面反射BRDF相似。我們首先介紹如何從這一組點反射的紅外光來計算鏡面反射BRDF的形狀:因為我們使用參數化Ward BRDF模型,BRDF的形狀即由其參數α決定。因為Kinect紅外發射器發射的紅外光在空間上有著很大的變化,所以我們將入射光看作一個高噪聲的光源,通過統計平均來得到可靠的α。具體來說,對于紅外攝像機拍攝到圖像中的每一個像素,我們根據其三維位置找出物體表面最近的采樣點,并計算在局部坐標系下的光照和觀察方向。如果這兩個方向都不是太接近掠角,我們計算他們的平均方向,并把當前的紅外反射值加權平均更新到一個BRDF樣本緩存中。這個緩存按照光照和觀察角度的平均方向來尋址,每一個紅外反射光樣本的權重按照觀察方向和法向量的點積來計算。一旦緩存里有了足夠多的樣本,我們可以用緩存中經過平均后減噪過的數據,來擬合參數化Ward BRDF模型,就能得到其參數α。
3.2.BRDF聚類:我們使用一個二叉樹結構來進行BRDF聚類。這個二叉樹是對物體表面采樣點的一個分割。我們從一個根節點出發,按照采樣點的位置以及法向量相似度分成兩組,把這兩組作為當前根節點的兩個子節點,再對子節點遞歸進行上述步驟,直到當前組的采樣點數目小于一定數值,這就完成了二叉樹的構建。在交互式采集過程中,每當一個采樣點接受一個紅外反射光樣本,我們就查找這個點屬于二叉樹中的哪些節點,然后對這些節點上的BRDF樣本緩存(3.1中有詳細介紹)進行更新。
我們通過二叉樹上的一個分割,稱為BRDF分割,來進行實時聚類。初始時,BRDF分割只包含二叉樹的根節點。對于分割中的每一個節點,我們檢查當前節點的兩個子節點的BRDF樣本緩存中是否存在足夠的樣本數。如果至少有一個子節點滿足,則把當前節點從BRDF分割中刪除,用它的兩個子節點來代替。然后我們對BRDF分割中所有有足夠樣本的節點進行聚類;對于樣本數不足的分割節點,我們把它們分到L2距離最小的一個類中。隨著接受到的紅外數據的增加,BRDF分割逐漸在空間上不斷細化。我們的用戶界面隨著用戶手持Kinect在掃描物體,實時顯示當前的聚類結果。
自動聚類/分割完成后,對其中不準確的結果,我們提供一個三維噴漆的用戶界面,供用戶進行手工調整修正。
4.漫反射和鏡面反射系數的計算:我們使用基于雙重乘積的快速小波積分來快速計算出漫反射和鏡面反射系數。首先我們定義每一個采樣點上的材質外觀BRDF為如下函數fr:
fr(ωi,ωo)=ρdπ+ρsf(α;ωi,ωo)]]>
這里ωi和ωo分別是光照和觀察方向,ρd和ρs分別是漫反射和鏡面反射系數,f是鏡面反射BRDF,α是鏡面反射BRDF的參數。
接著,入射光Li、反射光L和物體材質fr之間的關系,可以按照如下公式來建模:
L(ωo)=∫ΩLi(ωi)(ρdπ+ρsf(α;ωi,ωo))(n·ω1)dωi=ρd∫1πLi(ωi)(n·ωi)dωi+ρs∫Li(ωi)f(α;ωi,ωo)(n·ωi)dωi]]>
這里n是法向量,Ω是采樣點的上半球面,ωi’和ωo’在采樣點所在局部坐標系下的是光照和觀察方向。上式中,第一個漫反射積分可以按照不同的n進行預計算來得到。第二個鏡面反射積分實質上是按余弦衰減的光照和BRDF函數的卷積,我們用基于雙重乘積的快速小波積分來進行有效計算。具體來說,我們把按余弦衰減的光照和BRDF函數(固定ωo)都投影到哈爾小波基上,那它們的卷積就變成了小波基下共同非零項系數的乘積的和。計算完這兩個積分,之前的公式就變成了關于ρd和ρs的線性方程組。對于隨位置變化而不同的ρd,我們在每個采樣點上維護一個直方圖,用來保存反射光除以漫反射積分的結果分布。我們在直方圖中按照一定百分比(例如15%)取值,作為ρd。對于ρs,我們把已知的ρd代入方程組中,用最小二乘法即可求得。
實施例
發明人在一臺配備Intel i73770K CPU的臺式計算機實現了本發明的實施實例。實施中使用具體實施方式中提及的參數設置,得到了附圖中的結果。實踐中在普通電腦上可以達到7~16的幀速率,能實時的把材質掃描結果反饋給用戶。
發明人用大小以及材質不同的各種物體來測試本方法的原型系統。結果表明,本發明對大到邊長1米多的扶手沙發,小到幾厘米半徑的彩椒,材質跨度從皮革、木漆到塑料和陶瓷,都可以得到滿意的結果。所需采集處理時間平均為10分鐘。

關 鍵 詞:
一種 基于 KINECT 設備 交互式 材質 外觀 采集 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種基于KINECT設備的交互式材質外觀采集方法.pdf
鏈接地址:http://www.wwszu.club/p-6140711.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大