鬼佬大哥大
  • / 10
  • 下載費用:30 金幣  

人臉模型壓縮方法.pdf

摘要
申請專利號:

CN201510226269.6

申請日:

2015.05.06

公開號:

CN104917532A

公開日:

2015.09.16

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):H03M 7/30申請日:20150506|||公開
IPC分類號: H03M7/30; G06F17/30 主分類號: H03M7/30
申請人: 清華大學
發明人: 陶曉明; 李揚; 陸建華; 黃丹藍; 李婭強
地址: 100084北京市海淀區清華園1號
優先權:
專利代理機構: 北京思海天達知識產權代理有限公司11203 代理人: 樓艮基
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510226269.6

授權公告號:

||||||

法律狀態公告日:

2016.10.12|||2015.10.14|||2015.09.16

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

一種人臉模型數據壓縮方法,屬于人臉模型數據壓縮技術領域,其特征在于,首先根據人臉圖像訓練庫,建立多人人臉模型和專人人臉模型,利用人臉模型進行視頻中人臉的定位和參數化表征,得到人臉模型參數向量,并對專人人臉模型數據中平均外觀向量和外觀向量變化模式矩陣參數進行線性子空間的變換,得到投影參數矩陣,根據投影參數矩陣重建專人人臉模型參數,計算重建參數與原始模型之間的殘差,并進行量化和編碼壓縮得到壓縮后專人人臉模型。根據主成分分析的方法,通過人臉數據庫分析提取通用人臉外觀特征,降低專人人臉模型外觀參數的空間維度,既節省存儲空間又可降低傳輸的數據量。

權利要求書

權利要求書
1.  一種人臉模型數據壓縮方法,其特征在于,是在發射端計算機中依次按以下步驟實現的:
步驟(1),系統初始化,輸入:
采集并輸入D張分屬于不同人的、分別在各種不同角度、表情、光照條件下拍攝的人臉圖像,其中,D=1,2,...,D為有限正整數;
步驟(2),構建一個多人人臉圖像訓練數據庫,包括:多人人臉訓練圖像集,存儲供訓練用的D幅人臉圖像;所述多人人臉圖像的訓練參數,是人臉模型的參數集合,包括:
a1,多人人臉形狀向量Si,簡稱Si向量,i為所述D張人臉圖像的序號,i={1,2,...,i,...,D},D為有限正整數,
a2,多人人臉平均形狀向量簡稱向量,是所述Si的平均向量,
a3,多人人臉外觀向量Gi,簡稱Gi向量,是以所述人臉平均形狀向量為目標,通過分片仿射拉伸Piecewise Affine Warping方法使所述Si向量所定義的一個特征點與所述的同一特征點位置相吻合從而得到的D幅由所述多人人臉圖像中序號為i的人臉圖像Si內人臉部分的像素值I所拉成的,i=1,2,...,i,...D,
a4,多人人臉平均外觀向量簡稱向量,是對所述多人人臉訓練參數集中所有的所述向量Gi平均后得到的,
a5,多人人臉形狀參數向量bsi,簡稱bsi向量至少包括輪廓、五官位置、大小、形狀和動作在內的人臉特征f,第i列對應第i張人臉圖像,每一行對應一個所述的人臉特征,f=(1,2,...,F),F為有限正整數,f為序號,F為總數,
a6,姿態參數向量(vi,θi),表示所述多人人臉圖像中所包含的人臉部分的位置和角度,是用普魯克分析方法Procrustes Analysis對所述多人人臉形狀向量Si和所述的多人人臉平均形狀向量s用平移和旋轉變換校正后得到平移量vi和旋轉角度θi,
a7,人臉外觀變化模式矩陣Pg,為一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值的一種整體運動模式,
步驟(3),按以下方法計算步驟(2)中所述的多人人臉模型參數:
步驟(3.1),所述人臉形狀向量Si,是對第i張人臉圖像的各特征點用Regularized Landmark Mean-Shift人臉定位算法得到的,Si={(xi1,yi1),...,(xif,yif),...,(xiF,yiF)},
步驟(3.2),所述的人臉平均形狀向量為:
s‾={(Σi=1Dxi1/D,Σi=1Dyi1/D),...,(Σi=1Dxif/D,Σi=1Dyif/D),...,(Σi=1DxiF/D,Σi=1DyiF/D)},]]>
步驟(3.2),多人人臉形狀參數向量bsi,其中:
Ps為從所有的所述多人人臉形狀向量Si,i={1,2,...,i,...,D}用主成分分析方法Principal Component Analysis得到的人臉形狀變化模式矩陣,是一個列正交矩陣,每一列表示人臉的一種整體運動模式,是反映人臉姿態及形狀變化的人臉特征的坐標的整體運動模式,
Pg為從所有的所述多人人臉外觀向量Gi用主成分分析方法Principal Component Analysis得到的人臉外觀變化模式矩陣,作為一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值變化的一種整體運動模式;
步驟(4),按以下步驟建立專人人臉模型:
步驟(4.1),任意采集僅由同一人在各種角度,表情,光照條件下拍攝的M張圖像構建一個專人人臉圖像訓練數據庫,其中包括:專人人臉訓練圖像集和專人人臉訓練參數集,前者存儲供訓練用的所述M張人臉圖像,后者存儲與專人人臉訓練圖像相關的參數,所述參數是指專人人臉模型參數,包括:
a1',專人人臉形狀向量S'j,j為所述M張人臉圖像的序號,j=1,2,...,j,...,M,M為有限正整數,
a2',專人人臉平均形狀向量所述人臉平均形狀向量應當使用多人人臉平均形狀向量作為基準形狀,以保證所述專人人臉外觀向量Gj'和所述多人人臉外觀向量空間維數相同,
a3',專人人臉外觀向量Gj',是以所述多人人臉平均形狀向量為目標,通過分片仿射拉伸Piecewise Affine Warping方法使所述專人人臉形狀向量Sj所定義的特征點與多人人臉平均形狀向量的同一特征點位置相吻合從而得到的一幅由所述專人人臉圖像中人臉部分的像素值Ij所拉成的專人人臉外觀向量Gj',用Gj=W(Ij;Sj,s‾)]]>表示,
a4',專人人臉形狀參數向量bsj',表示至少包括輪廓、五官的位置、大小、形狀和動作在內的專人人臉特征,
a5',專人姿態參數向量(vj',θj'),表示專人人臉部分在包含專人人臉的圖像中的位置和角度,是用普魯克分析方法Procrustes Analysis對所述專人人臉形狀向量Sj'和多人人臉平均形狀向量用平移和旋轉變換校正后得到平移量vj'和旋轉角度θj',
a6',Pg',專人人臉外觀模式矩陣;
步驟(4.2),按以下方法計算步驟(4.1)中所述的專人人臉模型參數:
步驟(4.2.1),所述專人人臉形狀向量Sj',是對序號為j的專人人臉圖像用Regularized Landmark Mean-Shift人臉定位算法得到的Sj'={(xj1,yj1),...,(xjf,yjf),...,(xjF,yjF)},其中:
f為專人的各張人臉圖像j的特征點序號,
f={1,2,...,f,...,F},F為特征點數目,與所述多人人臉模型形狀向量Si特征點數目相同。
步驟(4.2.2),所述的專人人臉平均形狀向量
s‾=s‾,]]>
步驟(4.2.3),所述的專人人臉形狀向量參數bsj',
bsj=PsT(Sj-s‾),]]>
其中,Ps'是對所述專人人臉形狀向量Sj',j={1,2,...,M}用主成分分析方法Principal Component Analysis得到的專人人臉形狀變化模式矩陣,是一個列正交矩陣,每一列表示人臉的一種整體運動模式,是一個反映人臉姿態及外觀變化的人臉特征的坐標的整體運動模式,
步驟(4.2.4),專人人臉外觀參數向量csj':
csj=Pgj(Gj-g‾),]]>
其中,Pg'是從所有的所述專人人臉外觀向量gj'用主成分分析方法Principal Component Analysis得到專人人臉外觀變化模式矩陣,是一個列正交矩陣,每一列表示由專人人臉姿態、動作變化造成的人臉外觀像素值的一種整體運動模式,
步驟(5),計算根據所述的多人人臉外觀變化模式矩陣Pg重建后的專人外觀向量投影參數矩陣Hg和重建后的專人外觀變化模式投影參數矩陣Hp,步驟如 下:
步驟(5.1),所述的多人人臉外觀變化模式矩陣Pg的子空間A1,是一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值的一種整體變化模式,由D列列向量pg1,pg2,...,pgD構成,
所述專人人臉外觀變化模式矩陣Pg'的子空間A1',是一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值的一種整體變化模式,由E列列向量pg1',pg2',...,pgE'構成。
步驟(5.2),按下式計算所述的專人外觀向量投影參數矩陣Hg和所述的多人外觀變化模式投影參數矩陣Hp:
把所述專人人臉外觀向量G'投影至所述子空間A1內,得到:
Hg=PgTGT,]]>
把所述專人人臉外觀變化模式矩陣Pg'投影至所述子空間A1內,得到:
Hp=PgTPg,]]>
步驟(6)按下式定義重建后的專人人臉外觀向量為G”,專人人臉外觀變化模式矩陣為Pg”,
G”=Pg'HgT,
Pg”=Pg'HPT,
步驟(7)按下式計算專人人臉外觀向量殘差Eg和專人人臉外觀變化模式矩陣殘差EP:
Eg=G'/Umax'-G”/Umax”,
其中,符號|·|表示取絕對值:Umax'為|G'|的最大值,Umax”為|G”|的最大值,
EPj=Pgi'/Vjmax'-Pgj”/Vjmax”
j是EP中的第j列,j=1,2,...,j,...,M;
步驟(8)把步驟(7)得到的Eg、EP進行編碼無損壓縮,在發射端得到壓縮后人臉模型。

說明書

說明書人臉模型壓縮方法
技術領域
本發明提供了一種人臉模型數據壓縮方法,屬于多媒體通信和數據壓縮交叉領域,特別設計一種針對人臉模型的數據壓縮算法,對模型數據中外觀參數進行線性子空間的變換,主要用于降低人臉模型數據量,既節省存儲空間的又可以降低通信時傳輸模型的數據量。
背景技術
隨著人工智能、虛擬現實等技術的發展,計算機視覺領域成為一個研究十分活躍的領域。由于人臉包含豐富視覺信息,獲取方便,研究人員針對人臉信息做了大量研究,人臉建模已經成為計算機視覺領域中的一個研究熱點,在人臉識別等技術中人臉建模成為一項關鍵技術。
根據人臉模型的空間維度不同,可以分為二維模型和三維模型。二維人模型通常包含形狀信息和外觀信息,三維人臉模型有基于點、基于面的模型,無論是二維還是三維人臉模型,都面臨著數據量龐大的問題。通過統計分析方法訓練得到的人臉模型可以表征人臉的變化模式,變化的模式越多意味著模型包含的先驗知識越豐富,模型可以更準確地匹配一幅新的包含目標物體的圖像,這也導致了模型數據維度提高,占用更大的存儲空間。
另一方面,對于人臉視頻通話,視頻會議等場景,有研究人員針對人臉視頻的特征,提出了一系列基于模型的視頻編碼方法,這些方法通過對人臉建模,實現對視頻中人臉的參數化表征,使得在傳輸視頻時只需要傳輸模型的一些參數就可以在接收端利用人臉模型重建出目標圖像。這種方法的前提是在發射端 和接收端建立統一的人臉模型,通常的做法是發射端將訓練的人臉模型在視頻通話前傳輸到接收端。需要傳輸的人臉模型包含大量信息,浪費了網絡帶寬資源。
基于以上考慮,需要一種針對模型進行壓縮的算法,模型壓縮不僅可以避免存儲空間的浪費,而且利于降低傳輸數據量、提高通信效率。
與陶曉明、李揚的專利《人臉視頻壓縮方法》不同,本發明考慮對人臉模型參數本身進行壓縮,而前述專利針對模型參數在視頻傳輸過程中時域變化緩慢的問題,進行參數壓縮。
發明內容
本發明要解決的技術問題是:如何提供一種人臉模型壓縮方法,在保證人臉模型包含豐富信息量的同時,降低人臉模型數據量,避免存儲空間浪費,最大限度提高模型壓縮比例,節省模型傳輸的網絡帶寬。
本發明的特征在于,是一種在人臉模型建立時,通過人臉數據庫分析提取通用人臉紋理特征,降低人臉模型紋理數據量的數據壓縮方法,所述壓縮方法是依次按以下步驟實現的:
步驟(1),系統初始化,輸入:
采集并輸入D張分屬于不同人的、分別在各種不同角度、表情、光照條件下拍攝的人臉圖像,其中,D=1,2,...,D為有限正整數;
步驟(2),構建一個多人人臉圖像訓練數據庫,包括:多人人臉訓練圖像集,存儲供訓練用的D幅人臉圖像;所述多人人臉圖像的訓練參數,是人臉模型的參數集合,包括:
a1,多人人臉形狀向量Si,簡稱Si向量,i為所述D張人臉圖像的序號,i={1,2,...,i,...,D},D為有限正整數,
a2,多人人臉平均形狀向量簡稱向量,是所述Si的平均向量,
a3,多人人臉外觀向量Gi,簡稱Gi向量,是以所述人臉平均形狀向量s為目標,通過分片仿射拉伸Piecewise Affine Warping方法使所述Si向量所定義的一個特征點與所述的同一特征點位置相吻合從而得到的D幅由所述多人人臉圖像中序號為i的人臉圖像Si內人臉部分的像素值I所拉成的,i=1,2,...,i,...D,
a4,多人人臉平均外觀向量簡稱向量,是對所述多人人臉訓練參數集中所有的所述向量Gi平均后得到的,
a5,多人人臉形狀參數向量bsi,簡稱bsi向量至少包括輪廓、五官位置、大小、形狀和動作在內的人臉特征f,第i列對應第i張人臉圖像,每一行對應一個所述的人臉特征,f=(1,2,...,F),F為有限正整數,f為序號,F為總數,
a6,姿態參數向量(vi,θi),表示所述多人人臉圖像中所包含的人臉部分的位置和角度,是用普魯克分析方法Procrustes Analysis對所述多人人臉形狀向量Si和所述的多人人臉平均形狀向量用平移和旋轉變換校正后得到平移量vi和旋轉角度θi,
a7,人臉外觀變化模式矩陣Pg,為一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值的一種整體運動模式,
步驟(3),按以下方法計算步驟(2)中所述的多人人臉模型參數:
步驟(3.1),所述人臉形狀向量Si,是對第i張人臉圖像的各特征點用Regularized Landmark Mean-Shift人臉定位算法得到的, Si={(xi1,yi1),...,(xif,yif),...,(xiF,yiF)},
步驟(3.2),所述的人臉平均形狀向量為:
s‾={(Σi=1Dxi1/D,Σi=1Dyi1/D),...,(Σi=1Dxif/D,Σi=1Dyif/D),...,(Σi=1DxiF/D,Σi=1DyiF/D)},]]>
步驟(3.2),多人人臉形狀參數向量bsi,其中:
Ps為從所有的所述多人人臉形狀向量Si,i={1,2,...,i,...,D}用主成分分析方法Principal Component Analysis得到的人臉形狀變化模式矩陣,是一個列正交矩陣,每一列表示人臉的一種整體運動模式,是反映人臉姿態及形狀變化的人臉特征的坐標的整體運動模式,
Pg為從所有的所述多人人臉外觀向量Gi用主成分分析方法Principal Component Analysis得到的人臉外觀變化模式矩陣,作為一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值變化的一種整體運動模式;
步驟(4),按以下步驟建立專人人臉模型:
步驟(4.1),任意采集僅由同一人在各種角度,表情,光照條件下拍攝的M張圖像構建一個專人人臉圖像訓練數據庫,其中包括:專人人臉訓練圖像集和專人人臉訓練參數集,前者存儲供訓練用的所述M張人臉圖像,后者存儲與專人人臉訓練圖像相關的參數,所述參數是指專人人臉模型參數,包括:
a1',專人人臉形狀向量S'j,j為所述M張人臉圖像的序號,j=1,2,...,j,...,M,M為有限正整數,
a2',專人人臉平均形狀向量所述人臉平均形狀向量應當使用多人人臉平均形狀向量作為基準形狀,以保證所述專人人臉外觀向量Gj'和所述多人人臉外觀向量空間維數相同,
a3',專人人臉外觀向量Gj',是以所述多人人臉平均形狀向量為目標,通過分片仿射拉伸Piecewise Affine Warping方法使所述專人人臉形狀向量Sj所定義的特征點與多人人臉平均形狀向量的同一特征點位置相吻合從而得到的一幅由所述專人人臉圖像中人臉部分的像素值Ij所拉成的專人人臉外觀向量Gj',用Gj=W(Ij;Sj,s‾)]]>表示,
a4',專人人臉形狀參數向量bsj',表示至少包括輪廓、五官的位置、大小、形狀和動作在內的專人人臉特征,
a5',專人姿態參數向量(vj',θj'),表示專人人臉部分在包含專人人臉的圖像中的位置和角度,是用普魯克分析方法Procrustes Analysis對所述專人人臉形狀向量Sj'和多人人臉平均形狀向量用平移和旋轉變換校正后得到平移量vj'和旋轉角度θj',
a6',Pg',專人人臉外觀模式矩陣;
步驟(4.2),按以下方法計算步驟(4.1)中所述的專人人臉模型參數:
步驟(4.2.1),所述專人人臉形狀向量Sj',是對序號為j的專人人臉圖像用Regularized Landmark Mean-Shift人臉定位算法得到的Sj'={(xj1,yj1),...,(xjf,yjf),...,(xjF,yjF)},其中:
f為專人的各張人臉圖像j的特征點序號,
f={1,2,...,f,...,F},F為特征點數目,與所述多人人臉模型形狀向量Si特征點數目相同。
步驟(4.2.2),所述的專人人臉平均形狀向量
s‾=s‾,]]>
步驟(4.2.3),所述的專人人臉形狀向量參數bsj',
bsj=PsT(Sj-s‾),]]>
其中,Ps'是對所述專人人臉形狀向量Sj',j={1,2,...,M}用主成分分析方法Principal Component Analysis得到的專人人臉形狀變化模式矩陣,是一個列正交矩陣,每一列表示人臉的一種整體運動模式,是一個反映人臉姿態及外觀變化的人臉特征的坐標的整體運動模式,
步驟(4.2.4),專人人臉外觀參數向量csj':
csj=Pgj(Gj-g‾),]]>
其中,Pg'是從所有的所述專人人臉外觀向量gj'用主成分分析方法Principal Component Analysis得到專人人臉外觀變化模式矩陣,是一個列正交矩陣,每一列表示由專人人臉姿態、動作變化造成的人臉外觀像素值的一種整體運動模式,
步驟(5),計算根據所述的多人人臉外觀變化模式矩陣Pg重建后的專人外觀向量投影參數矩陣Hg和重建后的專人外觀變化模式投影參數矩陣Hp,步驟如下:
步驟(5.1),所述的多人人臉外觀變化模式矩陣Pg的子空間A1,是一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值的一種整體變化模式,由D列列向量pg1,pg2,...,pgD構成,
所述專人人臉外觀變化模式矩陣Pg'的子空間A'1,是一個列正交矩陣,每一列表示由人臉姿態、動作變化造成的人臉外觀像素值的一種整體變化模式,由E列列向量pg1',pg2',...,pgE'構成。
步驟(5.2),按下式計算所述的專人外觀向量投影參數矩陣Hg和所述的多 人外觀變化模式投影參數矩陣Hp:
把所述專人人臉外觀向量G'投影至所述子空間A1內,得到: 
Hg=PgTGT,]]>
把所述專人人臉外觀變化模式矩陣Pg'投影至所述子空間A1內,得到:
Hp=PgTPg,]]>
步驟(6)按下式定義重建后的專人人臉外觀向量為G”,專人人臉外觀變化模式矩陣為Pg”,
G”=Pg'HgT,
Pg”=Pg'HPT,
步驟(7)按下式計算專人人臉外觀向量殘差Eg和專人人臉外觀變化模式矩陣殘差EP:
Eg=G'/Umax'-G”/Umax”,
其中,符號|·|表示取絕對值:Umax'為|G'|的最大值,Umax”為|G”|的最大值,
EPj=Pgi'/Vjmax'-Pgj”/Vjmax”
j是EP中的第j列,j=1,2,...,j,...,M;
步驟(8)把步驟(7)得到的Eg、EP進行編碼無損壓縮,在發射端得到壓縮后人臉模型。
附圖說明:
圖1本發明實施例整體發明流程圖。
具體實施方式:
為了解決上述技術問題,本發明提供了一種人臉模型壓縮方法,該方法包括步驟:
S1、根據多人人臉模型訓練庫建立多人人臉模型,計算得到模型參數
S2、保存多人人臉模型參數中平均形狀向量平均人臉外觀人臉外觀變化模式矩陣Pg,作為通用人臉外觀特征
S3、以多人人臉模型參數中人臉平均形狀向量作為基準形狀,根據專人人臉圖像的訓練數據庫建立專人人臉模型,計算專人人臉模型參數
S4、提取專人人臉模型參數中人臉外觀向量G'和人臉外觀變化模式矩陣Pg',保存其它人臉模型參數
S5、專人人臉模型參數外觀參數向量G'和人臉外觀變化模式矩陣Pg',投影至多人人臉模型變化模式矩陣Pg構成的子空間內,得到投影參數矩陣Hg和Hp
S6、根據多人人臉模型參數G和Pg和投影參數矩陣Hg和Hp重建專人人臉模型外觀參數向量G”和和人臉外觀變化模式矩陣Pg”,并計算原始參數與重建后模型參數中人臉外觀參數向量殘差Eg和人臉外觀變化模式矩陣殘差Ep
S7、對殘差矩陣Eg和Ep進行量化,再進行無損壓縮,得到壓縮模型。

關 鍵 詞:
模型 壓縮 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:人臉模型壓縮方法.pdf
鏈接地址:http://www.wwszu.club/p-6373531.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大