鬼佬大哥大
  • / 17
  • 下載費用:30 金幣  

一種用于個性化社會圖像推薦的視覺注意標簽用戶興趣樹的構建方法.pdf

摘要
申請專利號:

CN201510487893.1

申請日:

2015.08.10

公開號:

CN105045907A

公開日:

2015.11.11

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20150810|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 北京工業大學
發明人: 張菁; 楊瑩; 卓力; 陳璐
地址: 100124北京市朝陽區平樂園100號
優先權:
專利代理機構: 北京思海天達知識產權代理有限公司11203 代理人: 劉萍
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510487893.1

授權公告號:

||||||

法律狀態公告日:

2018.03.09|||2015.12.09|||2015.11.11

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

一種用于個性化社會圖像推薦的視覺注意-標簽-用戶興趣樹的構建方法屬于社會圖像領域。本發明以標簽為紐帶將視覺注意與用戶興趣結合起來,利用視覺注意機制分析圖像的視覺顯著性,構建具有樹結構的視覺注意模型,據此獲得顯著區,分析圖像顯著信息與標簽語義的對應關系,生成顯著標簽和節點標簽,構建標簽樹模型,進而結合用戶歷史信息將標簽樹向用戶興趣樹傳播,最后由用戶興趣樹向用戶推薦圖像,根據用戶對推薦結果的反饋,重新調整樹模型,進一步優化個性化社會圖像推薦。其中,生成視覺注意樹模型細分為四個部分:圖像區域分割,顯著性度量,樹結構的區域合并,生成顯著圖。本發明提高個性化圖像推薦的準確率。

權利要求書

1.一種用于個性化社會圖像推薦的視覺注意-標簽-用戶興趣樹的構建方法,其特征分為三大步驟:視覺注意樹模型的生成;視覺注意-標簽-用戶興趣樹模型的生成;基于用戶興趣樹的個性化社會圖像推薦;1.1視覺注意樹模型的生成用基于數學形態學的分水嶺算法分割圖像,以圖像的低層視覺特征為基礎,能夠獲得一幅具有閉合曲線的區域分割結果圖;然后,基于圖像分割結果,采用區域間的全局對比、空間位置和顯著可能性三個度量值估計各區域的顯著性特征,結合三個值生成圖像區域的顯著度;根據顯著度及合并準則,將圖像區域與近鄰區域合并,依次合并的過程生成圖像的視覺注意樹模型,據此,衡量各合并區域顯著度獲得圖像的顯著圖;1.2視覺注意-標簽-用戶興趣樹模型的生成在獲得圖像顯著圖的基礎上,將視覺注意樹傳播到標簽樹、將標簽樹傳播到用戶興趣樹,通過用戶瀏覽圖像分析其感興趣的標簽信息;視覺注意樹到標簽樹的傳播包括顯著標簽的生成和節點標簽的生成兩個階段,顯著標簽表示圖像顯著區對應的標簽,節點標簽表示除顯著標簽外的其它標簽;標簽樹表示各標簽與圖像的相關程度;標簽樹到用戶興趣樹的傳播,通過用戶的瀏覽歷史結合標簽樹各節點的位置計算用戶對各標簽的興趣度,包括定義標簽樹層次因子和計算用戶興趣度兩個階段;1.3基于用戶興趣樹的個性化社會圖像推薦根據用戶興趣樹模型,確定用戶感興趣的標簽,在數據庫集中搜索該標簽與圖像相關度高的圖像,將這些圖像作為個性化社會圖像推薦結果推薦給用戶,完成一次個性化社會圖像推薦。2.根據權利要求1所述的方法,其特征在于視覺注意樹模型的生成具體如下:2.1圖像區域分割首先計算分水嶺分割后圖像各區域的顏色平均值,以該值表示該區域內各像素點的顏色值;將每個區域通過t0×t0大小的盒形濾波器,t0×t0取3×3或5×5;計算此時t0×t0區域內各像素點的顏色平均值代替該盒形的中心像素點顏色值;若某區域尺寸大于或等于t0,則濾波后至少有一個像素點的顏色值與濾波前一致,若某區域濾波后所有像素點顏色值均發生了變化,則該區域尺寸小于t0;由此檢測出分割后尺寸小于t0的區域,計算該區域與其近鄰區域的顏色差值,選擇差值最小的區域進行合并,合并后的區域顏色值為兩個區域的顏色均值,以此算法完成小區域合并,解決分割中產生的過分割問題;2.2顯著性度量顯著區域通常與其它區域有較大差別,采用區域全局對比對其進行度量;人類視覺注意通常集中在圖像中心區域,則距離圖像中心近的區域顯著性大,采用空間位置來度量;背景區域相比顯著區域更有可能與圖像邊界連接,用顯著可能性衡量各區域連接邊界的大小;將三部分結合起來獲得圖像各區域顯著度;2.2.1全局對比值假設圖像分割最終把圖像分為n個原始區域,記為Ri,其中i=1,…,n;區域Ri的全局對比度由其與圖像中其他區域的差異描述,定義如下:其中,Rj表示原始區域中除Ri外的區域,ci和cj分別表示區域Ri、Rj的顏色平均值,|Rj|代表區域Rj的像素總數,Sd(Ri,Rj)定義為exp{-D(Ri,Rj)/σ2},表示區域Ri和Rj的空間距離,D(Ri,Rj)是兩個區域中心的歐氏距離,參數σ2控制距離對全局對比值的影響程度,σ2取值范圍為[100,150];將全局對比值歸一化為:X1min和X1max分別是各區域全局對比值的最小值和最大值;2.2.2空間位置值各個區域在圖像空間的位置值,定義如下:其中,|Ri|表示區域Ri的像素總個數,xi是區域Ri中的像素點坐標,xc是圖像中心像素點坐標;空間位置值表征區域中各像素點與圖像中心的距離,距離越短并且區域像素點越少,Ri的空間位置值越大;2.2.3顯著可能性設置盒形t×t,t×t取33×33或35×35,將小于該尺寸的區域合并,能夠獲得一幅粗糙的分割結果,設此時分割為nc個區域Rc,c=1,…,nc;每一個區域Rc均由一個或多個原始區域Ri構成;定義顯著可能性如下:其中,B表示圖像的邊界,|Rc∩B|指區域與圖像邊界相交的像素點數,|Rc|代表區域Rc的像素總數;圖像的區域顯著可能性值共nc個,對于每一個原始區域Ri,其顯著可能性為:2.2.4區域顯著度采用乘法運算定義各原始區域的顯著度:X(Ri)=NX1(Ri)·X2(Ri)·X3(Ri)(6)2.3樹結構的區域合并各原始區域根據合并準則與近鄰區域合并,迭代這個過程,生成視覺注意樹;2.3.1區域合并準則和合并順序對于每對近鄰區域Ri和Rj,根據兩個區域的顏色相似性和顯著相似性定義區域的合并準則Mrg:顯著相似性定義為:其中,X(Ri)和X(Rj)分別為Ri和Rj的區域顯著度;當近鄰區域有相似的顏色分布和相似的區域顯著性時,二者的合并標準較大,優先合并,將不相鄰區域對的合并準則設為0;選取合并準則大的兩個區域進行合并,用下式選出區域對(Ri,Rj):(Ri,Rj)=argmaxMrg(Ri,Rj)(9)將合并后的區域記為Rk,其顏色為合并前兩區域的顏色均值,顯著度為:2.3.2視覺注意樹的生成視覺注意樹通過區域合并生成,是一個具有樹結構的模型;樹模型每個節點代表一個區域,底層節點為各原始區域,以此為起點,通過區域合并準則每次選取兩個近鄰區域合并為一個新區域,在現有的原始區域和合并后的區域中根據合并準則繼續選取兩個區域合并,重復這個過程,直至所有區域合并完成,視覺注意樹的根節點為一幅完整的圖像;2.4生成顯著圖視覺注意樹每一個節點區域Rr的圍繞區域集為Cr,Cr為與區域Rr相鄰的多個區域構成的集合;根據式(9)得到區域Cr的顯著度:式中Ri為組成區域Cr的原始區域;定義顯著性區域選擇標準如下:C(Rr)=|X(Rr)-X(Cr)|·|Rr|·X(Rr)(12)其中,|Rr|表示區域Rr的像素總個數,X(Rr)為Rr的區域顯著度;選擇標準表示,與周圍區域差別越明顯、自身區域越大且顯著度越大的節點區域,其成為顯著區域的可能性越大;計算每一個節點區域的選擇標準值,選出具有最大標準的區域,即為該圖像的顯著區域Rs,即C(Rs)=maxC(Rr),圖像顯著區域構成其顯著圖,用一幅灰度圖像表示。3.根據權利要求1所述的方法,其特征在于視覺注意-標簽-用戶興趣樹模型的生成具體如下:3.1視覺注意樹到標簽樹的傳播3.1.1顯著標簽的生成首先選取圖像的訓練樣本,將訓練圖像的顯著圖作為m層受限玻爾茲曼機構成的深度置信網絡的輸入,其中m為大于等于2的整數,通過非監督學習來預訓練深度置信網絡;具體做法是,對于構成深度置信網絡的每一個受限玻爾茲曼機,可視層作為其輸入,隱層作為其輸出,低層的輸出作為高層網絡的輸入,每層受限玻爾茲曼機采用相同的隱層節點數目,通過這樣的過程得到各層間的連接權重,完成無監督的預訓練過程;對網絡進行監督學習的方法為:使用多示例學習的多樣性密度作為分類方法,將深度置信網絡頂層受限玻爾茲曼機的輸出作為多樣性密度算法的輸入,其輸出為顯著圖所對應的標簽類別;在預訓練后,通過網絡自頂向下有監督的學習,用訓練樣本對深度置信網絡微調各層次間的鏈接權重,訓練樣本訓練過的機器學習網絡用于測試樣本,將標簽語義與圖像內容聯系起來;這樣,通過深度學習的方法對圖像顯著區進行深層的特征學習與提取,并通過多密度學習算法將圖像分為其對應的標簽語義類,即生成顯著標簽,在標簽樹中與根節點連接;3.1.2節點標簽的生成節點標簽通過計算標簽間的相似度來確定其在標簽樹中的父節點,基于互信息的方法來計算標簽之間的相似度,該方法通過兩個標簽t1和t2在同一圖像中出現的概率表征相似度,如下式定義:p(t1,t2)指標簽t1和t2出現在同一副圖像的概率,記為:其中,It1和It2分別表示標簽t1和t2標記的圖像集合,N(It1∩It2)表示同時被標簽t1和t2標記的圖像個數,N(I)表示數據集中圖像的總數;p(t1)和p(t2)分別是標簽t1和t2標記圖像的概率,定義為:對于每一幅圖像,分別計算各標簽與顯著標簽的相關性,相關性最大的作為節點標簽與顯著標簽相連,其余標簽分別比較與顯著標簽和標簽樹中現有節點標簽的相關性,選取相關性較大的標簽相連,據此生成標簽樹;在此規定,標簽樹中顯著標簽有多個子節點,但節點標簽僅有一個子節點;3.2標簽樹到用戶興趣樹的傳播根據標簽樹模型引入標簽樹層次因子,結合用戶歷史瀏覽信息,用TF-IDF算法計算用戶對標簽樹中各標簽的興趣度,構建用戶興趣樹模型;3.2.1定義標簽樹層次因子標簽樹中的標簽節點表示其與圖像的相關度,將標簽樹看作具有不同層次的模型,定義標簽樹層次因子εa(a=1,…,p),其中p為標簽樹的總層次數;定義標簽樹中除根節點外的第一層標簽即顯著標簽擁有層次因子ε1,與顯著標簽相連的節點標簽擁有層次因子ε2,再下一層節點標簽擁有層次因子ε3,以此類推,同時定義ε1>ε2>…>εp,均為自然數且εp=1;3.2.2計算用戶興趣度用戶對標簽的感興趣程度通過TF-IDF信息加權技術結合標簽樹層次因子計算,用戶的興趣表示為:{(t1,w1),…,(tm,wm)},其中wm為用戶對標簽tm的興趣度,定義為:式中,fm表示用戶在一段時間內瀏覽標簽tm的次數,N為用戶總數,nm是用戶集合中瀏覽過標簽tm的用戶數,D表示用戶瀏覽的標簽集合,εx為標簽tm在標簽樹的層次因子;結合標簽樹計算用戶興趣度,進而構建用戶興趣樹模型。4.根據權利要求1所述的方法,其特征在于基于用戶興趣模型的個性化社會圖像推薦具體如下:4.1基于用戶興趣標簽的個性化社會圖像推薦根據用戶對標簽的感興趣度,若用戶對標簽t的興趣度較大,則將圖像庫中標簽t相關度高的圖像作為結果推薦給用戶;圖像與標簽t相關度衡量的標準是:若t是圖像的顯著標簽,即t與圖像中主要信息相關度較大,則認為標簽t與該圖像相關度大;根據方法獲取圖像的顯著標簽,將顯著標簽為t的圖像推薦給用戶,完成一次個性化社會圖像推薦;4.2用戶相關反饋根據用戶反饋信息重新構建視覺注意樹模型,進一步調整用戶的標簽樹以及用戶興趣樹模型,以此來優化推薦結果。在本發明提出的個性化社會圖像推薦方法實施中,具體過程如下:首先,在第一輪的推薦過程中,選取用戶歷史瀏覽的I幅圖像作為用戶感興趣圖像,分別構建這些圖像的視覺注意樹模型,獲取各自的顯著圖,認為該用戶感興趣信息包含在這些顯著圖中;然后,分別生成I幅顯著圖對應的顯著標簽,顯著標簽均與標簽樹的根節點相連,通過計算節點標簽與各自圖像中顯著標簽和標簽樹底層節點標簽的相關度,生成用戶的標簽樹,再結合用戶瀏覽歷史計算用戶興趣度,生成用戶興趣樹;最后,確定用戶感興趣標簽,在數據庫中選取與該標簽相關度高的圖像推薦給用戶,用戶對推薦結果進行評價,將用戶滿意的圖像作為興趣圖像構建視覺注意樹模型,重新生成標簽樹以指導下一輪推薦,優化個性化社會圖像推薦。

說明書

一種用于個性化社會圖像推薦的視覺注意-標簽-用戶興趣樹的構建方法

技術領域

本發明以社會圖像為研究對象,在全面分析圖像顯著性信息的基礎上,提出
一種具有視覺注意樹結構的圖像顯著區域檢測方法,將圖像顯著區域向標簽級傳
播,構建表征圖像內容與標簽相關性的標簽樹模型,結合用戶歷史行為構建用戶
興趣樹,據此向用戶進行個性化社會圖像推薦,以提高個性化圖像推薦的準確率。

背景技術

隨著現代互聯網的飛速發展,社會網絡(socialnetwork)成為人們獲取感興
趣信息最直接、最方便的平臺,用戶可以在社會網絡中對相應的資源進行瀏覽、
搜索和分享。其中,社會圖像(socialimage)作為一種重要的信息載體,使得社
會圖像分享網站成為眾人矚目的社交平臺。面對海量增長的社會圖像,如何幫助
用戶在眾多的社會圖像中快速選出可能感興趣的圖像,從而向用戶進行個性化社
會圖像推薦,成為社會圖像分享網站面臨的一個重要且具有實際意義的問題。

社會圖像分享網站允許用戶對社會圖像標注文本信息,即標簽(Tag),如果
用戶標注的標簽與圖像內容相關,它不僅能夠提供一種潛在的圖像語義信息,而
且還反映了用戶對圖像的理解,即個性化興趣信息。現有的個性化社會圖像推薦
技術往往忽略了圖像語義與標簽、標簽與用戶興趣之間的內在聯系,加之圖像低
層視覺特征與高層語義之間存在的語義鴻溝(semanticgap),至今未能獲得令人
滿意的解決方案,使得推薦結果還難以滿足用戶的個性化需求。

視覺心理學已有研究表明,人們在觀察與理解圖像時,只容許感興趣的那部
分圖像信息進入視覺感知,即總是有選擇地將注意力集中在圖像中某些最具吸引
力的區域上,即圖像的顯著(saliency)部分。基于視覺注意(visualattention)
的感興趣區檢測方法由于加入了視覺注意機制模擬人的視覺感知過程,使檢測結
果更符合人眼視覺系統特性。圖像最終是供人觀看的,人們通過產生視覺注意來
表達感興趣的圖像內容。顯然,這種視覺注意信息對獲取用戶的個性化興趣,并
為進一步克服語義鴻溝問題提供了新的思路。基于這個思路,本發明將首先利用
視覺注意機制判斷圖像的顯著區,然后建立視覺注意和標簽的相關性,最后構建
用戶興趣樹,向用戶進行個性化社會圖像推薦。

本發明將構建一種表征用戶興趣的視覺注意-標簽-用戶興趣
(Attention-Tag-Interest)樹模型,并用于個性化社會圖像推薦,以提高圖像推薦
的準確率。首先通過構建視覺注意樹模型獲取圖像的顯著性區域;然后將圖像視
覺注意信息傳播到標簽語義,以獲取表示標簽與圖像內容相關度的標簽樹模型,
進而結合用戶歷史瀏覽信息構建用戶興趣樹。最后,根據該模型向用戶推薦社會
圖像,通過用戶對圖像推薦結果的反饋,調整樹模型,優化推薦結果。

發明內容

本發明與已有的個性化社會圖像推薦方法不同,以標簽為紐帶將視覺注意與
用戶興趣結合起來,利用視覺注意機制分析圖像的視覺顯著性,構建具有樹結構
的視覺注意模型,據此獲得顯著區(也稱為顯著圖),分析圖像顯著信息與標簽
語義的對應關系,生成顯著標簽和節點標簽,構建標簽樹模型,進而結合用戶歷
史信息將標簽樹向用戶興趣樹傳播,最后由用戶興趣樹向用戶推薦圖像,根據用
戶對推薦結果的反饋,重新調整樹模型,進一步優化個性化社會圖像推薦。

該方法主要分為三大步驟:視覺注意樹模型的生成;視覺注意-標簽-用戶興
趣樹模型的生成;基于用戶興趣樹的個性化社會圖像推薦。其中,生成視覺注意
樹模型細分為四個部分:圖像區域分割,顯著性度量,樹結構的區域合并,生成
顯著圖。視覺注意-標簽-用戶興趣樹模型的生成分為視覺注意樹到標簽樹的傳播
和標簽樹到用戶興趣樹的傳播,具體說細分為顯著標簽的生成,節點標簽的生成,
定義標簽樹層次因子和計算用戶興趣度四個部分。基于用戶興趣樹的個性化社會
圖像推薦細分為基于用戶興趣標簽的個性化社會圖像推薦和用戶相關反饋兩個
部分。本發明整體流程如附圖1所示。

1、視覺注意樹模型的生成

本發明運用圖像分割技術對圖像進行區域分割,將圖像分割為多個原始區
域,衡量各個原始區域的視覺顯著性特征獲得各自的顯著度,根據顯著度合并分
割后的區域,生成具有樹結構的視覺注意模型,檢測出圖像的顯著圖。

具體來說,首先,用基于數學形態學的分水嶺算法分割圖像,以圖像的低層
視覺特征為基礎,能夠獲得一幅具有閉合曲線的區域分割結果圖。然后,基于圖
像分割結果,采用區域間的全局對比、空間位置和顯著可能性三個度量值估計各
區域的顯著性特征,結合三個值生成圖像區域的顯著度。最后,根據顯著度及合
并準則,將圖像區域與近鄰區域合并,依次合并的過程生成圖像的視覺注意樹模
型,據此,衡量各合并區域顯著度獲得圖像的顯著圖。

2、視覺注意-標簽-用戶興趣樹模型的生成

在獲得圖像顯著圖的基礎上,本發明將視覺注意樹傳播到標簽樹、將標簽樹
傳播到用戶興趣樹,通過用戶瀏覽圖像分析其感興趣的標簽信息。視覺注意樹到
標簽樹的傳播包括顯著標簽的生成和節點標簽的生成兩個階段,標簽樹表示各標
簽與圖像的相關程度。標簽樹到用戶興趣樹的傳播,通過用戶的瀏覽歷史結合標
簽樹各節點的位置計算用戶對各標簽的興趣度,包括定義標簽樹層次因子和計算
用戶興趣度兩個階段。

視覺注意樹到標簽樹的傳播是圖像視覺信息向語義標簽傳播的過程,分為顯
著標簽和節點標簽的生成兩個步驟,其中,顯著標簽表示圖像顯著區對應的標簽,
節點標簽表示圖像的其它標簽。本發明將顯著標簽的選取看作是分類問題,通過
深度學習算法結合多示例學習,確定該顯著區域對應圖像的哪類標簽,則這個標
簽為顯著標簽,這是圖像與標簽間的識別過程。節點標簽通過計算其與顯著標簽
和其余節點標簽的相關度來確定各標簽在標簽樹中的父節點。生成標簽樹時,顯
著標簽與根節點相連,節點標簽與顯著標簽或顯著標簽下的其他節點標簽相連
接。通過分析某用戶感興趣的多幅圖像,生成該用戶對應的個性化標簽樹。

標簽樹到用戶興趣樹的傳播,用TF-IDF加權計算方法計算用戶對各標簽的
興趣度,結合標簽樹中標簽的層次數構建用戶興趣樹模型。若用戶對某標簽瀏覽
次數較多且該標簽與圖像內容相關性大,則用戶對其興趣度偏大,反之興趣度小,
標簽樹與用戶對各標簽的興趣值相結合構建用戶興趣樹。

3、基于用戶興趣樹的個性化社會圖像推薦

根據用戶興趣樹模型,確定用戶感興趣的標簽,在數據庫集中搜索該標簽與
圖像相關度高的圖像,將這些圖像作為個性化社會圖像推薦結果推薦給用戶,完
成一次個性化社會圖像推薦。本發明允許用戶在推薦結果中選取感興趣的圖像,
推薦系統通過用戶反饋信息學習用戶的個性化興趣,重新用感興趣的圖像構建視
覺注意樹、標簽樹模型,進而調整用戶興趣樹模型,優化個性化社會圖像推薦。

本發明的特點:

首先,本發明利用視覺注意機制分析圖像的顯著性,用區域相似合并的方式
構建具有樹結構的視覺注意模型,以此獲得顯著圖,得到能夠準確地表征人眼視
覺注意系統中圖像的主要信息,進而達到降低圖像處理復雜度的目的。其次,本
發明運用深度學習技術將視覺注意和標簽語義信息聯系起來,構建能夠表達用戶
感興趣圖像與圖像標簽相關性的標簽樹模型,結合用戶瀏覽信息確定用戶對各標
簽的興趣度,構建用戶興趣度模型,為此向用戶進行個性化社會圖像推薦。此外,
本發明針對不同用戶構建個性化的興趣樹,同時引入相關反饋機制優化推薦,有
效提高了個性化社會圖像推薦的準確度。

附圖說明:

圖1、用于個性化圖像推薦的視覺注意-標簽-用戶興趣樹構建方法總體流程

圖2、視覺注意-標簽-用戶興趣樹模型及傳播過程示意圖

圖3、個性化社會圖像推薦流程圖

具體實施方式:

根據上述描述,以下是一個具體的實施流程:從社會化媒體網站中的圖像出
發,首先利用圖像分割技術將圖像分割為多個區域,衡量各區域的顯著度,通過
區域合并構建視覺注意樹模型,生成顯著圖,然后據此生成圖像顯著標簽和節點
標簽,獲得標簽樹模型,再結合用戶歷史瀏覽計算用戶對標簽的興趣度,得到用
戶興趣樹,最后基于該樹向用戶推薦社會圖像。

1、視覺注意樹模型的生成

本發明結合人眼視覺注意機制,通過區域分割、顯著性度量以及樹結構的區
域合并生成能夠獲取顯著圖的視覺注意樹模型。

1.1圖像區域分割

分水嶺圖像分割方法主要通過模擬浸水過程來實現,將圖像中所有像素點的
灰度值大小表示該點的海拔高度,形成集水盆和分水嶺完成圖像的分割,針對傳
統分水嶺分割算法存在過分割的問題,本發明采用將分割后較小區域與近鄰區域
合并的方法來解決。

對于分割后的某區域R,定義區域尺寸來衡量該區域的大小,假設區域中最
大可以容下一個t×t大小的盒形區域,稱該區域尺寸大小為t,也就是說,若某
區域中不能夠容下t×t大小的區域,則其區域尺寸小于t。假設各區域的尺寸大
于t0時,能夠消除分割中產生的過分割現象,那么需要將小于t0的區域與近鄰區
域合并。

首先計算分水嶺分割后圖像各區域的顏色平均值,以該值表示該區域內各像
素點的顏色值。將每個區域通過t0×t0(取3×3或5×5)大小的盒形濾波器,該
濾波器的準則為:計算此時t0×t0區域內各像素點的顏色平均值代替該盒形的中
心像素點顏色值。由此可知,若某區域尺寸大于或等于t0,則濾波后至少有一個
像素點的顏色值與濾波前一致,若某區域濾波后所有像素點顏色值均發生了變
化,則該區域尺寸小于t0。由此檢測出分割后尺寸小于t0的區域,計算該區域與
其近鄰區域的顏色差值,選擇差值最小的區域進行合并,合并后的區域顏色值為
兩個區域的顏色均值,以此算法完成小區域合并,解決分割中產生的過分割問題。

1.2顯著性度量

為獲取圖像區域的顯著度,本發明結合圖像顯著區域的特征來分析各區域顯
著性。具體包括,顯著區域通常與其它區域有較大差別,采用區域全局對比對其
進行度量;心理學研究表明,人類視覺注意通常集中在圖像中心區域,則距離圖
像中心近的區域顯著性大,采用空間位置來度量;背景區域相比顯著區域更有可
能與圖像邊界連接,用顯著可能性衡量各區域連接邊界的大小。最后,將三部分
結合起來獲得圖像各區域顯著度。

1.2.1全局對比值

假設圖像分割最終把圖像分為n個原始區域,記為Ri(i=1,…,n),區域Ri的
全局對比度由其與圖像中其他區域的差異描述,定義如下:

X 1 ( R i ) = Σ j = 1 n | R j | · S d ( R i , R j ) · | c i - c j | - - - ( 1 ) ]]>

其中,Rj表示原始區域中除Ri外的區域,ci和cj分別表示區域Ri、Rj的顏色
平均值,|Rj|代表區域Rj的像素總數,Sd(Ri,Rj)定義為exp{-D(Ri,Rj)/σ2},表示區
域Ri和Rj的空間距離,D(Ri,Rj)是兩個區域中心的歐氏距離,參數σ2控制距離對
全局對比值的影響程度,σ2取值范圍為[100,150]。全局對比說明,距離區域Ri
越近、面積越大且顏色與Ri區域顏色差異越大的區域,對Ri的全局對比貢獻越
大。將全局對比值歸一化為:

NX 1 ( R i ) = X 1 ( R i ) - X 1 m i n X 1 m a x - X 1 m i n - - - ( 2 ) ]]>

X1min和X1max分別是各區域全局對比值的最小值和最大值。

1.2.2空間位置值

各個區域在圖像空間的位置一定程度上決定了其顯著度,定義如下:

X 2 ( R i ) = 1 | R i | Σ x i R i exp { - | | x i - x c | | 2 } - - - ( 3 ) ]]>

其中,|Ri|表示區域Ri的像素總個數,xi是區域Ri中的像素點坐標,xc是圖
像中心像素點坐標。空間位置值表征區域中各像素點與圖像中心的距離,距離越
短并且區域像素點越少,Ri的空間位置值越大。

1.2.3顯著可能性

考慮到圖像邊界多為背景區域,顯著性較小,用區域與圖像邊界的接觸面積
來衡量。為了減少計算顯著可能性的復雜度,首先減少圖像原始區域的數量,具
體做法與1.1節盒形濾波器一致,設置較大盒形t×t(可取33×33或35×35),將
小于該尺寸的區域合并,能夠獲得一幅粗糙的分割結果,設此時分割為nc個區
域Rc(c=1,…,nc),每一個區域均由一個或多個原始區域Ri構成。定義顯著可能性
如下:

X 3 ( R c ) = exp ( - | R c B | | R c | ) - - - ( 4 ) ]]>

其中,B表示圖像的邊界,|Rc∩B|指區域與圖像邊界相交的像素點數,|Rc|
代表區域Rc的像素總數。顯著可能性說明,與圖像邊界區域相交越少,區域越
大,其顯著可能性越大,當某區域與圖像邊界不相交時,顯著可能性取得最大值
1。圖像的區域顯著可能性值共nc個,代表圖像n個原始區域的顯著可能性值,
對于每一個原始區域Ri,其顯著可能性為:

X 3 ( R i ) = X 3 ( R c ) , R i R c - - - ( 5 ) ]]>

1.2.4區域顯著度

基于以上分析可知,全局對比值、空間位置值和顯著可能性從不同方面反映
圖像區域的顯著性,采用乘法運算定義各原始區域的顯著度:

X(Ri)=NX1(Ri)·X2(Ri)·X3(Ri)(6)

1.3樹結構的區域合并

各原始區域根據合并準則與近鄰區域合并,迭代這個過程,生成視覺注
意樹。

1.3.1區域合并準則和合并順序

本發明涉及區域合并是指將符合一定條件的圖像區域視為一個整體計算,區
域本身并不發生變化。為了尋找相似的近鄰區域合并,對于每對近鄰區域Ri和
Rj,根據兩個區域的顏色相似性和顯著相似性定義區域的合并準則Mrg:

M r g ( R i , R j ) = S ( R i , R j ) | c i - c j | - - - ( 7 ) ]]>

顯著相似性定義為:

S ( R i , R j ) = 1 | X ( R i ) - X ( R j ) | - - - ( 8 ) ]]>

其中,X(Ri)和X(Rj)分別為Ri和Rj的區域顯著度。由此可見,當近鄰區域有
相似的顏色分布和相似的區域顯著性時,二者的合并標準較大,優先合并,為了
方便計算,將不相鄰區域對的合并準則設為0。

本發明選取合并準則大的兩個區域進行合并,用下式選出區域對(Ri,Rj):

(Ri,Rj)=argmaxMrg(Ri,Rj)(9)

將合并后的區域記為Rk,其顏色為合并前兩區域的顏色均值,顯著度為:

X ( R k ) = | R i | · X ( R i ) + | R j | · X ( R j ) | R i | + | R j | - - - ( 10 ) ]]>

1.3.2視覺注意樹的生成

視覺注意樹通過區域合并生成,是一個具有樹結構的模型。樹模型每個節點
代表一個區域,底層節點為各原始區域,以此為起點,通過區域合并準則每次選
取兩個近鄰區域合并為一個新區域,在現有的原始區域和合并后的區域中根據合
并準則繼續選取兩個區域合并,重復這個過程,直至所有區域合并完成,視覺注
意樹的根節點為一幅完整的圖像。

1.4生成顯著圖

視覺注意樹將一幅圖像分層的表現出來,能夠通過選擇樹節點獲得高質量的
圖像顯著圖。每一個節點區域Rr的圍繞區域集為Cr,Cr為與區域Rr相鄰的多個
區域構成的集合。根據式(9)得到區域Cr的顯著度:

X ( C r ) = Σ | R i | · X ( R i ) Σ | R i | - - - ( 11 ) ]]>

式中Ri為組成區域Cr的原始區域。定義顯著性區域選擇標準如下:

C(Rr)=|X(Rr)-X(Cr)|·|Rr|·X(Rr)(12)

其中,|Rr|表示區域Rr的像素總個數,X(Rr)為Rr的區域顯著度。選擇標準
表示,與周圍區域差別越明顯、自身區域越大且顯著度越大的節點區域,其成為
顯著區域的可能性越大。計算每一個節點區域的選擇標準值,選出具有最大標準
的區域,即為該圖像的顯著區域Rs,即C(Rs)=maxC(Rr),圖像顯著區域構成其顯
著圖,可以用一幅灰度圖像表示。

2、視覺注意-標簽-用戶興趣樹模型的生成

在基于視覺注意樹獲取顯著圖的基礎上,本發明構建視覺注意-標簽-用戶興
趣樹模型用于個性化社會圖像推薦,該模型包括視覺注意樹到標簽樹的傳播和標
簽樹到用戶興趣樹的傳播兩個部分。其中視覺注意樹到標簽樹的傳播分為顯著標
簽的生成和節點標簽的生成,標簽樹到用戶興趣樹的傳播分為定義標簽樹層次因
子和計算用戶興趣度。

2.1視覺注意樹到標簽樹的傳播

本發明構建標簽樹用來表示各標簽與圖像的相關程度,圖像顯著圖對應的圖
像標簽稱為顯著標簽,圖像的其他標簽稱為節點標簽。顯著標簽的獲取通過深度
學習算法學習顯著區特征,結合多示例學習思想確定圖像的哪類標簽對應顯著圖
信息。節點標簽通過計算其與顯著標簽和標簽樹底層節點標簽的相關度來確定各
標簽在標簽樹中的位置,生成標簽樹模型。

2.1.1顯著標簽的生成

深度置信網絡(DeepBeliefNetworks,DBN)是一種非監督和監督方法混合
的深度學習模型,網絡中相鄰兩層可分解為一個獨立的受限玻爾茲曼機,該方法
能夠相對準確的學習到人類對圖像數據的理解方式,再利用學習到的語義特征通
過多示例學習選取對應的標簽類。

首先選取圖像的訓練樣本,將訓練圖像的顯著圖作為m層受限玻爾茲曼機
構成的深度置信網絡的輸入,其中m為大于等于2的整數,通過非監督學習來
預訓練深度置信網絡。具體做法是,對于構成深度置信網絡的每一個受限玻爾茲
曼機,可視層作為其輸入,隱層作為其輸出,低層的輸出作為高層網絡的輸入,
每層受限玻爾茲曼機采用相同的隱層節點數目,通過這樣的過程得到各層間的連
接權重,完成無監督的預訓練過程。對網絡進行監督學習的方法為:使用多示例
學習的多樣性密度作為分類方法,將深度置信網絡頂層受限玻爾茲曼機的輸出作
為多樣性密度算法的輸入,其輸出為顯著圖所對應的標簽類別。在預訓練后,通
過網絡自頂向下有監督的學習,用訓練樣本對深度置信網絡微調各層次間的鏈接
權重,訓練樣本訓練過的機器學習網絡用于測試樣本,將標簽語義與圖像內容聯
系起來。這樣,通過深度學習的方法對圖像顯著區進行深層的特征學習與提取,
并通過多密度學習算法將圖像分為其對應的標簽語義類,即生成顯著標簽,在標
簽樹中與根節點連接。

2.1.2節點標簽的生成

節點標簽通過計算標簽間的相似度來確定其在標簽樹中的父節點,本發明基
于互信息的方法來計算標簽之間的相似度,該方法通過兩個標簽t1和t2在同一圖
像中出現的概率表征相似度,如下式定義:

s i m ( t 1 , t 2 ) = p ( t 1 , t 2 ) l o g p ( t 1 , t 2 ) p ( t 1 ) p ( t 2 ) - - - ( 13 ) ]]>

p(t1,t2)指標簽t1和t2出現在同一副圖像的概率,記為:

p ( t 1 , t 2 ) = N ( I t 1 I t 2 ) N ( I ) - - - ( 14 ) ]]>

其中,It1和It2分別表示標簽t1和t2標記的圖像集合,N(It1∩It2)表示同時被
標簽t1和t2標記的圖像個數,N(I)表示數據集中圖像的總數。

p(t1)和p(t2)分別是標簽t1和t2標記圖像的概率,可以定義為:

p ( t 1 ) = N ( I t 1 ) N ( I ) , p ( t 2 ) = N ( I t 2 ) N ( I ) - - - ( 15 ) ]]>

對于每一幅圖像,分別計算各標簽與顯著標簽的相關性,相關性最大的作為
節點標簽與顯著標簽相連,其余標簽分別比較與顯著標簽和標簽樹中現有節點標
簽的相關性,選取相關性較大的標簽相連,據此生成標簽樹。在此規定,標簽樹
中顯著標簽可以有多個子節點,但節點標簽僅有一個子節點。

2.2標簽樹到用戶興趣樹的傳播

本發明根據標簽樹模型引入標簽樹層次因子,結合用戶歷史瀏覽信息,用
TF-IDF算法計算用戶對標簽樹中各標簽的興趣度,構建用戶興趣樹模型。

2.2.1定義標簽樹層次因子

標簽樹中的標簽節點表示其與圖像的相關度,本發明將標簽樹看作具有不同
層次的模型,定義標簽樹層次因子εa(a=1,…,p),其中p為標簽樹的總層次數。
定義標簽樹中除根節點外的第一層標簽(即顯著標簽)擁有層次因子ε1,與顯著
標簽相連的節點標簽擁有層次因子ε2,再下一層節點標簽擁有層次因子ε3,以此
類推,同時定義ε1>ε2>…>εp,均為自然數且εp=1。標簽樹層次因子表示圖像各
標簽與內容的相關度大小,在計算用戶興趣度中即能夠突顯出顯著標簽的重要
性,也可以有效減小頻繁出現但無實際意義的標簽對獲取用戶興趣的影響,進而
準確獲取用戶興趣。

2.2.2計算用戶興趣度

用戶對標簽的感興趣程度通過TF-IDF信息加權技術結合標簽樹層次因子計
算,用戶的興趣可表示為:{(t1,w1),…,(tm,wm)},其中wm為用戶對標簽tm的興趣
度,定義為:

w m = f m × l o g ( N / n m + 0.01 ) Σ t m D [ f m × l o g ( N / n m + 0.01 ) ] 2 · ϵ x - - - ( 16 ) ]]>

式中,fm表示用戶在一段時間內瀏覽標簽tm的次數,N為用戶總數,nm是
用戶集合中瀏覽過標簽tm的用戶數,D表示用戶瀏覽的標簽集合,εx為標簽tm
在標簽樹的層次因子。公式的思想是,如果一個標簽被用戶多次使用,而其他用
戶很少使用,說明該用戶對該標簽興趣度較大;對于存在多幅圖像中的某標簽,
盡管用戶對其頻繁瀏覽,但若其處于標簽樹底層,說明該標簽并不具有具體語義
信息,不足以說明用戶對該標簽興趣度大,后種情況在用戶相關反饋過程中會進
一步解決。結合標簽樹計算用戶興趣度,進而構建用戶興趣樹模型,為個性化社
會圖像推薦做好準備。樹模型的傳播過程如附圖2所示。

3、基于用戶興趣模型的個性化社會圖像推薦

根據用戶興趣樹獲取用戶感興趣的標簽,在圖像庫中搜索與該標簽相關性大
的圖像作為結果推薦給用戶,為了更好地滿足用戶個性化的需求,用戶可以對推
薦結果進行評價,根據用戶感興趣圖像,引入相關反饋規則,優化推薦結果。

3.1基于用戶興趣標簽的個性化社會圖像推薦

本發明根據用戶對標簽的感興趣度,若用戶對標簽t的興趣度較大,則將圖
像庫中標簽t相關度高的圖像作為結果推薦給用戶。圖像與標簽t相關度衡量的
標準是:若t是圖像的顯著標簽,即t與圖像中主要信息相關度較大,則認為標
簽t與該圖像相關度大。根據本發明方法獲取圖像的顯著標簽,將顯著標簽為t
的圖像推薦給用戶,完成一次個性化社會圖像推薦。

3.2用戶相關反饋

由于圖像低層特征和高層語義標簽之間存在較大差異,并且用戶歷史瀏覽行
為不能完全代表用戶的興趣,所以僅通過一次個性化社會圖像推薦往往不能滿足
用戶的需求。本發明在推薦過程中引入相關反饋技術,其目標是在用戶對推薦結
果的反饋信息來學習用戶的個性化興趣,發現并捕捉用戶的實際查詢意圖,以此
修正推薦系統,得到與用戶實際需求盡可能吻合的推薦結果。將滿足用戶要求的
圖像返回推薦系統,重新構建視覺注意樹模型,進一步調整用戶的標簽樹以及用
戶興趣樹模型,以此來優化推薦。由于相關反饋可以實時地修改系統的推薦策略,
從而為個性化社會圖像推薦系統增加了自適應功能。

在本發明提出的個性化社會圖像推薦方法實施中,具體過程如下:

首先,在第一輪的推薦過程中,選取用戶歷史瀏覽的I幅圖像作為用戶感興
趣圖像,分別構建這些圖像的視覺注意樹模型,獲取各自的顯著圖,認為該用戶
感興趣信息包含在這些顯著圖中。

然后,分別生成I幅顯著圖對應的顯著標簽,顯著標簽均與標簽樹的根節點
相連,通過計算節點標簽與各自圖像中顯著標簽和標簽樹底層節點標簽的相關
度,生成用戶的標簽樹,再結合用戶瀏覽歷史計算用戶興趣度,生成用戶興趣樹。

最后,確定用戶感興趣標簽,在數據庫中選取與該標簽相關度高的圖像推薦
給用戶,用戶可以對推薦結果進行評價,將用戶滿意的圖像作為興趣圖像構建視
覺注意樹模型,重新生成標簽樹以指導下一輪推薦,優化個性化社會圖像推薦。
推薦過程如附圖3所示。

關 鍵 詞:
一種 用于 個性化 社會 圖像 推薦 視覺 注意 標簽 用戶 興趣 構建 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種用于個性化社會圖像推薦的視覺注意標簽用戶興趣樹的構建方法.pdf
鏈接地址:http://www.wwszu.club/p-6401551.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大