鬼佬大哥大
  • / 9
  • 下載費用:30 金幣  

一種大數據環境下的圖像識別方法.pdf

摘要
申請專利號:

CN201510507897.1

申請日:

2015.08.18

公開號:

CN105069136A

公開日:

2015.11.18

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06F 17/30申請日:20150818|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 成都鼎智匯科技有限公司
發明人: 許馳
地址: 610000四川省成都市高新區天府大道中段1388號1棟7層772號
優先權:
專利代理機構: 北京天奇智新知識產權代理有限公司11340 代理人: 郭霞
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510507897.1

授權公告號:

|||

法律狀態公告日:

2015.12.16|||2015.11.18

法律狀態類型:

實質審查的生效|||公開

摘要

本發明提出了一種大數據環境下的圖像識別方法,包括:步驟S200,訓練集圖像提取,訓練集提取模塊負責對原始圖像集進行基于pLSA模型的主題聚類分析,通過用戶交互的形式選取出訓練集圖像;步驟S300,分類器訓練,分類器學習模塊根據用戶提供的訓練集圖像進行分類器的訓練,得到用于進行圖像標注的分類器;步驟S400,圖像標注,分類標注模塊利用步驟S300得到的分類器完成對輸入的圖像或者圖像序列進行分類標注的任務;步驟S500,圖像檢測,所述圖像檢測包括輸入帶有標注的一幅圖像,在互聯網上和/或本地圖像數據庫中檢測與所輸入圖像的相似度大于給定閾值的圖像。本發明采用分布式的云計算方式,能夠快速有效的采集網絡上的圖像數據,有效的提高圖像檢測的效率和準確性。

權利要求書

1.一種大數據環境下的圖像識別方法,包括:
步驟S200,訓練集圖像提取
訓練集提取模塊負責對原始圖像集進行基于pLSA模型的主題聚類分析,通過用戶交互
的形式選取出訓練集圖像;
步驟S300,分類器訓練
分類器學習模塊根據用戶提供的訓練集圖像進行分類器的訓練,得到用于進行圖像標注
的分類器;
步驟S400,圖像標注
分類標注模塊利用步驟S300得到的分類器完成對輸入的圖像或者圖像序列進行分類標
注的任務;
步驟S500,圖像識別
所述圖像識別包括輸入帶有標注的一幅圖像,在互聯網上和/或本地圖像數據庫中識別與
所輸入圖像的相似度大于給定閾值的圖像。
2.如權利要求1所述的大數據環境下的圖像識別方法,其中,步驟S200包括:
訓練集提取模塊分為3個子模塊:更新參數模塊、pLSA聚類模塊和選取訓練集模塊;
用戶通過更新參數模塊設置訓練集提取任務的參數,pLSA聚類模塊根據用戶的參數設置進行
原始圖像的主題聚類分析,完成后用戶通過選取訓練集模塊選取所需的訓練集圖像。
3.如權利要求1所述的大數據環境下的圖像識別方法,其中,步驟S500包括:
所述圖像識別包括:首先將所述輸入圖像的內容與互聯網上和/或本地圖像數據庫中的圖
像的內容進行相似度比較,識別出相似度大于第一閾值的圖像;再將輸入圖像的標注與所述
相似度大于第一閾值時的圖像的標注進行相似度比較,識別出相似度大于第二閾值的圖像;
將相似度大于第二閾值的圖像作為最終圖像識別結果。
4.如權利要求3所述的大數據環境下的圖像識別方法,其中,所述將所述輸入圖像的內
容與互聯網上和/或本地圖像數據庫中的圖像的內容進行相似度比較包括:
對于所述輸入圖像,通過圖像灰度值和紋理特征得到圖像的全局特征。
5.如權利要求4所述的大數據環境下的圖像識別方法,進一步包括:
將得到的全局特征進一步轉換為一個二進制信號和殘差信號。
6.如權利要求5所述的大數據環境下的圖像識別方法,所述將所述輸入圖像的內容與互
聯網上和/或本地圖像數據庫中的圖像的內容進行相似度比較進一步包括:
利用提取的特征信號進行圖像識別查找經過以下兩個步驟:1)基于二進制信號的哈希查
找;2)基于殘差信號的重排序。

說明書

一種大數據環境下的圖像識別方法

技術領域

本發明涉及圖像處理領域,具體涉及一種大數據環境下的圖像識別方法。

背景技術

隨著多媒體技術和網絡技術的快速發展,越來越多的信息以圖像的形式呈現出來,而且
圖像已廣泛應用于醫學、通信、工農業生產、航天、教育、軍事等多個領域。為了更好管理
和利用這些海量圖片信息,建立有效的分類和檢索方式已成為迫切需要解決的問題。前期人
們已經在圖像檢索方面作了大量的研究,就目前的檢索趨勢而言,大致可分為三個不同的著
眼點:一是基于文本的圖像檢索;二是基于內容的圖像檢索;三是基于語義的圖像檢索。

傳統的方法是基于文本的圖像檢索需要人工對圖像添加關鍵字,從而將視覺信息檢索轉
換成成熟的文本檢索問題。雖然這種方法簡單易行,但是文本描述難以充分表達圖像的豐富
含義,而且具有主觀性;另外,人工標注費時費力,效率低,已遠不能滿足當今圖像快速增
長的需要。因此,基于內容的圖像檢索技術應運而生。區別于基于文本的圖像檢索它通過自
動提取圖像的低層特征,主要包括圖像的顏色、紋理和形狀等低層視覺特征及其組合,該技
術解決了基于文本圖像檢索所存在的一些問題。但對于普通的一般用戶而言,提供實例圖像
并不是一件容易的事,而且圖像低層視覺特征與圖像的高層語義間還存在“語義鴻溝”,所以
采用低層特征進行檢索并不能充分的表達圖像的深層語義。因此,建立圖像語義表示和檢索
機制勢在必行,解決該問題的關鍵就是要對圖像進行自動語義標注。語義標注的實質是通過
對圖像視覺特征的分析來提取高層語義用于表示圖像的含義,從而在圖像低層特征和高層語
義之間建立一座橋梁,解決低層特征和高層語義間的“鴻溝”問題。其主要思想是從大量圖
像樣本中自動學習語義概念模型,并用此概念模型標注新的圖像。目前,人們對圖像語義標
注的研究已經取得了一定的成果,建立了語義標注的模型,如翻譯模型[9],跨媒體相關模型,
還有根據相關模型改進的連續相關模型和MBRM(Multiple-BernoulliRelevanceModel)等。

云計算是一種新的IT資源提供模式,依靠強大的分布式計算能力,使成千上萬的終端用
戶能夠依靠網絡連接的硬件平臺的計算能力實施多種應用。Hadoop是一個分布式系統基礎架
構,由Apache基金會開發。使用者可以在不了解分布式底層細節的情況下,搭建分布式計算
平臺。Hadoop的核心組件有兩個:Hadoop分布式文件系統(HDFS)和MapReduce。HDFS是
一個隱藏下層負載均衡、冗余復制等細節的分布式文件系統,適合部署在廉價的機器上。它
能提供高吞吐量的數據訪問,非常適合大規模數據集上的應用,并對上層程序提供一個統一
的文件系統API(應用程序接口)。HDFS只有一個名字節點,負責管理元數據操作和控制數
據塊的放置,由數據節點實際保存數據塊。另外,MapReduce代表了map和reduce兩種操
作。大多數分布式運算可以抽象為MapReduce操作。map是把輸入分解成中間的key/value對,
reduce把key/value合成最終輸出。這兩個函數由程序員提供給系統,下層設施把map和
reduce操作分布在集群上運行,并把結果存儲在分布式文件系統上。用戶提交MapReduce任
務給主節點,JobTracker負責將任務分配到各個子節點上,實現并行處理。

發明內容

為解決現有技術中存在的大數據環境下圖像識別處理效率低、準確性差的問題,本發明
提出一種大數據環境下的圖像識別方法。

本發明提出的一種大數據環境下的圖像識別方法,包括:

步驟S200,訓練集圖像提取

訓練集提取模塊負責對原始圖像集進行基于pLSA模型的主題聚類分析,通過用戶交互
的形式選取出訓練集圖像;

步驟S300,分類器訓練

分類器學習模塊根據用戶提供的訓練集圖像進行分類器的訓練,得到用于進行圖像標注
的分類器;

步驟S400,圖像標注

分類標注模塊利用步驟S300得到的分類器完成對輸入的圖像或者圖像序列進行分類標
注的任務;

步驟S500,圖像識別

所述圖像識別包括輸入帶有標注的一幅圖像,在互聯網上和/或本地圖像數據庫中識別與
所輸入圖像的相似度大于給定閾值的圖像。

其中,步驟S200包括:

訓練集提取模塊分為3個子模塊:更新參數模塊、pLSA聚類模塊和選取訓練集模塊;
用戶通過更新參數模塊設置訓練集提取任務的參數,pLSA聚類模塊根據用戶的參數設置進行
原始圖像的主題聚類分析,完成后用戶通過選取訓練集模塊選取所需的訓練集圖像。

步驟S500包括:

所述圖像識別包括:首先將所述輸入圖像的內容與互聯網上和/或本地圖像數據庫中的圖
像的內容進行相似度比較,識別出相似度大于第一閾值的圖像;再將輸入圖像的標注與所述
相似度大于第一閾值時的圖像的標注進行相似度比較,識別出相似度大于第二閾值的圖像;
將相似度大于第二閾值的圖像作為最終圖像識別結果。

其中,所述將所述輸入圖像的內容與互聯網上和/或本地圖像數據庫中的圖像的內容進行
相似度比較包括:

對于所述輸入圖像,通過圖像灰度值和紋理特征得到圖像的全局特征。

所述的大數據環境下的圖像識別方法,進一步包括:

將得到的全局特征進一步轉換為一個二進制信號和殘差信號。

所述將所述輸入圖像的內容與互聯網上和/或本地圖像數據庫中的圖像的內容進行相似
度比較進一步包括:

利用提取的特征信號進行圖像識別查找經過以下兩個步驟:1)基于二進制信號的哈希查
找;2)基于殘差信號的重排序。

本發明采用分布式的云計算方式,能夠快速有效的采集網絡上的圖像數據,通過考慮圖
像標注和圖像內容的不同特性,在圖像識別時采取不同的策略,能夠有效的提高圖像識別的
效率和準確性。

附圖說明

圖1為本發明大數據環境下的圖像識別方法的流程圖;

具體實施方式

下面將結合本發明的附圖,對本發明的技術方案進行清楚、完整地描述。這里將詳細地
對示例性實施例進行說明,其示例表示在附圖中。下面的描述涉及附圖時,除非另有表示,
不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不
代表與本發明相一致的所有實施方式。相反,它們僅是與如所附權利要求書中所詳述的、本
發明的一些方面相一致的裝置和方法的例子。

參見圖1,本發明提出的一種大數據環境下的圖像識別方法,包括

步驟S100,原始圖像采集

圖像抓取模塊負責將用戶的抓取任務提交到圖像抓取平臺,通過SSH協議連接到云計算
平臺的主節點,從互聯網中抓取所需的原始圖像集。

本發明基于現有文本圖像搜索引擎的圖像抓取器,實現基于云計算的圖像抓取平臺,達
到了高效快速抓取原始圖像的效果。

步驟S200,訓練集圖像提取

訓練集提取模塊負責對原始圖像集進行基于pLSA模型的主題聚類分析,通過用戶交互
的形式選取出訓練集圖像;

訓練集提取模塊分為3個子模塊:更新參數模塊、pLSA聚類模塊和選取訓練集模塊。
用戶通過更新參數模塊設置訓練集提取任務的參數,pLSA聚類模塊根據用戶的參數設置進行
原始圖像的主題聚類分析,完成后用戶可以通過選取訓練集模塊選取所需的訓練集圖像。

步驟S300,分類器訓練

分類器學習模塊根據用戶提供的訓練集圖像進行分類器的訓練,得到用于進行圖像標注
的分類器;

本發明所用的分類器采用支持向量機SVM。

分類器學習模塊進一步分為更新參數、SVM學習和更新分類器模塊3個子模塊。用戶通
過更新參數模塊設置分類器學習任務的參數,SVM學習模塊根據用戶的參數設置從訓練集中
學習分類器模型,運行成功后更新分類器模塊負責存儲更新分類器模型。

本發明中的分類器還可以采用其他的分類器。

步驟S200得到的圖像Ii都存儲在圖像數據庫I={I1,I2,…,IN}中,Ⅰ將作為訓練圖像樣本
集,N為訓練圖像樣本個數.描述圖像內容的視覺特征用F={F1,F2,…,FN}表示,用于標注圖
片的語義關鍵詞ωi構成語義詞匯表W={ω1,ω2,…,ωM}。給定一幅未標注的圖像I,其語義圖
像自動標注的目標就是抽取最佳關鍵字集W*來描述圖像的內容。與生成模型通過估計視覺特
征和語義概念之間的聯合概率分布來建立兩者之間的聯系不同,該標注模型將圖像標注看作
多類的分類問題,語義詞匯表中的每個標注詞定義一個語義類,那么,假設待標注圖像I的
視覺特征向量為X,利用貝葉斯規則,圖像標注可以表示為:

P ( ω i | X ) = P ( X | ω i ) P ( ω i ) P ( X ) , ]]>

其中,P(ωi)是第i個標注詞的先驗概率,可以看作是均勻分布的;P(X|ωi)是第i個語
義類的類條件概率密度,可用多維變量的正態密度函數來模擬。此時,正態分布的貝葉斯分
類器判別函數可表示為:

h i ( X ) = P ( X | ω i ) P ( ω i ) = 1 ( 2 π ) n / 2 | S i | 1 / 2 exp [ - 1 2 ( X - X ( ω i ) ) S i - 1 ( X - X ( ω i ) ) ] P ( ω i ) , ]]>

其中,為ωi類的均值向量。將每個語義概念都看作是相互獨立的,對于測試圖像I,
其最佳標注為

ω i * = arg m a x i P ( ω i | X ) = arg m a x i h i ( X ) ]]>

一幅圖像的語義關鍵詞可能不止一個,因此,可通過P(ωi|X)或hi(X)的排序來選擇多個
標注詞。

步驟S400,圖像標注

分類標注模塊利用步驟S300得到的分類器完成對輸入的圖像或者圖像序列進行分類標
注的任務。

分類標注模塊分為更新參數、SVM分類和生成類別標注3個子模塊。用戶通過更新參數
設置模塊設置任務的參數,SVM分類模塊根據用戶的參數設置對圖像或圖像序列進行分類標
注,并通過生成類別標注模塊生成類別標注文件。

分類標注要滿足4個功能需求:原始圖像抓取、訓練集提取、分類器模型學習和分類標
注。用戶通過訓練集提取可以從原始數據集中生成訓練集,然后學習分類器模型,利用分類
器模型進行圖像的分類和標注,并對分類標注結果進行存儲,以供用戶查詢或者檢索系統。

結合系統的架構,本發明把系統分為圖像抓取模塊、訓練集提取模塊、分類器學習模塊、
分類標注模塊。其中,圖像抓取模塊負責將用戶的抓取任務提交到圖像抓取平臺,通過SSH協
議連接到云計算平臺的主節點,從互聯網中抓取所需的原始圖像集;訓練集提取模塊負責對
原始圖像集進行基于pLSA模型的主題聚類分析,通過用戶交互的形式選取出訓練集圖像;
分類器學習模塊的任務是根據用戶提供的訓練集圖像學習分類器模型,并保存為分類器模型
文件;分類標注模塊完成對圖像或者圖像序列進行分類標注的任務,并生成分類標注文件。

在本發明中,首先,利用云技術發揮互聯網中多臺硬件的計算能力,加快圖像抓取的速
度,并獲取所需要的原始圖像集。其次,當抓取到足夠的原始數據集以后,使用訓練集提取
模塊通過交互的方式幫助用戶選取恰當的訓練集。第三,通過分類器學習模塊訓練分類器。
最后,分類標注模塊利用這些分類器對新圖像進行分類標注。

步驟S500,圖像識別

所述圖像識別包括輸入帶有標注的一幅圖像,在互聯網上和/或本地圖像數據庫中識別與
所輸入圖像的相似度大于給定閾值的圖像。

所述圖像識別包括:首先將輸入圖像的標注與互聯網上和/或本地圖像數據庫中的圖像的
標注進行相似度比較,識別出相似度大于第一閾值的圖像;再將所述輸入圖像的內容與所述
相似度大于第一閾值時的圖像的內容進行相似度比較,識別出相似度大于第二閾值的圖像;
將相似度大于第二閾值的圖像作為最終圖像識別結果。

本發明上述實施例中,先使用圖像的標注進行識別比較,可以首先識別出與輸入圖像標
注語義上相關的圖像集合,然后再進行圖像內容的比較,識別出內容相近的圖像。由于基于
圖像標注的識別比較速度較快,而基于圖像內容的識別比較要耗時得多,因此,該實施例能
夠在提高圖像識別準確性的同時加快識別速度。

或者,

所述圖像識別包括:首先將所述輸入圖像的內容與互聯網上和/或本地圖像數據庫中的圖
像的內容進行相似度比較,識別出相似度大于第一閾值的圖像;再將輸入圖像的標注與所述
相似度大于第一閾值時的圖像的標注進行相似度比較,識別出相似度大于第二閾值的圖像;
將相似度大于第二閾值的圖像作為最終圖像識別結果。

本發明上述實施例中,先使用圖像的內容進行識別比較,可以首先識別出與輸入圖像內
容上相關的圖像集合,然后再進行圖像標注的比較,識別出標注相近的圖像。由于內容相似
的圖像有時所要表達的含義并不相似,該實施例能夠識別到內容和語義上與輸入圖像都相關
的圖像。

或者,

所述圖像識別包括:將輸入圖像的標注和內容與互聯網上和/或本地圖像數據庫中的圖像
的標注和內容分別進行相似度比較,根據以下公式進行計算:

D=αB+βN,

其中,B為圖像標注之間的相似度,N為圖像內容之間的相似度,α、β分別為圖像標注
和圖像內容所占的權重,D為綜合考慮了圖像標注和圖像內容相似度之后得出的圖像之間的
相似度;識別出D大于給定閾值的圖像;將D大于給定閾值的圖像作為最終圖像識別結果。

本發明上述實施例中,同時考慮了圖像標注和圖像內容對圖像識別結果的影響,可以得
到相對更加客觀的識別結果。

所述輸入的一幅圖像和本地圖像數據庫中的圖像均是通過步驟S400進行的圖像標注,當
然也可以不對圖像的標注進行特殊限制。

對于所述的圖像內容的比較,對于所述輸入的一幅圖像,首先將其均勻地分成8x8的區域
塊,然后在每個區域中計算其所包含像素的灰度值的中值,進而生成一個64維的灰度值向量。
為了更好地表示圖像旳視覺內容,除了顏色特征以外,還將紋理特性作為一種重要的補充;在
提取紋理特征時首先將圖像分成2x2的區域塊然后統計每個區域內的梯度直方圖,統計過程
中用12Bins對梯度方向進行量化同時用一個特征維度記錄梯度值為零的像素所占的比例,
最終形成一個8x8+2x2x(12+1)=116維的全局特征。

在超大規模全局特征組成的特征空間中線性掃描依然是一件十分費時的操作過程,為了
進一步提高檢索和匹配的效率,利用了一種簡單又有效的哈希算法將原始特征進一步轉換為
一個二進制信號和殘差信號。具體地,首先使用PCA對原始特征進行主成分分析,保留方差大
于給定閾值的特征維度并利用特征空間中保留的每一維特征的中值對原始特征進行二值量化
操作(特征值大于中值的量化為1,否則量化為0)從而得到相應的二進制信號。除了保留這些
二進制信號,為了提高匹配精度,我們還保留了PCA處理后的前24維特征作為殘差信號用于
進一步的相似度比較。

利用提取的特征信號進行圖像識別查找需要經過以下兩個步驟:1)基于二進制信號的哈
希查找;2)基于殘差信號的重排序。

哈希查找:由于特征信號的生成過程中利用的是PCA對應的線性變換,因而圖像對應的特
征信號之間的距離也相近,通過度量二進制特征信號之間的漢明距離就可以有效的發現候選
圖像。具體地,通過圖像對應的二進制特征信號可以方便的構建一個哈希表,將具有不同特征
信號的圖像編號放入不同的哈希桶中。這樣給定一幅查詢圖像,就可以通過哈希操作快速地找
出與查詢圖像特征信號的漢明距離小于或等于2的哈希桶,對于一個16維的二進制信號而言,
這樣的哈希桶最多有個,因而我們只需要對這137個哈希桶包含的圖像做
進一步的比較,就可以得到最終的圖像查找結果,有效地避免無謂的操作和計算。

上述哈希查找即:通過度量二進制特征信號之間的漢明距離發現候選圖像,具體地,通過
圖像對應的二進制特征信號構建一個哈希表,將具有不同二進制特征信號的圖像編號放入不
同的哈希桶中,給定一幅查詢圖像,通過哈希操作找出與查詢圖像二進制特征信號的漢明距離
小于或等于2的哈希桶,對所述哈希桶包含的圖像做進一步的比較,得到的圖像查找結果作為
候選圖像。

殘差排序:在利用殘差信息進行重排序的過程中,我們利用哈希桶中保存的圖像編號取出
與之相對應的圖像殘差信號,并通過度量殘差信號之間的歐氏距離對候選圖像進行重排序。排
名靠前并且與查詢圖像的殘差距離小于一定閾值的圖像輸出作為最終圖像查找的識別結果。

上述殘差排序即:利用所述哈希桶中保存的圖像編號取出與之相對應的圖像殘差信號,并
通過度量殘差信號之間的歐氏距離對所述候選圖像進行重排序,排名靠前并且與查詢圖像的
殘差距離小于一定閾值的圖像輸出作為最終圖像查找的識別結果。

步驟S600,圖像輸出

將步驟S500中的識別結果圖像按照相似度由大到小排序并輸出給用戶。

本發明采用分布式的云計算方式,能夠快速有效的采集網絡上的圖像數據,通過考慮圖
像標注和圖像內容的不同特性,在圖像識別時采取不同的策略,能夠有效的提高圖像識別的
效率和準確性。

本領域技術人員在考慮說明書及實踐這里公開的發明后,將容易想到本發明的其它實施
方案。本申請旨在涵蓋本發明的任何變型、用途或者適應性變化,這些變型、用途或者適應
性變化遵循本發明的一般性原理并包括本發明未公開的本技術領域中的公知常識或慣用技術
手段。

應當理解的是,本發明并不局限于上面已經描述并在附圖中示出的精確結構,并且可以
在不脫離其范圍進行各種修改和改變。本發明的范圍僅由所附的權利要求來限制。

關 鍵 詞:
一種 數據 環境 圖像 識別 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種大數據環境下的圖像識別方法.pdf
鏈接地址:http://www.wwszu.club/p-6401558.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大