鬼佬大哥大
  • / 22
  • 下載費用:30 金幣  

手勢識別裝置以及手勢識別裝置的控制方法.pdf

摘要
申請專利號:

CN201510050662.4

申請日:

2015.01.30

公開號:

CN104914988A

公開日:

2015.09.16

當前法律狀態:

撤回

有效性:

無權

法律詳情: 發明專利申請公布后的視為撤回IPC(主分類):G06F 3/01申請公布日:20150916|||實質審查的生效IPC(主分類):G06F 3/01申請日:20150130|||公開
IPC分類號: G06F3/01 主分類號: G06F3/01
申請人: 歐姆龍株式會社
發明人: 松永純平
地址: 日本京都府
優先權: 2014-050728 2014.03.13 JP
專利代理機構: 北京市柳沈律師事務所11105 代理人: 胡金瓏; 車玲玲
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510050662.4

授權公告號:

||||||

法律狀態公告日:

2018.05.08|||2015.10.14|||2015.09.16

法律狀態類型:

發明專利申請公布后的視為撤回|||實質審查的生效|||公開

摘要

本發明涉及手勢識別裝置以及手勢識別裝置的控制方法。一種手勢識別裝置,取得由操作者進行的手勢,生成與該手勢對應的命令,該手勢識別裝置具有:攝像部件,拍攝進行手勢的人物;姿勢判定部件,基于所述拍攝到的圖像,生成表示進行所述手勢的人物在空間內的姿勢的姿勢信息;手勢取得部件,從所述拍攝到的圖像取得進行手勢的對象部位的活動,確定手勢;以及命令生成部件,生成與所述手勢對應的命令,所述手勢取得部件基于所述姿勢信息而校正已取得的對象部位的活動。

權利要求書

權利要求書
1.  一種手勢識別裝置,取得由操作者進行的手勢,生成與該手勢對應的命令,其特征在于,該手勢識別裝置具有:
攝像部件,拍攝進行手勢的人物;
姿勢判定部件,基于所述拍攝到的圖像,生成表示進行所述手勢的人物在空間內的姿勢的姿勢信息;
手勢取得部件,從所述拍攝到的圖像取得進行手勢的對象部位的活動,確定手勢;以及
命令生成部件,生成與所述手勢對應的命令,
所述手勢取得部件基于所述姿勢信息而校正已取得的對象部位的活動。

2.  如權利要求1所述的手勢識別裝置,其特征在于,
所述姿勢信息包含進行手勢的人物的、與相對于所述攝像部件的偏轉角有關的信息,
所述手勢取得部件基于所述偏轉角來校正已取得的對象部位的水平方向的移動量。

3.  如權利要求2所述的手勢識別裝置,其特征在于,
與所述偏轉角較小的情況相比,在所述偏轉角較大的情況下,所述手勢取得部件更大地校正已取得的對象部位的移動量。

4.  如權利要求1至3的任一項所述的手勢識別裝置,其特征在于,
所述姿勢信息包含進行手勢的人物的、與相對于所述攝像部件的俯仰角有關的信息,
所述手勢取得部件基于所述俯仰角來校正已取得的對象部位的垂直方向的移動量。

5.  如權利要求4所述的手勢識別裝置,其特征在于,
與所述俯仰角較小的情況相比,在所述俯仰角較大的情況下,所述手勢取得部件更大地校正已取得的對象部位的移動量。

6.  如權利要求1所述的手勢識別裝置,其特征在于,
所述姿勢信息包含進行手勢的人物的、與相對于所述攝像部件的側傾角有關的信息,
所述手勢取得部件基于所述側傾角來校正已取得的對象部位的移動方 向。

7.  如權利要求6所述的手勢識別裝置,其特征在于,
所述手勢取得部件將已取得的對象部位的移動方向校正為與所述側傾角相反的方向。

8.  如權利要求1所述的手勢識別裝置,其特征在于,
所述對象部位是人的手。

9.  一種手勢識別裝置的控制方法,該手勢識別裝置取得由操作者進行的手勢,生成與該手勢對應的命令,其特征在于,該控制方法包含:
攝像步驟,拍攝進行手勢的人物;
姿勢判定步驟,基于所述拍攝到的圖像,生成表示進行所述手勢的人物在空間內的姿勢的姿勢信息;
手勢取得步驟,從所述拍攝到的圖像取得進行手勢的對象部位的活動,確定手勢;以及
命令生成步驟,生成與所述手勢對應的命令,
在所述手勢取得步驟中,基于所述姿勢信息而校正已取得的對象部位的活動。

說明書

說明書手勢識別裝置以及手勢識別裝置的控制方法
技術領域
本發明涉及識別基于手勢(gesture)的輸入操作的手勢識別裝置。
背景技術
利用手勢對計算機或電子設備進行輸入的裝置顯示出普及的預兆。如果利用手勢則能夠對多功能且操作復雜的設備直觀地進行輸入。此外,即使在手沾濕的情況等不適合直接接觸設備而進行操作的情況下,也能夠操作設備。
手勢的識別通常利用由攝像機拍攝的圖像來進行。在這樣的裝置中,為了準確地識別手勢,需要用戶和攝像機正對并且用戶直立。即,存在如下課題,即用戶不能朝向攝像機以外的方向或者橫臥等自由地改變姿勢。
作為用于解決該課題的發明,例如有專利文獻1記載的手勢識別裝置。在該手勢識別裝置中,以用戶為中心而生成用戶坐標系,通過利用該坐標系來表示用戶的手腳的活動,從而提取不依賴于姿勢的特征量。
[專利文獻1](日本)特開2000-149025號公報
在專利文獻1記載的發明中,能夠掌握三維空間中的用戶的手腳的位置,因而無論用戶擺出什么樣的姿勢,都能夠準確地識別手勢。但是,為了取得三維空間中的位置信息,例如需要如在用戶的手腳上安裝傳感器、或者通過兩臺以上的攝像機來拍攝標記(marker),并基于視差來估計空間內的位置這樣的復雜的處理或結構,導致裝置的成本上升。
發明內容
本發明考慮上述的課題而完成,其目的在于提供一種能夠不受操作者的姿勢的影響而準確地識別手勢的手勢識別裝置。
為了解決上述課題,本發明的手勢識別裝置的結構為,估計操作者在空間內的姿勢,并基于該姿勢來校正已取得的手勢的活動。
具體地說,本發明的手勢識別裝置是,
一種手勢識別裝置,取得由操作者進行的手勢,生成與該手勢對應的命 令,其特征在于,該手勢識別裝置具有:攝像部件,拍攝進行手勢的人物;姿勢判定部件,基于所述拍攝到的圖像,生成表示進行所述手勢的人物在空間內的姿勢的姿勢信息;手勢取得部件,從所述拍攝到的圖像取得進行手勢的對象部位的活動,確定手勢;以及命令生成部件,生成與所述手勢對應的命令,所述手勢取得部件基于所述姿勢信息而校正已取得的對象部位的活動。
攝像部件是拍攝進行手勢的人物的部件,典型的是攝像機。此外,手勢取得部件是從已取得的圖像中取得對象部位的活動,確定手勢的部件。對象部位是用戶進行手勢的部位,典型的是人的手,但也可以是手勢輸入用的標記等。此外,也可以是人體整體。由用戶進行的手勢能夠通過追蹤圖像中的對象部位的位置而識別。另外,手勢取得部件也可以在對象部位的活動的基礎上進一步基于對象部位的形狀來確定手勢。
此外,姿勢判定部件是檢測空間內的用戶的姿勢并生成姿勢信息的部件。姿勢是指相對于攝像部件的朝向,例如能夠由相對于X、Y、Z的各個軸的角度來表示。即,能夠通過姿勢信息來表示用戶相對于攝像部件傾斜了多少,因而能夠估計對象部位相對于攝像部件傾斜了多少。
在本發明的手勢識別裝置中,手勢取得部件基于姿勢信息來校正已取得的對象部位的活動。根據這樣的結構,即使用戶相對于攝像部件沒有正對且直立,也能夠通過移動對象部位而正確地識別用戶表現的距離或方向。
此外,其特征也可以是,所述姿勢信息包含進行手勢的人物的、與相對于所述攝像部件的偏轉角有關的信息,所述手勢取得部件基于所述偏轉角來校正已取得的對象部位的水平方向的移動量,其特征也可以是,與所述偏轉角較小的情況相比,在所述偏轉角較大的情況下,所述手勢取得部件更大地校正已取得的對象部位的移動量。
偏轉角是以上下方向為軸的旋轉角。當用戶相對于攝像部件的偏轉角較大的情況下,從攝像部件看去時,使其在水平方向移動的對象部位的移動距離將被識別為較短。因此,通過基于偏轉角來校正對象部位的水平方向的移動距離,從而能夠正確地識別用戶通過移動對象部位而表現的距離。具體地說,優選在檢測出的偏轉角越大(即,越是相對于攝像部件形成角度)時進行增大移動距離的校正。
此外,其特征也可以是,所述姿勢信息包含進行手勢的人物的、與相對于所述攝像部件的俯仰角有關的信息,所述手勢取得部件基于所述俯仰角來 校正已取得的對象部位的垂直方向的移動量,其特征也可以是,與所述俯仰角較小的情況相比,在所述俯仰角較大的情況下,所述手勢取得部件更大地校正已取得的對象部位的移動量。
俯仰角是以左右方向為軸的旋轉角。在用戶相對于攝像部件的俯仰角大的情況下,從攝像部件看去時,使其在垂直方向移動的對象部位的移動距離將被識別為較短。因此,通過基于俯仰角來校正對象部位的垂直方向的移動距離,從而能夠正確地識別用戶通過移動對象部位而表現的距離。具體地說,優選在檢測出的俯仰角越大(即,越是相對于攝像部件形成角度)時進行增大移動距離的校正。
此外,其特征也可以是,所述姿勢信息包含進行手勢的人物的、與相對于所述攝像部件的側傾角有關的信息,所述手勢取得部件基于所述側傾角來校正已取得的對象部位的移動方向,其特征也可以是,所述手勢取得部件將已取得的對象部位的移動方向校正為與所述側傾角相反的方向。
側傾角是以前后方向為軸的旋轉角。當用戶相對于攝像部件擺出了垂直以外的姿勢的情況下,對象部位的移動方向被偏移而識別。因此,通過基于側傾角來校正對象部位的移動方向,從而能夠正確地識別用戶通過移動對象部位而表現的方向。具體地說,優選將對象部位的移動方向校正為與檢測出的側傾角相反的方向。
此外,其特征也可以是,所述對象部位是人的手。當人通過手來進行手勢的情況下,移動量或移動方向會根據該人物的姿勢而變化,但如果采用本發明的手勢識別裝置,則能夠適當地將其校正。
另外,本發明能夠確定為包含上述部件的至少一部分的手勢識別裝置。此外,也能夠確定為所述手勢識別裝置的控制方法、用于使所述手勢識別裝置動作的程序、記錄了該程序的記錄介質。上述處理或部件只要在技術上不產生矛盾,則能夠自由地組合實施。
根據本發明,可提供一種能夠不受操作者的姿勢的影響而準確地識別手勢的手勢識別裝置。
附圖說明
圖1是第一實施方式的手勢識別系統的結構圖。
圖2(A)~(B)是說明手勢和對應于該手勢的指針的活動的圖。
圖3(A)~(C)是說明用戶的姿勢的圖。
圖4(A)~(B)是詳細地說明用戶的姿勢中偏轉角的圖。
圖5(A)~(B)是詳細地說明用戶的姿勢中俯仰角的圖。
圖6是詳細地說明用戶的姿勢中側傾角的圖。
圖7(A)~(C)是第一實施方式中的校正值表的例子。
圖8是第一實施方式中的校正處理的流程圖。
圖9是第一實施方式中的手勢識別處理的流程圖。
圖10是第二實施方式中的、表示畫面和用戶的關系的圖。
圖11是第二實施方式中的校正值表的例子。
圖12是第三實施方式的手勢識別系統的結構圖。
圖13是第三實施方式中的手勢定義表的例子。
標號說明
100…姿勢識別裝置
101…攝像機
102…部位檢測部
103…姿勢估計部
104…指針控制部
105…手勢校正部
106…命令生成部
200…對象設備
204…手勢識別部
具體實施方式
(第一實施方式)
<系統結構>
參照作為系統結構圖的圖1說明第一實施方式的手勢識別系統的概要。第一實施方式的手勢識別系統是由手勢識別裝置100以及對象設備200構成的系統。
對象設備200是具有未圖示的畫面,且通過在該畫面上顯示的指針而進行輸入操作的設備。對象設備200除了能夠通過鼠標等的指示設備操作指針之外,能夠通過從手勢識別裝置100接收到的信號來移動指針。
此外,手勢識別裝置100是通過攝像機來識別用戶進行的手勢,并且基于識別出的手勢來運算指針的移動目的地,將移動該指針的命令發送到對象設備200的裝置。例如,如果用戶進行圖2(A)那樣的手勢,則用于移動指針的信號從手勢識別裝置100被發送到對象設備200,指針如圖2(B)那樣移動。
另外,對象設備200只要能夠通過有線或者無線從手勢識別裝置100接收信號,則可以是電視機、錄像機、計算機等任何設備。在本實施方式中,假設對象設備200是電視機,手勢識別裝置100是在該電視機中內置的裝置。圖2都是從用戶側看向電視機畫面側的圖。
下面,參照圖1詳細地說明手勢識別裝置100。
手勢識別裝置100具有攝像機101、部位檢測部102、姿勢估計部103、指針控制部104、手勢校正部105、命令生成部106。
攝像機101是從外部取得圖像的部件。在本實施方式中,攝像機101被安裝在電視機畫面的正面上部,拍攝位于電視機的正面的用戶。攝像機101可以是取得RGB圖像的攝像機,也可以是取得灰度圖像或紅外線圖像的攝像機。此外,攝像機101取得的圖像(以下,攝像機圖像)只要能夠取得用戶進行的手勢的活動,則可以是任何圖像。
部位檢測部102是從攝像機101取得的攝像機圖像來檢測進行手勢的人物的面部或身子、手等的身體部位的部件。在實施方式的說明中,將進行手勢的身體部位稱為對象部位。在本實施方式中,對象部位是指進行手勢的人物的手。
姿勢估計部103是基于部位檢測部102檢測出的、進行手勢的人物的面部和身子的位置,估計該人物在三維空間內的姿勢的部件。
具體說明進行估計的姿勢。圖3(A)是從畫面側看向與對象設備200具有的畫面(電視機畫面)正對的用戶的圖。此外,圖3(B)是從上方看向同一用戶的圖。此外,圖3(C)是從側方看向同一用戶的圖。姿勢估計部103取得以Z軸為旋轉軸的旋轉角(側傾角)、以Y軸為旋轉軸的旋轉角(偏轉角)、以X軸為旋轉軸的旋轉角(俯仰角)。關于取得各自的角度的方法在后面敘述。
指針控制部104是基于提取出的手勢來決定指針的移動目的地的部件。具體地說,追蹤部位檢測部102檢測出的對象部位,并基于該對象部位的移 動量以及移動方向,決定指針的移動量以及移動方向。此外在這時,利用后述的手勢校正部105取得的校正值,進行移動方向以及移動量的校正。
手勢校正部105是計算指針控制部104決定指針的移動方向以及移動量時的校正量的部件。關于校正的具體例子在后面敘述。
命令生成部106是生成用于使指針移動到指針控制部104決定的移動目的地的信號,并發送到對象設備200的部件。所生成的信號只要是對對象設備200命令指針的移動的信號,則例如可以是電信號,也可以是通過無線而調制的信號、脈沖調制后的紅外線信號等。
手勢識別裝置100是具有處理器、主存儲裝置、輔助存儲裝置的計算機,在輔助存儲裝置中存儲的程序被載入主存儲裝置,且由處理器執行,從而前述的各部件發揮作用(處理器、主存儲裝置、輔助存儲裝置均未圖示)。
<指針的控制方法>
下面,參照圖4~圖6說明基于提取出的手勢來決定指針的移動目的地的方法。圖4是與圖3同樣地從正面以及上面看向用戶的圖。這里,假設用戶通過右手(手掌)的活動而使指針移動。另外,在以后的說明中,假設“手”是指手掌區域。
首先,說明本實施方式中的第一課題。
圖4(A)是示出了用戶正對畫面且直立的情況的圖。標號401表示右手的可動范圍。另一方面,圖4(B)是示出了用戶以相對于畫面傾斜的狀態直立的情況的圖。該情況下,從攝像機看到的右手的可動范圍如標號402那樣在X方向上變窄。具體地說,當可動范圍的寬度為w的情況下,與用戶朝向正面的情況相比,當用戶斜向θ1度時,可動范圍的寬度w’成為w/cosθ1。另外,本例是包含手的身子整體朝向傾斜方向時的例子,但即使在只有身子斜向,手正對畫面的情況下,通過手臂的可動范圍變窄,從而X方向的可動范圍變得比w要窄。
這里成為問題的點在于,如果不考慮用戶姿勢而單純地基于從圖像檢測出的手的移動量來移動指針,則將無法得到用戶所期望的移動量。即,角度θ1越大,從攝像機看到的右手的可動范圍的寬度就越窄,因而導致如果不是大幅度地活動手則無法得到所期望的移動量。
下面,說明本實施方式的第二課題。
圖5(A)是與圖4(A)同樣地示出了用戶正對畫面且直立的情況的圖。 標號501表示右手的可動范圍。另一方面,圖5(B)是示出了用戶向進深方向(Z方向)躺臥的情況的圖。該情況下,從攝像機看到的右手的可動范圍如標號502那樣在Y方向上變窄。具體地說,當可動范圍的高度為h的情況下,與用戶直立的情況相比,在用戶躺下θ2度時,可動范圍的高度h’成為h/cosθ2。另外,本例是包含手的身體整體躺下時的例子,但即使在只有身子躺下,且只有手立起的情況下,通過手臂的可動范圍變窄,Y方向的可動范圍變得比h還要窄。
這里也產生與前述相同的課題。即,存在角度θ2越大,從攝像機看到的右手的可動范圍的高度越小,因而導致如果不是大幅度地活動手則無法得到所期望的移動量的問題。
下面,說明本實施方式中的第三課題。
圖6是用戶正對畫面的同時左右方向橫躺的狀態的例子。在這樣的情形中成為問題的點在于,即使用戶打算沿著畫面活動手,也會產生若干的角度偏差。在圖6的例子的情況下,產生了θ3度的偏差(標號601)。即,即使用戶打算相對于畫面水平地活動手,指針也會在偏移了θ3度的方向上移動。
為了解決這些課題,在第一實施方式的手勢識別裝置中,取得空間內的用戶的姿勢,并基于該姿勢來校正指針的移動量以及移動方向。
首先,說明部位檢測部102進行的處理。
部位檢測部102首先從已取得的圖像中檢測與人的手對應的區域。從圖像檢測人的手的方法有各種方法,方法不特別限定。例如,可以檢測特征點并通過與預先存儲的模型進行比較而檢測,也可以基于顏色信息來檢測。此外,也可以基于輪廓信息或手指的邊緣信息等而進行檢測。
接著,從已取得的圖像中檢測與人物的身子對應的區域。從圖像檢測人的身子的方法有各種方法,方法不特別限定。例如,可以取得顏色信息并通過區分對應于背景的區域和對應于人物的區域而進行檢測。此外,也可以在檢測出手臂的基礎上,將取得了對應的區域(判斷為與手臂連接的區域)判斷為身子。此外,也可以將身子和面部作為一組來進行檢測。通過先檢測出容易判別的面部,從而能夠提高檢測身子時的精度。檢測在圖像中包含的面部的方法可采用公知的技術,因而省略詳細的說明。
下面,說明姿勢估計部103進行的處理。
姿勢估計部103基于攝像機101取得的圖像、部位檢測部102檢測出的 與人物的手以及身子分別對應的區域,估計進行手勢的人物相對于攝像機的姿勢(偏轉角、俯仰角以及側傾角)。姿勢的估計例如能夠如下進行。
(1)區域的關聯
首先,判定檢測出的手和身子是否屬于同一個人物,并建立關聯。關聯例如能夠利用表示人體的形狀的模型(人體模型)而進行。具體地說,可以以身子為基準,估計肩、兩個肘、兩個手腕、雙手的可動范圍,只有在各自處于自然的位置關系的情況下,才判定為是同一個人物。
除此之外,在檢測完面部的情況下,也可以核對面部和身子、以及面部和手的位置關系,只有在各自處于自然的位置關系的情況下,才判定為是同一個人物。
(2)偏轉角的估計
當手和身子的關聯已成功的情況下,估計該身子相對于攝像機的偏轉角。偏轉角例如能夠通過從已取得的圖像中檢測出人物的面部的朝向而進行估計。此外,也可以在檢測出與手臂對應的區域的基礎上,根據身子和手臂的位置關系而估計角度。此外,也可以根據身子的大小和手的大小的比率來估計手在進深方向的距離,并基于該距離來估計角度。如此,偏轉角能夠基于在圖像中包含的人體的各部位的位置關系以任意的方法進行估計。
(3)俯仰角的估計
當手和身子的關聯已成功的情況下,估計該身子相對于攝像機的俯仰角。俯仰角例如能夠通過從已取得的圖像中檢測出人物的面部的朝向而進行估計。此外,也可以在檢測出與上半身和下半身對應的區域的基礎上,根據它們的尺寸比來估計角度。如此,俯仰角能夠基于在圖像中包含的人體的各部位的位置關系以任意的方法進行估計。
(4)側傾角的估計
接著,估計該身子相對于攝像機的側傾角。側傾角例如能夠通過檢測在圖像中包含的人體的各部位的角度而求出。例如,可以從已取得的圖像中檢測面部或手,并求出從垂直方向的偏移角,在已知面部或手的位置關系的情況下,也可以求軀干的角度。
下面,說明手勢校正部105進行的處理。
圖7所示的三個表是表示了人體相對于攝像機的角度(偏轉角、俯仰角以及側傾角)、與用于校正指針的移動量的值之間的關系的表(以下,校正值 表)的例子。
例如,在圖7(A)所示的例子中,當人體相對于畫面朝向正側面(90度)的情況下,定義為將指針的移動量在X方向上設為1.6倍,在Y方向上設為1.2倍。
此外,在圖7(B)所示的例子中,當人體向上躺臥90度(或者俯臥)的狀態下正對畫面時,定義為將指針的移動量在X方向上設為1.2倍,在Y方向上設為1.6倍。
此外,在圖7(C)所示的例子中,當人體橫向躺臥90度的狀態下正對畫面時,定義為將指針的移動方向校正-20度。
另外,移動量以及移動方向的校正值也可以存儲預先通過運算而求出的值,但在根據身子的朝向改變而手的可動范圍如何變化上存在個體差異,因而也可以通過學習來生成或者更新校正值表。
此外,在本例中,以表格形式保持了用于進行校正的值,但只要能夠根據由姿勢估計部103求出的偏轉角、俯仰角以及側傾角而算出校正值,則可以利用任何方法。例如,也可以存儲算式并每次計算校正值。
指針控制部104利用如上那樣決定的校正值,校正指針的移動量以及移動方向。例如,當與X方向對應的校正值為1.6,與Y方向對應的校正值為1.2的情況下,在基于對象部位的活動而取得的指針的移動量中,將X方向的分量設為1.6倍,將Y方向的分量設為1.2倍。此外,當有關角度的校正值為-20度的情況下,使指針的移動方向旋轉-20度。
校正后的值被發送到命令生成部106,進行指針在畫面上的移動。
<處理流程>
下面,說明用于實現以上說明的功能的處理流程圖。
圖8是估計進行手勢的人物的姿勢的處理的流程圖。該處理在手勢識別裝置100的電源被接通的期間以預定的間隔重復被執行。另外,也可以只在手勢識別裝置100通過圖像識別以及其他的方法而識別出用戶的存在的情況下執行。
首先,攝像機101取得攝像機圖像(步驟S11)。在本步驟中,利用在電視機畫面的正面上部所具備的攝像機來取得RGB彩色圖像。
接著,部位檢測部102從已取得的攝像機圖像中嘗試手的檢測(步驟S12)。手的檢測例如能夠通過圖案匹配等而進行。當所估計的手的形狀有多 個的情況下,可以利用多個圖像模板來進行匹配。這里,在未檢測出手的情況下,在步驟S13中等待預定的時間之后轉移到步驟S11,并重復同樣的處理。在檢測出手的情況下,轉移到步驟S14。
在步驟S14中,部位檢測部102從已取得的攝像機圖像中嘗試檢測人的身子。這里,在未檢測出身子的情況下,在等待步驟S15的時間之后轉移到步驟S11,并重復同樣的處理。在檢測出身子的情況下,轉移到步驟S16。
接著,在步驟S16中,姿勢估計部103嘗試檢測出的手和身子的關聯。關聯例如可以在檢測出面部的基礎上以面部為基準而進行,也可以單純通過圖像分析來確認身子和手是否相連從而進行。
接著,在步驟S17中,姿勢估計部103通過前述的方法來求出進行手勢的人物的身子的朝向(相對于攝像機的偏轉角、俯仰角以及側傾角)。身子的朝向只要能夠基于可從圖像取得的身子部位的信息或位置關系來求出,則取得方法不限。
圖9是識別由用戶進行的手勢并且使在畫面上顯示的指針移動的處理的流程圖。該處理與圖8所示的處理同時開始,并周期性地執行。
首先,攝像機101取得攝像機圖像(步驟S21)。另外,攝像機圖像也可以利用在步驟S11中取得的圖像。
接著,在步驟S22中,手勢校正部105從姿勢估計部103取得在步驟S17中取得的偏轉角、俯仰角以及側傾角,在參照校正值表的基礎上取得對應的校正值。
步驟S23是指針控制部104決定指針的移動量和移動方向的步驟。具體地說,從已取得的圖像中檢測手,在提取出在手中包含的特征點的基礎上追蹤該特征點,從而決定移動量和移動方向。
接著,將已決定的移動量以及移動方向通過在步驟S22中取得的校正值來進行校正(步驟S24)。并且,將校正后的移動方向和移動量發送到命令生成部106(步驟S25)。其結果,通過命令生成部106生成的命令,指針在對象設備200的畫面上移動。
如以上說明的那樣,第一實施方式的手勢識別裝置基于以電視機畫面為基準的用戶的朝向,校正使指針移動時的移動量以及移動方向。由此,即使在進行手勢的人物相對于畫面沒有正對的情況下,也能夠使指針移動用戶所期望的量。此外,即使在進行手勢的人物沒有直立的情況下,也能夠使指針 向期望的方向移動。
(第二實施方式)
在第一實施方式中說明了顯示指針的電視機畫面和拍攝用戶的攝像機朝向同一方向的情況。相對于此,第二實施方式是拍攝用戶的攝像機被設置為朝向與畫面不同的方向的實施方式。第二實施方式的手勢識別系統的結構除了以下說明的點之外與第一實施方式相同。
在第二實施方式的手勢識別系統中,攝像機101沒有被配置在與電視機畫面相同的位置上,而配置在如圖10那樣旋轉了角度θ4的位置上。即,攝像機101拍攝的圖像始終成為用戶順時針旋轉了θ4的狀態的畫面。不過,即使是該狀態,也能夠與第一實施方式同樣地,校正指針的移動量以及移動方向。但是,在用戶和攝像機的距離不同于畫面和用戶的距離的情況下,有時會導致錯誤地識別指針的移動距離。
在第二實施方式中,為了應對這一情況,利用考慮了攝像機的配置位置的校正值來校正指針的移動量以及移動方向。
圖11是第二實施方式中的校正值表的例子。在第二實施方式中,作為表示攝像機的配置位置的字段而追加了“距離比”和“配置角”。距離比是畫面和用戶的距離與用戶和攝像機的距離之比。此外,配置角是畫面和用戶、以及用戶和攝像機形成的角度。
由于能夠通過這兩個來表示用戶、電視機畫面、攝像機的位置關系,因而通過提供適當的校正值,能夠與第一實施方式同樣地,適當地校正指針的移動量以及移動方向。
(第三實施方式)
第三實施方式不是基于用戶進行的手的活動來移動指針,而是生成與該手的活動對應的命令并發送到對象設備200的實施方式。
圖12表示第三實施方式的手勢識別系統的結構。第三實施方式的手勢識別裝置100與第一實施方式的不同點在于,取代指針控制部104而配置手勢識別部204。
手勢識別部204是追蹤部位檢測部102檢測出的對象部位,并基于該對象部位的移動量以及移動方向而確定手勢的部件。具體地說,在利用手勢校正部105確定的校正值來校正了對象部位的移動量以及移動方向的基礎上,確定對應的手勢。圖13是“對象部位的移動量和移動方向(校正后)”和“手 勢的含義”建立了關聯的表(手勢定義表)的例子。手勢識別部204利用手勢定義表來識別用戶想要表現的手勢,并通過命令生成部106來生成對應的命令。
第三實施方式的手勢識別裝置與第一實施方式同樣地執行圖9所示的處理,但不同點在于,在步驟S25中不是移動指針,而是(1)手勢識別部204基于校正后的對象部位的移動量和移動方向來識別手勢、(2)命令生成部106生成與該手勢對應的命令,并發送到對象設備200。
如以上說明的那樣,根據第三實施方式,能夠提供一種手勢識別裝置,不僅進行指針的移動,還能夠通過區分使用多個手勢而輸入多個命令。
(變形例)
另外,各實施方式的說明是用于說明本發明的例示,本發明能夠在不脫離發明的宗旨的范圍內適當變更或者組合而實施。
例如,拍攝了用戶的圖像不一定要通過攝像機來取得,例如也可以是由距離傳感器生成的、表示距離的分布的圖像(距離圖像)。此外,也可以是距離傳感器和攝像機的組合等。
此外,在實施方式的說明中,假設對象部位為手整體(手掌區域),但對象部位也可以是手指或手臂,也可以是人體整體。此外,也可以是輸入用的標記等。此外,對象部位只要是可動的身體部位則也可以是眼球等。本發明的手勢識別裝置也能夠應用于通過視線來進行手勢輸入的裝置等。此外,也可以在對象部位的活動的基礎上進一步基于對象部位的形狀來識別手勢。
此外,手勢識別裝置取得的對象部位的移動量根據用戶和裝置的距離而改變,因而也可以根據手勢識別裝置和用戶的距離而進一步校正指針的移動量。手勢識別裝置和用戶的距離例如可以基于在圖像中包含的對象部位(或者人物)的尺寸來估計,也可以通過獨立的傳感器來取得。
此外,在各實施方式的說明中,姿勢估計部103估計了用戶相對于攝像裝置的偏轉角、俯仰角以及側傾角,但例如在用戶就坐于車內的情況等能夠估計用戶的姿勢的情況下,也可以省略姿勢的估計處理并利用固定值。

關 鍵 詞:
手勢 識別 裝置 以及 控制 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:手勢識別裝置以及手勢識別裝置的控制方法.pdf
鏈接地址:http://www.wwszu.club/p-6373467.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大