鬼佬大哥大
  • / 37
  • 下載費用:30 金幣  

用來對用于手術導航的坐標轉換進行確定的計算機實現技術.pdf

關 鍵 詞:
用來 用于 手術 導航 坐標 轉換 進行 確定 計算機 實現 技術
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201380079051.1

申請日:

20130823

公開號:

CN105658167B

公開日:

20180504

當前法律狀態:

有效性:

有效

法律詳情:
IPC分類號: A61B34/20 主分類號: A61B34/20
申請人: 斯瑞克歐洲控股I公司
發明人: 約亨·布賴薩克爾,讓·斯塔維亞斯基,托比亞斯·賴夫
地址: 美國密歇根州
優先權: EP2013067529W
專利代理機構: 中科專利商標代理有限責任公司 代理人: 唐文靜
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201380079051.1

授權公告號:

法律狀態公告日:

法律狀態類型:

摘要

提供了一種用于確定導航參考坐標系(302)與圖像坐標系(304)之間的轉換的技術,導航參考坐標系用于相對于患者圖像數據來導航手術設備(150),在圖像坐標系中,患者圖像數據定義患者表面的形狀。該技術的計算機實現方法的實現包括:接收多個數據集,其中,所述數據集是從患者表面的不同視角得到的。根據圖片數據集并在導航參考坐標系(302)中確定圖片數據集中可識別的多個特征(170)的特征坐標。根據特征坐標,確定導航參考坐標系(302)中患者表面的形狀模型。然后,應用形狀模型與由患者圖像數據定義的患者表面的形狀之間的表面匹配來確定導航參考坐標系(302)與圖像坐標系(304)之間的轉換(T1)。

權利要求書

1.一種確定導航參考坐標系(302)與圖像坐標系(304)之間的轉換(T1)的計算機實現的方法,所述導航參考坐標系用于相對于患者圖像數據來導航手術設備(150),在所述圖像坐標系中,所述患者圖像數據定義患者表面的形狀,所述方法包括:從第一相機(160)接收(202)多個圖片數據集,所述第一相機(160)在從所述患者表面的不同視角得到所述圖片數據集時能夠相對于所述患者移動,其中,所述第一相機(160)是視頻相機,且所述圖片數據集是通過視頻數據流的形式從所述視頻相機接收的;根據所述圖片數據集并在所述導航參考坐標系(302)中確定(204)所述圖片數據集中能夠識別的多個特征(170)的特征坐標;根據所述特征坐標確定所述導航參考坐標系(302)中所述患者表面的形狀模型;以及使用所述形狀模型與由所述患者圖像數據定義的患者表面的形狀之間的表面匹配來確定(208)所述導航參考坐標系(302)與所述圖像坐標系(304)之間的轉換(T1)。2.根據權利要求1所述的方法,其中:所述第一相機(160)是以下至少之一:手持相機,以及能夠貼附到所述手術設備(150)。3.根據權利要求1所述的方法,其中:將至少一個圖片數據集中能夠識別的特征中的若干特征歸組,以形成特征組,其中,每個特征組能導致位置和定向中的至少一項。4.根據權利要求1所述的方法,其中,使用運動結構SfM技術、同時定位及映射技術SLAM和姿態估計技術中的一項或多項來確定所述特征坐標和所述形狀模型中的至少一項。5.根據權利要求3所述的方法,其中:使用同時定位及映射技術SLAM確定所述特征坐標和所述形狀模型中的至少一項;以及將SLAM應用于所述特征組。6.根據權利要求4所述的方法,其中:SfM從不同的視角構建針對在所述圖片數據集中能夠識別的各個特征的特征跟蹤,且將基于不同視角的三角測量法應用于各個特征跟蹤。7.根據權利要求1所述的方法,其中:由點云表示所述形狀模型。8.根據權利要求1所述的方法,還包括:基于在所述圖片數據集中識別出的特征(170)中的至少一些特征確定所述導航參考坐標系(302)。9.根據權利要求1所述的方法,其中:針對在手術導航期間使用的患者跟蹤設備(320)的一個或多個跟蹤器特征確定所述特征坐標,其中,所述患者跟蹤設備(320)在所述圖片數據集中是能夠至少部分識別的,并相對于所述患者具有固定位置。10.根據權利要求8所述的方法,其中:針對在手術導航期間使用的患者跟蹤設備(320)的一個或多個跟蹤器特征確定所述特征坐標,其中,所述患者跟蹤設備(320)在所述圖片數據集中是能夠至少部分識別的,并相對于所述患者具有固定位置;以及所述跟蹤器特征至少部分地定義所述導航參考坐標系(302)。11.根據權利要求1所述的方法,其中:針對在所述圖片數據集中能夠識別的一個或多個解剖患者特征確定所述特征坐標。12.根據權利要求11所述的方法,還包括:使用與解剖特征有關的通用知識在所述圖片數據集中識別所述一個或多個解剖患者特征。13.根據權利要求11所述的方法,其中:將至少一個圖片數據集中能夠識別的特征中的若干特征歸組,以形成特征組,其中,每個特征組能導致位置和定向中的至少一項;使用同時定位及映射技術SLAM確定所述特征坐標和所述形狀模型中的至少一項;其中將SLAM應用于所述特征組;以及其中至少部分地根據所述解剖患者特征確定所述導航參考坐標系(302)。14.根據權利要求11所述的方法,其中:至少部分地根據所述解剖患者特征確定所述形狀模型。15.根據權利要求1所述的方法,其中:針對涂敷到所述患者并在所述圖片數據集中能夠至少部分地識別的特征塊(330)的一個或多個塊特征確定所述特征坐標。16.根據權利要求15所述的方法,其中:所述方法還包括:基于在所述圖片數據集中識別出的特征(170)中的至少一些特征確定所述導航參考坐標系(302);以及至少部分地根據所述塊特征確定所述導航參考坐標系(302)。17.根據權利要求15所述的方法,其中:所述特征塊(330)貼合到所述患者表面,且至少部分地根據所述塊特征確定所述形狀模型。18.根據權利要求1所述的方法,還包括:根據所述表面匹配導出縮放因子,且還根據所述縮放因子確定所述導航參考坐標系(302)。19.根據權利要求1所述的方法,其中:在所述圖片數據集中能夠識別縮放參考(190)的縮放特征,且還根據從所述縮放特征導出的縮放因子確定所述導航參考坐標系(302)。20.根據權利要求1所述的方法,還包括:在導航期間跟蹤或計算所述手術設備(150)或其一部分相對于所述導航參考坐標系(302)的位置,所述導航參考坐標系(302)是已根據所述特征中的一個或多個特征確定的。21.根據權利要求20所述的方法,其中:至少根據一個或多個患者特征以及在手術導航期間使用的患者跟蹤設備(320)的一個或多個跟蹤器特征執行所述跟蹤或計算,所述患者跟蹤設備(320)不同于涂敷到所述患者的特征塊(330)。22.根據權利要求20所述的方法,還包括:將所述手術設備(150)或其一部分相對于所述患者圖像進行可視化,其中根據所述跟蹤或計算對所述可視化進行適配。23.根據權利要求20所述的方法,其中:從第一相機(160)接收所述圖片數據集,且基于由不同于所述第一相機(160)的第二相機(160A)提供的圖片信息執行所述跟蹤或計算。24.根據權利要求23所述的方法,其中:在手術期間,將第二相機(160A)維持在手術室中的基本固定的位置。25.根據權利要求20所述的方法,其中:從第一相機(160)接收所述圖片數據集,且還基于從所述第一相機(160)接收到的圖片數據集執行所述跟蹤或計算。26.根據權利要求1所述的方法,其中:根據預定編碼方案對在所述圖片數據集中能夠識別的兩個或更多個特征進行編碼,使得在所述圖片數據集中所述特征能夠彼此區分開。27.根據權利要求1所述的方法,還包括:基于模式識別來識別所述圖片數據集中的一個或多個特征。28.根據權利要求1所述的方法,還包括:接收所述患者圖像數據,所述患者圖像數據是在所述圖像坐標系(304)中提供的;以及從所述患者圖像數據提取所述患者表面的形狀。29.根據權利要求28所述的方法,其中:所述患者圖像數據沒有示出任何配準標記。30.根據權利要求28所述的方法,其中:所述患者圖像數據是手術前生成的。31.根據權利要求1所述的方法,其中:在導航前確定所述轉換(T1),且附加地在導航期間一次或多次地確定所述轉換(T1),以驗證或校正導航前確定的所述轉換。32.根據權利要求31所述的方法,其中:基于在導航期間接收到的每個圖片數據集重新確定所述轉換(T1)。33.一種計算機可讀存儲介質,其上存儲有指令,所述指令被計算設備執行時執行權利要求1所述的方法。34.一種用于確定導航參考坐標系(302)與圖像坐標系(304)之間的轉換(T1)的設備(110),所述導航參考坐標系用于相對于患者圖像數據來導航手術設備(150),在所述圖像坐標系中,所述患者圖像數據定義患者表面的形狀,所述設備(110)包括:接口(112),適于:從第一相機(160)接收多個圖片數據集,所述第一相機(160)在從所述患者表面的不同視角得到所述圖片數據集時能夠相對于所述患者移動,其中,所述第一相機(160)是視頻相機,且所述圖片數據集是通過視頻數據流的形式從所述視頻相機接收的;處理器(114),適于:根據所述圖片數據集并在所述導航參考坐標系(302)中確定所述圖片數據集中能夠識別的多個特征(170)的特征坐標;根據所述特征坐標確定所述導航參考坐標系(302)中所述患者表面的形狀模型;以及,使用所述形狀模型與由所述患者圖像數據定義的患者表面的形狀之間的表面匹配來確定所述導航參考坐標系(302)與所述圖像坐標系(304)之間的轉換(T1)。35.一種系統(100),包括:根據權利要求34所述的設備;以及相機(160),能夠相對于患者移動,并被配置為提供圖片數據集。

說明書

技術領域

本公開總體涉及計算機輔助手術。具體地,介紹了用于確定導航參考坐標系與圖像坐標系之間的轉換的技術。所述技術可被實現為方法、計算機程序產品、設備或系統。

背景技術

在過去十年中,在手術導航系統的輔助下執行的手術操作的數目急劇增加.該增加可部分歸因于手術導航系統在使用和構建上已變得較不復雜這一事實.

通常基于在手術之前獲取的或在手術進行時獲取的患者圖像數據(例如,計算機X射線斷層(或CT)掃描)執行手術導航。對于圖像引導的手術而言,手術設備相對于患者的當前位置被重疊在患者圖像上,并且被可視化。該重疊要求相對于圖像坐標系(在該系統中提供患者圖像數據)來配準導航參考坐標系(在該坐標系中跟蹤手術設備與患者之間的相對移動)。從數學的角度而言,該配準涉及計算在導航參考坐標系與圖像坐標系之間的轉換。

在成功配準之后,所導航的手術設備與患者之間的相對移動可被跟蹤,且被可視化。使用被配置為檢測其視野內的一個或多個跟蹤設備的跟蹤相機來執行跟蹤。通常,患者與手術設備二者各自與專用跟蹤設備相關聯。可例如從Stryker公司的專利US 8,457,719 B2得知這樣的導航方案。US 8,457,719 B2公開了各自包括發光二極管(LED)形式的多個分隔開的跟蹤點的工具跟蹤設備和患者跟蹤設備。患者跟蹤設備包括柔性塊(patch),該柔性塊在要貼到患者身上的一側具有粘性層,使得在塊的另一側上提供的跟蹤點貼合于患者表面。

患者跟蹤設備上的跟蹤點和工具跟蹤設備上的跟蹤點是跟蹤相機可檢測的,該跟蹤相機由三個單獨的電荷耦合器件(CCD)相機陣列組成。跟蹤相機被安裝在推車上、手術室墻上或手術室燈上。

為了進行配準,構建要將患者跟蹤設備貼在其上的患者表面的模型。構建表面模型要求通過跟蹤相機定位患者跟蹤設備上的跟蹤點。關于這一點,配準例程指示外科醫生將患者移動一次或多次,直到在跟蹤相機的視野內有足夠的跟蹤點。應該明白,表面模型的質量極大地取決于可精確檢測的跟蹤點的數目。

一旦已根據檢測到的跟蹤點構建了可靠的表面模式,將該表面模型配準到CT掃描形式的患者圖像數據。可使用表面匹配技術來執行該配準。如果可在預定誤差等級內配準掃描出的患者圖像和形狀模型,配準例程確認配準過程成功。配準過程的成功受到表面模型的質量的極大影響。表面模型的質量繼而取決于跟蹤相機精確檢測到的跟蹤點的數目。

還存在這樣的導航方案:僅跟蹤患者,而使用與手術設備和跟蹤相機有關的先驗知識來計算手術設備相對于患者跟蹤設備的位置。關于此,Activiews有限公司的US 2008/0208041 A1教導了具有患者跟蹤設備的手術導航系統,該患者跟蹤設備具有被配置為敷到患者的充分平坦的塊的形式。該塊包括可光學檢測的跟蹤點布置以及與該跟蹤點布置具有已知空間關系的附加的不透無線電的基準布置。通過將在CT掃描中識別出的不透無線電的基準布置與貼附到手術設備的跟蹤相機檢測到的跟蹤點布置進行匹配來完成手術前獲取的CT掃描與患者之間的配準。在手術導航期間,設備上安裝的跟蹤相機對跟蹤點布置進行跟蹤,并基于與手術設備的幾何尺寸、跟蹤點布置的幾何尺寸以及跟蹤相機的成像特性有關的知識來計算手術設備相對于跟蹤點布置的位置。由此,不需要單獨的工具跟蹤設備。

發明內容

本公開的目標是提高配準性能。

根據一個方案,提供給了一種確定導航參考坐標系與圖像坐標系之間的轉換的計算機實現的方法,所述導航參考坐標系用于相對于患者圖像數據來導航手術設備,在所述圖像坐標系中,所述患者圖像數據定義患者表面的形狀。該方法包括接收多個圖片數據集,其中,所述圖片數據集是從所述患者表面的不同視角得到的。該方法還包括:根據所述圖片數據集并在所述導航參考坐標系中確定所述圖片數據集中能夠識別的多個特征的特征坐標,根據所述特征坐標確定所述導航參考坐標系中所述患者表面的形狀模型,以及使用所述形狀模型與由所述患者圖像數據定義的患者表面的形狀之間的表面匹配來確定所述導航參考坐標系與所述圖像坐標系之間的轉換。

可在實際的導航流程之前的配準流程期間執行該方法。應該明白,可對產生的配準進行更新或驗證,使得本文中介紹的方法也可以與導航流程同時實施。

可由計算機設備執行本文中介紹的方法的步驟。用于計算機輔助手術的系統可包含該計算機設備。具體地,使用硬件組件和軟件組件至少之一來執行方法步驟。例如,可由硬件和軟件接口至少之一來執行接收步驟,以及可由耦接到接口的一個或多個處理器(例如,在軟件控制下)執行確定步驟。

可從第一相機接收所述圖片數據集。所述第一相機可以是在取得圖片數據集時可相對于患者移動的。在一個變型中,第一相機是視頻相機。在這樣的情況下,可通過視頻數據流(例如,作為視頻幀)的形式從第一相機接收圖片數據集。第一相機可以是非立體感相機(例如,其可針對給定時間點從單個視角提供單個圖片數據集)。

第一相機可以是手持相機。備選地或附加地,第一相機可以是可貼附到手術設備的。手術設備可以是手持設備。例如,手術設備可采用手術工具的形式,例如,手術指針、手術用針(例如,活體組織穿刺針)或手術動力工具(surgical power tool)。

可對圖片數據集中可識別的特征進行分組,以形成一個或多個特征組。對于各個特征組,可導致位置和定向中的至少一項。可存在與分組有關的先驗知識(例如,關于:在已知特征編碼方案方面,哪個特征定義哪個特征組)。應該注意到,可再次將特征組視為其自身的具有特定特征坐標的特征(例如,特征組中心的特征)。

根據一個實現,使用運動結構(SfM)技術、同時定位及映射(SLAM)技術和姿態估計技術中的一項或多項來確定特征坐標和形狀模型中的至少一項。例如,SLAM可被應用于特征組。例如,SfM從不同的視角構建針對在圖片數據集中可識別的各個特征(不一定是特征組)的特征跟蹤。可將基于不同(相機)視角的三角測量法應用于各個特征跟蹤。三角測量法可有助于在三個維度上(例如,在導航參考坐標系中)重構并可選地優化特征坐標。

可通過位于或定義表面的點云的形式確定形狀模型。點云可包括20個或更多個點(例如,超過30個或更多的點)。可通過特征的(例如,特征關鍵點或特征組中心的)坐標來表示每個點。

一般而言,導航參考坐標系可以是旨在用于(例如,在相對于圖像坐標系進行成功配準之后的)手術期間手術設備的導航的坐標系。例如,導航參考坐標系可以是在其中跟蹤患者跟蹤設備以對手術設備進行導航的坐標系。在一個實現中,可附加地使用專用的工具跟蹤設備在導航參考坐標系中跟蹤手術設備。在另一示例中,可在不使用工具跟蹤設備的情況下在導航參考坐標系中計算手術設備或其一部分的位置。

可基于在圖片數據集中識別出的特征中的至少一些特征確定導航參考坐標系。在一個變型中,(例如,在運行時間期間)選擇識別出的特征中的一些特征來定義導航參考坐標系。在另一變型中,以下先驗知識是可用的:在圖片數據集中識別出的特征中的一些特征被布置為定義(或丈量(span))導航參考坐標系。在該兩個變型中,識別出的特征(例如通過適當的編碼)可以是彼此可區分的,但是不是必須這樣。通過這種方式,可提高該確定的魯棒性。

可針對在手術導航期間使用的患者跟蹤設備的一個或多個跟蹤器特征確定特征坐標,其中,患者跟蹤設備在圖片數據集中是至少部分可識別的,并相對于患者具有固定位置。患者跟蹤設備可采用各種形式,例如頭戴式設備、可貼附到患者表面的剛性或柔性的塊、或可貼附到骨頭的設備。患者跟蹤設備可包括跟蹤器特征布置。在實施本文中介紹的方法時,關于跟蹤器特征布置的幾何性質(例如,各個跟蹤器特征之間的相對位置)和/或布置內的各個跟蹤器特征的(例如,編碼)特性的先驗知識是可用的。

跟蹤器特征可至少部分地定義導航參考坐標系。關于這一點,與如何由跟蹤器特征定義導航參考坐標系有關的先驗知識可以是可用的。該先驗知識可允許根據識別出的跟蹤器特征在空間中的位置和/或其(編碼)特性來確定(例如,構建)導航參考坐標系。在某些實施例中,作為一個或多個跟蹤器特征的替代,或作為一個或多個跟蹤器特征的附加,圖片數據集中可識別的一個或多個其他特征可被用于定義導航參考坐標系。

附加地,或作為備選,可針對在圖片數據集中可識別的一個或多個解剖患者特征(包括皮膚特征)確定特征坐標。應該明白,作為識別跟蹤器特征的附加或替代,可識別一個或多個解剖患者特征的特征坐標。可使用與解剖特征有關的通用知識(例如,關于其所預期的程度、位置和/或形狀)來執行在圖片數據集中識別一個或多個解剖患者特征。

可根據解剖患者特征至少部分地確定導航參考坐標系。關于這一點,可以使用一個或多個識別出的解剖患者特征來丈量導航參考坐標系。可通過解剖患者特征來單獨丈量導航參考坐標系,或通過解剖患者特征與圖片數據集中識別出的其他特征(例如,一個或多個跟蹤器特征)的組合來丈量導航參考坐標系。

在一個變型中,根據解剖患者特征至少部分地確定形狀模型。在這樣的情況下,表面匹配可包括由患者圖像數據定義的患者表面與由識別出的解剖患者特征的相對位置定義的表面之間的匹配。當然,還可根據圖片數據集中可識別的附加或備選特征來確定形狀模型。

在一個實現中,針對涂敷到患者并在圖片數據集中可至少部分地識別的特征塊的一個或多個塊特征確定特征坐標。特征塊可包括襯底,該襯底具有基本平坦的外觀,或備選地,是柔性的,以貼合患者表面。備選地,可簡單地將特征塊畫在患者的皮膚上,并因此特征塊將會貼合患者表面。可根據塊特征至少部分地確定形狀模型。還可根據一個或多個塊特征與一個或多個解剖患者特征的組合來確定形狀模型。

一般而言,特征塊可采用涂敷到患者的皮膚遮蔽物的形式。皮膚遮蔽物可具有以下形式(或外部輪廓):被剪裁成皮膚遮蔽物打算涂敷到的患者解剖特征的區域(例如,前額或在顴骨區域中)。通過這種方式,可選擇性地將特征涂敷到特別適合于表面匹配(例如,表示特征的表面)的解剖區域。

此外,可根據塊特征至少部分地確定導航參考坐標系。例如,可根據塊特征單獨確定導航參考坐標系,或根據一個或多個塊特征與圖片數據集中可識別的一個或多個其他特征(例如,一個或多個跟蹤器特征和/或一個或多個解剖患者特征)的組合來確定導航參考坐標系。為了確定導航參考坐標系,可存在與塊特征的相對位置和/或(例如,編碼)特性有關的先驗知識。

導航參考坐標系的確定可基于縮放因子。在一個實現中,可根據表面匹配導出縮放因子。例如,可結合表面匹配使用與患者圖像一起提供的縮放信息來導出針對導航參考坐標系的縮放因子。附加地,或備選地,可利用圖片數據集中可識別的縮放參考的縮放特征來確定針對導航參考坐標系的縮放因子。

一般而言,本文中介紹的技術還包括:在導航期間跟蹤或計算手術設備或其一部分相對于一個或多個特征的位置,所述導航參考坐標系已根據上述一個或多個特征確定。關于這一點,可以將手術設備與跟蹤相機可檢測的工具跟蹤設備相關聯。備選地,可將跟蹤相機安裝到手術設備上,且可計算手術設備或其一部分的位置(例如,基于一方面手術設備或設備部分與另一方面相機之間的幾何關系的先驗知識)。

可至少基于一個或多個解剖患者特征以及患者跟蹤設備的一個或多個(人為)跟蹤器特征中的至少之一來執行跟蹤或計算。總而言之,可為此使用至少四種特征。關于跟蹤器特征,患者跟蹤設備可不同于涂敷到患者的特征塊,具體地,具有柔性襯底的特征塊。

可將手術設備或其一部分相對于患者圖像進行可視化。可根據跟蹤或計算(包括估計)手術設備相對于一個或多個特征的位置來適配這樣的可視化,其中,已根據所述特征中的一個或多個確定了導航參考坐標系。這些特征的坐標在導航參考坐標系中是已知的。

一般而言,可從第一相機接收所述圖片數據集,且可基于由不同于第一相機的第二相機提供的圖片信息執行跟蹤或計算。第一相機可被配置為在取得圖片數據集時可在手術室內相對于患者(例如,自由)移動。在手術期間,可將第二相機維持在手術室中基本固定的位置。例如,可將第二相機安裝在手術室墻上、手術室燈上或基本固定的推車上。

在備選實現中,從第一相機接收用于確定導航參考坐標系與圖像坐標系之間的轉換的圖片數據集,且在導航期間還基于從第一相機接收到的圖片數據集執行跟蹤或計算。

圖片數據集中可識別的特征可采用各種形式。例如,特征可采用三維體或二維項目的形式。識別出的特征可被彼此區分,或可以不是可區分的。在第一情況下,可根據預定編碼方案對在圖片數據集中可識別的兩個或更多個特征進行編碼(或表征),使得所述特征在圖片數據集中能夠彼此區分開。編碼方案可以是顏色方案或更復雜的方案,例如快速響應(QR)代碼類型方案。具體地在后一種情況下,特征也可重疊。

優選地將特征配置為使得它們可以與空間中的單個點(例如,作為導航參考坐標系中的坐標)相關聯或減小到空間中的單個點,而與得到圖片數據集的視角無關。為此,可執行關鍵點估計。然后,可將特征坐標表達為特征關鍵點的坐標,或從多個特征關鍵點導出(例如,在特征組的情況下)特征坐標。

可使用模式識別技術來(例如,基于先驗知識)識別(例如,定位)圖片數據集中一個或多個特征。模式識別技術還使得可將識別出的特征彼此區分。在此處也可使用先驗知識。

在一個實現中,本文中介紹的方法還包括接收被成像的患者的圖像數據。患者圖像數據可被提供為二維或三維的。三維患者圖像也可被稱為圖像體(image volume)。優選地在圖像坐標系中提供圖像數據。

該方法還可包括從圖像數據中提取患者表面的形狀的步驟。關于此,可將圖像數據中包含的患者的預定部分或任意部分用于形狀提取。形狀提取可獲得定義患者表面的點云。

圖像數據可采用各種形式。例如,可將圖像數據提供為超聲波數據,或以CT掃描的形式、磁共振體層攝影術(MRT)掃描的形式或正電子成像術(PET)掃描的形式提供。圖像數據還可定義圖像坐標系。

患者圖像數據可能沒有示出任何配準標記(例如,不透無線電的基準布置(fiducials))。換言之,在某些變型中,可使用表面匹配來消除對于在圖像數據獲取之前將配準標記與患者相關聯的需要。患者圖像數據可以手術前生成。備選地,或附加地,可使用在手術期間提供的圖像數據。

可在導航之前確定配準轉換。此外,在導航期間該轉換可被重新確定或被調整一次或多次(例如,以驗證或校正導航之前確定的轉換。)。通過這種方式,可將配準重復一次或多次,以增加導航精確度。在一個實現中,基于在導航期間接收到的每個圖片數據集來重新確定轉換。關于這一點,可執行過濾方案.例如,可根據預定數目的圖片數據集確定轉換,該預定數目的圖片數據集始終包括在導航期間接收到的最新的圖片數據集。

還提供了一種包括程序代碼部分的計算機程序產品,當由計算設備上執行計算機程序產品時,程序代碼部分執行本文中公開的方法和方法方案任一者的步驟。計算機程序產品可以存儲在計算機可讀記錄介質上,例如硬盤、CD-ROM、DVD或半導體存儲器。此外,可以提供計算機程序產品,以經由網絡連接下載。

根據另一方案,提供給了一種用于確定導航參考坐標系與圖像坐標系之間的轉換的設備,所述導航參考坐標系用于相對于患者圖像數據來導航手術設備,在所述圖像坐標系中,所述患者圖像數據定義患者表面的形狀。該設備包括:適于接收接收多個圖片數據集的接口,其中,所述圖片數據集是從患者表面的不同視角得到的。該設備還包括處理器,所述處理器適于:根據所述圖片數據集并在所述導航參考坐標系中確定所述圖片數據集中能夠識別的多個特征的特征坐標;根據所述特征坐標確定所述導航參考坐標系中所述患者表面的形狀模型;以及使用所述形狀模型與由所述患者圖像數據定義的患者表面的形狀之間的表面匹配來確定所述導航參考坐標系與所述圖像坐標系之間的轉換。

此外提供了用于計算機輔助手術的系統。該系統包括本文中介紹的設備和相機。相機可被配置為可相對于患者移動,并被配置為提供圖片數據集。

附圖說明

結合附圖,根據以下對示例性實施例的描述,本公開的其他方面、細節和優點將變得顯而易見,在附圖中:

圖1A示意性地示出了計算機輔助手術系統的實施例,該計算機輔助手術系統能夠確定導航參考坐標系和圖像坐標系之間的轉換;

圖1B是解釋在圖1A的系統實施例中可用的各種特征實施例的樹形圖;

圖2是示出本文中介紹的技術的方法實施例的流程圖;

圖3示意性地示出使用圖1A的系統實施例的配準和導航場景;

圖4A、圖4B示意性地示出可結合圖3的場景使用的患者跟蹤設備的特征塊和表面;

圖4C-4E示意性地示出了特征關鍵點和可跟蹤特征組的概念;

圖5A-8B示出使用圖1A的系統實施例的配準和導航場景的其他實施例;

具體實施方式

在下文示例性實施例的描述中,為了解釋性而不是限制性的目的,為了提供對本文示出的技術的全面理解,闡述了具體細節(例如具體方法、功能和流程)。對本領域技術人員顯而易見的是,可以在脫離這些具體細節的其它實施例中實踐該技術。例如,雖然將主要基于與ENT(耳鼻喉)手術和神經外科有關的配準和導航場景來描述以下的實施例,將會顯而易見的是,本文中介紹的技術也可關于患者身體的其他區域(例如,脊柱手術)來實現。

此外,本領域技術人員將意識到:本文解釋的方法、功能和步驟可以使用軟件功能結合編程微處理器、專用集成電路(ASIC)、數字信號處理器(DSP)或通用計算機來實現。還將意識到的是,雖然將主要在方法、系統和設備的上下文下描述以下的實施例,本公開也可體現在計算機程序產品中,該計算機程序產品可被加載,以在包括一個或多個處理器以及擔當存儲設備的一個或多個存儲器的計算設備或分布式計算系統上運行,其中,該一個或多個存儲器被配置為存儲控制該一個或多個處理器執行本文中公開的方法、功能和步驟的一個或多個計算機程序。

圖1A示出了用于計算機輔助手術的系統100的實施例。如圖1A中所示,系統100包括計算設備110(例如,個人計算機、平板計算機或膝上型計算機)、顯示設備120(例如,觸摸屏或計算機監視器)以及外部存儲設備130(例如,在其中提供數據庫或其他數據系統的硬盤或半導體存儲器)。系統100還包括被配置為獲得患者區域的二維或三維圖像數據的成像設備140。一般而言,成像設備140可以是可免持操作的設備、機械引導的設備或完全固定的設備。例如,成像設備140可以是CT設備、MRT設備、PET設備或超聲波設備。成像設備140被配置為根據醫療數字成像和通信(DICOM)格式或任何其他患者圖像格式向計算設備110提供患者圖像數據(例如,通過諸如CD-ROM或者無線或有線鏈路的數據載體)。備選地,計算設備110或與其不同的計算設備可被配置為根據任何患者圖像格式對成像設備140獲取的患者圖像數據進行格式化。

系統100還可包括用于生成(或觸發生成)用戶交互信號的至少一個用戶可操作輸入設備,例如一個或多個按鈕、鍵盤、鼠標或軌跡球(未示出)。用戶交互信號可控制系統100的操作。輸入設備和顯示設備12(可以集成到觸摸屏中。觸摸屏繼而可以是平板計算機的一部分。

系統100還包括在手術流程中使用的手術設備150(例如,手術工具)。如本文中所理解的,患者的診斷和治療處理也被認為構成手術流程。手術設備150可包括輸入設備(例如,一個或多個按鈕的形式)。

手術設備150可以是免持操作設備或被引導的設備。在后一情況下,手術設備150可由手術機器人(例如,全自動地或半自動地)操作。在其他變型中,可出現由外科醫生約束手術設備150的移動的機械引導。在以下實施例中的一些實施例中,手術設備150被配置為活體組織穿刺針,或被配置在內窺鏡上。

顯示設備120被配置為使患者圖像數據可視化。在手術流程之前或在手術流程期間已由成像設備140獲得患者圖像數據。顯示設備120還被配置為將用于相對于患者對手術設備150進行導航的計算機輔助引導可視化。這種可視化可包括將手術設備150或其一部分的當前位置(可選地,包括定向)重疊在根據圖像數據導出的患者圖像上。應該注意到,可通過聲學或觸覺反饋來附加地或備選地提供這樣的引導。

如圖1A中所示,系統100還包括至少一個相機160以及定義特征集170的多個特征。相機160被配置為從兩個或更多不同的視角獲取患者的圖片數據集,使得每個圖片數據集至少包括特征集170的至少一些特征。相機160可以是被配置為在獲得圖片數據集時可相對于患者自由移動的手持相機。例如,可將相機160實現為能夠提供連續視頻數據流(例如,作為視頻幀)形式的圖片數據集的視頻相機。

在一個變型中,相機160被剛性地安裝到手術設備150,使得相機160可與手術設備150一起移動。在另一變型中,可獨立于手術設備150來操作相機160。在這樣的變型中,可將相機160并入智能電話、平板計算機或任何其他移動用戶設備中。

可選地,可提供至少一個其他相機160A。在一個實現中,將該其他相機160A剛性地安裝到手術設備150,以用于手術導航期間的跟蹤(例如,如US 2008/0208041 A1中所描述的),而可結合如本文中所述地確定坐標系轉換的配準流程,獨立于手術設備150來操縱另一相機160。在另一實現中,相機160被剛性地安裝到手術設備150,并用于配準目的和導航(即,跟蹤)目的二者。在另一實現中,相機160、160A二者都被安裝到手術設備150,其中相機160用于配準目的,而相機160A用于受引導導航目的。在又一實現中,相機160A用于手術導航期間的跟蹤,并貼附到手術室墻上、手術室燈上或推車上(圖1A中未示出)。推車可被配置為運輸至少計算設備110以及顯示設備120。

在被安裝到手術設備150時,相機160、160A中的任一個可具有包括手術設備150所針對的患者表面的視野。例如,在手術設備150使用指向患者的縱軸時,視野可沿著手術設備150的縱軸延伸。

特征集170包括至少在相機160(且可選地,相機160A)獲得的圖片數據集中可識別的多個特征。出于識別目的,可由計算設備110提供模式識別能力。關于此,系統100可具有或可不具有對要檢測的特征的布置、編碼或其他特性的先驗知識。特征中的一個或多個可以是有源標記(例如,要被相機160檢測到的發射輻射)。此外,或在備選中,特征中的一個或多個可以是無源標記.無源標記可具有反射或非反射性質。可在任何剛性(例如,平坦的)或柔性襯底(例如,患者和工具跟蹤設備中任一個)上實現無源標記(例如,通過印刷),或可將無源標記涂抹在患者皮膚上。可通過表示特性的解剖學患者特征來實現特征中的一個或多個,該表示特性的解剖學患者特征可包括任何附加標記,但不是必須包括。

圖1B示出了樹形圖示例性特征實現。如圖所示,特征可以是人為特征或解剖學特征。系統100可具有對人為特征(例如,具有所謂校準信息的形式)的先驗知識,或可不具有該知識。該先驗知識可涉及特征編碼方案和特征相對于彼此的位置中的一項或多項。已知先驗的人為特征可例如是在襯底上蓋戳或印刷的無源標記,或備選地是有源標記(圖1B中未示出)。可通過在患者皮膚上隨機涂抹來實現未知先驗的人為特征。

關于解剖學特征,系統100一般將不具有專用的先驗知識,而是可使用通用模型來識別解剖學特征。例如,對于解剖學特征,可提及(通常二維的)皮膚特征,例如斑點、胎記和毛孔。其他(通常三維的)解剖學特征包括例如患者的眼睛或鼻尖。

現在轉到圖1A,計算設備110包括至少一個數據接口112、至少一個處理器114(例如,中央處理單元(CPU))以及內部存儲設備116(例如,用于存儲數據和程序代碼的硬盤或半導體存儲器)。在一個變型中,數據接口112被配置為輸入/輸出接口。一般而言,數據接口112可被用于在一方面的計算設備110與在另一方面的顯示設備120、外部存儲設備130、成像設備140、相機160和160A以及計算機網絡180(例如,局域網(LAN)和/或互聯網)中的一個或多個之間建立有線或無線通信。數據接口112可被實現為一個或多個硬件組件、一個或多個軟件組件或其組合的形式。例如,數據接口可被實現為包括一個或多個通用串行總線(USB)接口。數據接口112可備選地或附加地被實現為用于讀取數據載體(例如,CD-ROM或SD卡)的設備。

內部存儲設備116或外部存儲設備130或其二者可被配置為存儲成像設備140獲得的患者圖像的圖像數據。備選地或附加地,還可經由計算機網絡180接收(例如,下載)這樣的圖像數據。外部存儲設備130可例如至少部分實現在成像設備140中,以由計算設備110讀取。

此外,內部存儲設備116或外部存儲設備130或其二者可被配置為存儲校準數據的各項。這樣的校正數據構建系統100的先驗知識,且下面將更詳細地描述各個校正數據示例。應該明白,系統100的先驗知識可備選地或附加地包括其他信息項。

內部存儲設備116或外部存儲設備130或其二者可附加地被配置為存儲從相機160(且如果存在,從相機160A)接收的圖片數據集。如上所述,可通過視頻數據流的形式接收這些圖片數據集,其被至少臨時地存儲,以由處理器114進行處理。這樣的處理可例如包括模式識別,以識別(例如,定位和可選地解碼)接收到的圖片數據集中的一個或多個特征。

下面,將參考剩余的圖更詳細地討論圖1A中示出的系統100的示例性操作模式。應該注意到,也可以在具有與圖1A中示出的配置不同的配置的系統中實現本文中討論的操作模式。將使用相同的附圖標記來表示相同或相似的組件。

一般操作圖1A的系統100來在手術流程期間提供計算機輔助。計算機輔助可包括計算機輔助引導,計算機輔助引導用于相對于由成像設備140獲取并在顯示設備120上可視化的患者圖像數據來導航手術設備150或其一部分。如前所述,這樣的導航通常要求前置的配準步驟,在該配準步驟中確定一方面的導航參考坐標系和另一方面的圖像坐標系之間的轉換。導航參考坐標系一般可以是患者的身體坐標系或具有相對于患者的固定位置的患者跟蹤設備的跟蹤器坐標系。患者跟蹤設備可例如采用剛性地貼附到患者的跟蹤器特征布置的形式。通常固有地在成像設備140提供的圖像數據集中定義圖像坐標系。

圖2示出了代表計算機實現方法實施例的流程圖200,該計算機實現方法實施例用來確定用于手術設備150的導航的參考坐標系與在其中提供成像設備140獲取的患者圖像數據的圖像坐標系之間的轉換。

如流程圖200中所示,方法實施例包括第一步驟202,在第一步驟202中,計算設備110經由接口112從圖1A中示出的相機160和相機160A之一接收多個圖片數據集。這樣接收到的圖片數據集可至少臨時存儲在內部存儲設備116中,以由處理器114進行處理。如上所述,在相機160、160A中的一個或二者相對于感興趣的患者區域移動時,可通過連續視頻數據流的形式或者不連續地接收圖片數據集。存儲設備116中存儲的圖片數據集因此從患者表面的兩個或更多個不同的視角獲得。

在下面的步驟204中,處理器114處理存儲設備116中的圖片數據集。使用模式識別技術,處理器114首先識別(例如,定位)圖片數據集中的多個特征,并確定其在導航參考坐標系中的坐標(例如,以其關鍵點坐標的形式)。關于此,處理器114還可基于多個識別出的特征來確定導航參考坐標系。處理器114可具有對圖片數據集中丈量(span)導航參考坐標系的具體特征的先驗知識,或可簡單地指定或選擇識別出的特征中的特征以丈量導航參考系統。

在另一步驟206中,處理器114根據特征坐標確定導航參考坐標系中患者表面的形狀模型。可通過由假設位于患者皮膚上的特征的特征坐標所定義的點云來表示形狀模型。定義形狀模型的點云通常可包括30個以上的點,且在某些實施例中可包括幾百個點。

然后,在步驟208中,處理器114確定導航參考坐標系與圖像坐標系之間的轉換(即,轉換參數集)。該轉換是使用表面匹配技術確定的,且是一方面在步驟206中確定的形狀模型(例如,表面點云)與另一方面由成像設備140獲取的患者圖像數據所定義的患者表面的形狀之間的轉換。為此,例如在已經從內部存儲設備116和外部存儲設備130任一個中檢索出患者圖像數據之后,處理器114可在圖2中未示出的之前步驟或并行步驟中從患者圖像數據提取患者表面的形狀。一旦步驟208中已經確定坐標系轉換,可以使用該轉換來相對于導航參考坐標系適當地配準患者圖像數據,在導航參考坐標系中,可跟蹤患者和手術設備150中的一個或其二者,以向對手術設備150進行導航的手術提供圖像引導輔助。

圖3圖形化地示出了步驟208中獲得的轉換,表示為T1。如圖3中所示,轉換T1建立導航參考坐標系302(其也可被稱為患者或跟蹤器坐標系)與圖像坐標系304之間的聯系。圖像坐標系304在該情況下是三維坐標系,在該三維坐標系中給出了患者頭部的手術前獲取的圖像數據或圖像體。

圖3中還示出了具有相關聯的相機坐標系306的手持可自由移動配準相機160以及具有相關聯的設備坐標系308的手持可自由移動手術設備150。如圖3中示出的,具有相關聯相機坐標系310的跟蹤相機160A剛性地貼附到手術設備150。在備選實施例中,可通過基本固定的方式將跟蹤相機160A安裝在手術室內。在這樣的實施例中,可將單獨的工具跟蹤設備(未示出)剛性地貼附到手術設備150。

以上參考圖2討論的配準步驟202至208基于配準相機160獲取的圖像數據集。另一方面,(初始)配準流程之后的導航流程基于從跟蹤相機160A接收的圖片數據集。如上所述,在備選實施例中,配準相機160也可以與跟蹤相機160A一起或替代跟蹤相機160A貼附到手術設備150。在后一情況下,配準相機160也可用于導航(即,跟蹤)。

圖3中還示出了,通過設備坐標系308與相機坐標系310之間的第二轉換T2的轉換參數定義跟蹤相機160A(或在備選實施例中,相機160)與手術設備150(例如,其頂端)之間的位置關系。可以在制造期間(例如,針對手術設備150和相應相機160/160A之一或其二者的工廠校準步驟中)或緊接在手術流程之前(例如,使用用于對任何手術設備150進行通用適配的就地校準),已經由校準過程導出對應的轉換參數。

可將第二轉換T2的轉換參數存儲為校準數據(例如,存儲在圖1A中示出的計算設備110的內部存儲設備116中或相應相機160、160A的內部存儲設備中),以在導航期間使用。這樣的校準數據還可描述相機160與其相關聯的圖像坐標系之間以及相機160A與其相關聯的圖像坐標系之間的其他轉換的轉換參數。可被同樣存儲在內部存儲設備116中的對應轉換參數可以定義相應相機160、160A的投影模型。該投影模型可被用于確定相應相機160、160A相對于在由該相應相機160、160A提供的圖片數據集中識別出的一個或多個特征的位置(關于這一點,例如參見US 2008/0208041 A1)。例如,可結合圖2中示出的步驟204并可選地結合基于跟蹤相機160A提供的圖片數據集對手術設備150導航,將投影模型用于配準。

可由相應相機制造商或由系統100的分銷商提供具體投影模型底層的轉換參數。也可利用就地的校準固定裝置對其進行估計,或針對具體相機類型進行標準化。在某些實現中,可經由適合的接口由相應相機160、160A自已提供轉換參數(例如,取決于當前選擇的縮放等級實時地提供)。

在例如圖1A的計算設備110的內部存儲設備116中提供來作為校準數據的還有與圖3中示出的特征集170有關的信息。這樣的信息可包括特征相對位置和/或任何所應用的特征編碼方案。基于(例如,相關聯的相機坐標系中)相機160、160A中任一個所拍攝的圖像中的已知特征相對位置和(投影)特征相對位置,可通過從對應的圖像坐標系向在其中提供特征坐標的任何參考系統(例如,導航參考坐標系302)的透視后向投影(perspective back-projection)來(例如,實時地)確定另一轉換的轉換參數。在圖3中,分別通過針對相機160和160A的第三轉換T3和T3A對此進行指示。

通過針對每個單個的特征j求解以下的等式系統,計算針對相機160的第三轉換T3的轉換參數:

Mj,160=T4·T3-1·Mj,cal,

其中,Mj,160是相機160的圖片數據集的圖片中具有相對于其圖像坐標系的坐標的圖像化特征j(例如,視頻幀),Mj,cal被作為校準數據提供,并指示具有相對于導航參考坐標系302的坐標的特征j(的關鍵點),以及第四轉換T4指定相機160和與其所相關聯的圖像坐標系之間的轉換參數。

通過類似的方式,可針對跟蹤相機160A計算轉換T3的轉換參數。應該注意到,上述的透視后向投影有時也被稱為相機姿態估計,或結合相機姿態估計來執行。

在圖3中示出的示例性場景中,以兩個特征子集的形式提供特征集170,其中,第一特征子集與患者跟蹤設備320相關聯,且第二特征子集與特征塊330相關聯。附加地或備選地,可通過解剖學患者特征的形式提供第二特征子集。在圖3中,通過黑點來用符號表示單個特征。當然,也可通過將任意的或良好塊的圖樣涂抹在患者的皮膚上來將特征塊330一般化。

圖4A示出了圖3的特征塊330的實施例,特征塊330是在其上包括了多個編碼特征的多部分皮膚遮蔽物的形式。圖4B示出了圖3的患者跟蹤設備320的二維(即,平坦)表面。

參考圖4A,定義特征塊330的皮膚遮蔽物包括柔性襯底,在柔性襯底面向患者的一側具有粘合物,且在柔性襯底上具有定義魯棒的光學可視特征的印刷表面。每個特征具有二維擴展,在本實施例中,該二維擴展包括唯一的擴展QR型編碼(其允許各個特征的交疊)。

在圖4A中,單個擴展特征在圖形上被示出為位于白環之內,其中,環的中心定義了特征關鍵點。一般而言,每個擴展特征可定義這樣的一個特定關鍵點(或中心),該特定關鍵點指示特征的位置(或坐標)。在計算機的視角中,術語“特征”也被稱為對周圍(即,特征擴展的)關鍵點的描述。

圖4C示意性地示出環的示例形式中擴展特征的關鍵點概念。應該明白,該關鍵點概念可被容易地擴展為圖4A的特征類型。

還應該注意到,圖4A中的白環僅被用于示意的目的,且在實際的特征塊330中沒有出現。還將意識到的是,在備選實施例中,可通過其他方式定義并編碼各個特征。作為示例,可以使用彩色編碼環或點。

如前所述,圖4A中示出的特征塊330的襯底是柔性的,使得可貼合患者的表面,特征塊330通過其粘合層涂敷到患者表面。在某些實現中,可將特征塊330上的各個特征分組到小的區域中,可假設該小的區域形成平的(即,平坦的)表面,而不受任何表面彎曲的影響。

可將各個特征的相對位置以及其編碼方案(其使得可區分各個特征)存儲為校準數據(即,可以是先驗已知的)。此外,還可將各個特征(或特征關鍵點)與患者皮膚的距離(即,特征塊330的厚度)存儲為校準數據。

圖4B示出了圖3的患者跟蹤設備320的二維(即,平坦)表面。在本實施例中,患者跟蹤設備320被配置為要坐落在患者鼻子上的頭戴式設備。患者跟蹤設備320將會被剛性地貼附到患者,使得其將與患者一起移動。通過這種方式,患者跟蹤設備320可檢測任何患者移動,在用于跟蹤或計算(包括估計)導航參考坐標系302中手術設備150或配準相機160相對于患者的位置的導航期間,這將會是特別需要的。

在本實施例中,由在圖4B的患者跟蹤設備的二維表面上提供的特征(以黑白區域組合的形式)來定義(或丈量)導航參考坐標系302。這意味著一旦在從相機160、160A中任一個接收到的圖片數據集中識別出并可選地解碼患者跟蹤設備320的表面上定義的跟蹤器特征,可確定導航參考坐標系302以及這些特征在坐標系302內的坐標。如果特征塊330的特征在導航參考坐標系302內是已知的,也可以將其用于該計算。

一般而言,以上與圖4A中示出的特征塊330的特征有關的陳述同樣適用于圖4B的患者跟蹤設備320的特征。例如,圖1A的系統100同樣也將具有與在患者跟蹤設備320上提供的特征的相對位置和編碼有關的先驗知識(校準數據的形式)。

下面將描述確定導航參考坐標系302與圖像坐標系304之間的轉換的其他實施例。這些具有將會更加詳細地討論的某些修改的實施例從圖3中示出的一般性場景中導出。將會看到,可在成像設備140獲得圖像數據時不需要將不透無線電的基準布置或其他任何標記貼附到患者的情況下確定坐標系轉換T1。

在準備下面的實施例時,將討論特征組(也稱為“迷你跟蹤器”)的概念以及某些計算機視角概念,例如姿態估計、SLAM和SfM。

圖4D示出抽象層級的迷你跟蹤器概念。迷你跟蹤器可通過四個(或通常多得多的)特征一組來定義,并可被認為構成其自身的各個特征(即,可以與唯一的三維特征坐標集相關聯)。在圖4D中描繪了四個特征。每個特征具有某些擴展(由環來指示)和編碼(由特定的線型來指示)。該編碼使得可將四個特征彼此區分開。應該明白,可使用圖4A的QR型編碼或圖4B的區域編碼來實現圖4D的抽象迷你跟蹤器概念。

定義迷你跟蹤器的特征組使得可將空間中良好定義的點(以及可選地,定向)與迷你跟蹤器相關聯。這由圖4D中的坐標系示出,其中,坐標系(“迷你跟蹤器坐標系”)的原點指示空間中良好定義的點,且軸示出了定向。在將特征組布置在具有已知形狀的表面上時,可以將坐標系的原點與該表面上的已知點相關聯。特征組的特征(即,其特征關鍵點)在迷你跟蹤器坐標系內描述,或換而言之,迷你跟蹤器坐標系可從構成特征組的特征的關鍵點坐標導出。可使用以上參考圖3討論的姿態估計(透視后向投影)來確定這些關鍵點坐標。應該注意到,不需要在所有的實施例中都確定迷你跟蹤器定向和迷你跟蹤器坐標系。在很多實施例中,將迷你跟蹤器與空間中良好定義的點相關聯便足夠了。

對于圖4A中示出的特征塊示例,可以假設在特征塊330貼合患者表面時將每個特征組布置在局部平坦的表面上(其可能要求將特征彼此靠近布置)。由此,每個迷你跟蹤器都可被解譯為定義已知的表面點(例如,迷你跟蹤器坐標系的原點),且可如圖4E中所示地確定多個迷你跟蹤器/表面點之間的轉換。一般而言,若干表面點之間的轉換定義表面點的相對位置(或坐標)(參見圖2中的步驟204),并因此定義描述所需表面模型的點云(參見圖2中的步驟206)。

在圖4E中,由T11-1·T10來指示兩個示例性表面點之間的三維轉換。構建轉換T10和T11將相應迷你跟蹤器坐標系與相機坐標系(圖3中的附圖標記306)相關聯。在一個實現中,可根據配準相機160從單個視角獲取的單個圖片數據集(例如視頻幀)針對多個迷你跟蹤器計算這種轉換。在實踐中,多次從(從多個視角獲取的)多個圖片數據集導出表面點之間的轉換(T11-1·T10),并在然后將其平均以增加計算的魯棒性。

在一個實施例中,使用SLAM技術(包括姿態估計)來計算表面點相對于相機坐標系306(參見圖3)的轉換T11和T10。如前所述,姿態估計涉及使用后向投影方案(例如,如上參考圖3所述)根據二維圖片確定位置和定向(有時是可選的)。SLAM允許同時定位(即,確定相機位置)和映射(即,表面模型形式的患者表面重構)。

在本實現中,SLAM利用局部平坦的區域(由迷你跟蹤器定義)來對要重構的患者表面進行建模,使得可使用平坦姿態估計來局部地重構患者表面。在某些實施例中,可相對于患者跟蹤設備(例如圖4B的患者跟蹤設備320(即,在圖3的導航參考坐標系302中))來計算(例如,估計)姿態。由點云表示所產生的形狀模型。應該明白,點云的每個點表示單個迷你跟蹤器的(例如,其相關聯的迷你跟蹤器坐標系的原點的)特征坐標。

作為SLAM的備選,可使用姿態估計和SfM技術的組合來導出用于形狀模型的特征坐標(圖2中的步驟204和206)。關于這一點,在配準相機160從不同視角獲取的多個圖片數據集中的每個圖片數據集中,通過二維的方式識別單個特征(例如,特征關鍵點,但不是必須是例如迷你跟蹤器的特征組)。在某些實施例中,可由圖4A的特征塊330提供特征。對于每個圖片數據集,例如相對于圖4B的患者跟蹤設備320來計算相應相機姿態。由此,可能需要區分患者跟蹤設備320上的特征和特征塊330上的特征。

然后,應用SfM以導出三維特征坐標(即,構建患者表面并生成形狀模型)。SfM構造在配準相機160相對于患者移動時針對各個特征的二維特征跟蹤。根據該特征跟蹤,在導航參考坐標系中(例如,患者跟蹤設備320的坐標系302中)導出特征坐標。關于這一點,可針對圖片數據集來利用配準相機160相對于患者跟蹤設備320的姿態,根據該圖片數據集構造特征跟蹤。因此將特征跟蹤用于三維特征坐標系。

可將三角測量法以及可選地束調整應用于三維特征坐標重構和形狀模型生成。在一個變型中,三角測量法針對每個特征跟蹤確定在(例如相對于患者跟蹤設備320的)相機姿態中具有最大角距離的兩個圖片數據集(例如,視頻幀)。然后,從這兩個圖片數據集導出二維特征信息,以得到導航參考坐標系中特征坐標的初始三維重構。然后,將針對所有特征跟蹤的初始重構與很多或所有相關聯的圖片數據集(以及相關聯的相機姿態)一起用于執行束調整。束調整是用于降低反投影(reprojection)誤差的優化流程。此外,在本情況下,由具有三維特征坐標的點云來表示所產生的形狀模型。

應該明白,也可以在沒有相對于患者跟蹤設備的顯式相機姿態估計的情況下執行SfM。在這樣的情況下,可對相應相機姿態進行估計和迭代優化。在Klein等的Parallel Tracking and Mapping for Small AR Workspaces(Proceedings of the 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Real ity,Pages 1 to 10,13-16November 2007)中描述了相關處理。

基于上述對跟蹤器概念、姿態估計、SLAM和SfM的解釋,現在將描述圖5A至圖8B中描繪的更詳細的實施例。

在圖5A至圖5C中示出的實施例中,使用與圖3中類似的設置。這意味著,處于配準目的,將手持相機160相對于患者移動,以從患者表面的不同視角提供圖片數據集。將圖4A中示出的(多部分)特征塊330和具有圖4B中示出的特征圖樣的患者跟蹤設備320二者都被涂敷到患者。因此,可在配準相機160提供的圖片數據集中識別患者跟蹤設備320的特征和特征塊330的特征二者。

圖5B示出了基于圖5A的設置的方法實施例的流程圖500。方法實施例使用姿態估計和圖4C至圖4D中示出的特征組(或迷你跟蹤器)概念,但不要求應用SLAM。

在初始步驟502中,對感興趣的患者區域(即,要手術治療的患者區域)進行手術前掃描或手術中掃描。如上所述,不需要將特定的基準布置或任何其他標記貼附到患者的身體。將所產生的患者圖像數據(通常是體數據集)導入圖1A的計算機設備110。可使用標準防議(例如DICOM)執行該導入。

在下一步驟504中,從圖像數據提取感興趣的患者表面的形狀。所提取的形狀表示可描述患者的感興趣的解剖區域的皮膚表面。在圖5A中示出的示例性實施例中,提取正面的頭部和面部的表面。可使用射線跟蹤技術或任何其他技術(例如,三維圖像分割),由計算設備110或備選計算設備執行該提取。

將會意識到,可在手術前幾天或甚至幾周執行步驟502和504。在某些情況下,還可以在手術治療期間(即,手術治療的同時)執行該兩個步驟。

緊接在手術治療之前,將其上具有編碼特征的皮膚遮蔽物類型的特征塊330貼附到患者的皮膚表面(步驟506)。如上所述,將編碼特征分組,以形成(同樣編碼的)迷你跟蹤器。由于特征塊330面向患者的一側上的粘合物,所貼附的特征塊330將貼合患者表面。

同時,將患者跟蹤設備320貼附到患者(步驟508)。將患者跟蹤設備貼附為使得可以保證其在配準和導航期間將不會相對于患者的身體移動。在圖5A中示出的實施例中,使用攜帶平坦襯底的頭戴式設備,在該平坦襯底上印刷了跟蹤器特征(參見圖4B)。在備選實施例中,可使用頭帶或頭架(headframe),或可將患者跟蹤設備可被粘貼在患者皮膚上。

在步驟510中開始實際的配準流程:在圖1A的計算設備110的內部存儲設備116中記錄從配準相機160接收的視頻數據流,同時相對于患者移動。對應的視頻數據流包括相對于患者表面從不同視角得到連續圖片數據集系列。圖片數據集使得可識別在配準相機160的相應視野內的患者跟蹤設備320和特征塊330二者上的特征。

然后,在步驟512中,針對可在其中識別(例如,檢測)患者跟蹤設備320的至少四個魯棒特征的每個圖片數據集,可在導航參考坐標系302中相對于患者跟蹤設備320在三個維度上確定特征塊330(其也可在該圖片數據集中識別)上每個迷你跟蹤器的位置(例如,使用以上參考圖3時論的姿態估計)。在本情況下,在步驟512中,通過患者跟蹤設備320上的識別出的特征布置來先驗地定義導航參考坐標系302,且也確定導航參考坐標系302。由此,步驟512包括估計患者跟蹤設備320的位置和定向(即,姿態)以及迷你跟蹤器相對于配準相機坐標系306的位置(通過與參考圖3所討論的類似方式)。通過坐標轉換,可以計算迷你跟蹤器關于導航參考坐標系302的位置。

因此,通過處理從配準相機160接收到的視頻數據流,可以采集多個迷你跟蹤器的(即,圖4E中示出的相關聯的表面點的)相對于患者跟蹤設備320(即,在導航參考坐標系302中)的特征坐標,并可選地進行過濾。過濾可包括計算從多個圖片數據集(即,從不同視角得到的圖片數據集)導出的單個迷你跟蹤器的多個計算出的位置的平均值。因此,獲得對特征塊330上相對于導航參考坐標系320的迷你跟蹤器位置(即,特征坐標)進行指示的點云。該點云表示已涂敷了特征塊的患者表面的形狀模型。

可在記錄視頻數據流并向操作配準相機160的用戶提供視覺反饋或其他反饋的同時完成上述計算中的一個或多個。這樣的反饋可包括以下一項或多項:顯示設備120上對配準相機160獲取的視頻數據流的渲染、涉及是否可在圖片數據集中識別患者跟蹤設備320的信息、以及涉及特征塊330的各個特征的狀態的信息(例如,檢測狀態、涉及特征的估計位置的質量信息、等等)。

在步驟512中確定指示特征塊330的特征坐標的點云之后,方法進行到步驟514。在步驟514中,執行表面匹配,將步驟512中導出的導航參考坐標系302中的特征坐標的點云與步驟504中從圖像數據提取的圖像坐標系304中的患者表面進行匹配。可使用迭代最近點(ICP)或任何其他技術來執行表面匹配。步驟514中的匹配結果是針對轉換T1的從導航參考坐標系302(其在本實施例中與患者跟蹤設備坐標系一致)到圖像坐標系304的配準轉換矩陣(即,轉換參數),或反之(參見圖3)。

然后,在步驟516中,且基于配準轉換矩陣,在導航相機160A可識別導航參考坐標系302中已知的至少四個特征(例如,患者跟蹤設備320的特征)時可在患者圖像體數據集中對具有所貼附的跟蹤相機160A的手術設備150進行導航,且可以使用姿態估計技術計算跟蹤相機160A相對于患者跟蹤設備320的姿態。

圖5C示出了用于基于圖5A中示出的設置來確定圖3的坐標系轉換T1的備選方案的流程圖550。步驟552至566基本上對應于以上參考圖5B討論的步驟502至516,且因此將僅對與步驟562的主要區別進行更詳細的討論。這些區別涉及沒有實現迷你跟蹤器概念這一事實。相反使用了具有姿態估計的SfM技術。因此,僅需要識別和處理特征塊330上的各個(編碼)特征。

在步驟562中,使用SfM技術來確定特征塊330的特征的特征坐標。如上所述所,SfM指代根據圖片數據集的二維序列估計三維結構的處理。因此,可以根據配準相機160得到的移動場景的(投影)二維運動域恢復三維表面。關于這一點,(通過例如光流算法)逐圖片數據集地在圖片數據集的序列中跟蹤特征塊330的各個特征。通過針對每個圖片數據集知道(所估計的)相對于患者跟蹤設備320的相機姿態并應用SfM,可以計算導航參考坐標系302(即,患者跟蹤設備坐標系)中識別出的特征的三維坐標。這些計算的結果將是導航參考坐標系302中特征塊330的特征的坐標點云。

在圖6A中,示出了省略專用患者跟蹤設備的備選設置。替代預先貼附到患者的專用患者跟蹤設備(分別參考圖5B和圖5C中的步驟508和558),計算機系統110僅在配準流程期間根據特征塊330的識別出的特征生成患者跟蹤設備。

在圖6B的流程圖600中示出了對應處理步驟。步驟602、604、606、616和618很大程度上分別對應于以上參考圖5B描述的步驟502、504、506、514和516,且因此將不會更詳細地討論。因此,圖6B的方法實施例也使用了迷你跟蹤器概念。

由于沒有將專用患者跟蹤設備貼附到患者,步驟608中記錄的視頻數據流僅指示特征塊330的特征。

在步驟610中,針對每個圖片數據集,估計特征塊330的每個識別出的迷你跟蹤器相對于配準相機坐標系306(參見圖3)的姿態(即,位置和定向)。如上參考圖4D所解釋的,具體迷你跟蹤器的已知位置和定向定義了局部的迷你跟蹤器坐標系。由此,可以(例如在任意迷你跟蹤器的坐標系中)計算從一個識別出的迷你跟蹤器的坐標系到任何其他識別出的迷你跟蹤器的坐標系的轉換。上文參考圖4E對該處理進行了解釋。

在步驟612中,采集并可選地(例如通過形成從不同視角計算的每個迷你跟蹤器的轉換的平均值來)過濾針對各個特征組合在步驟610中計算的轉換。

然后,在步驟614中,根據針對識別出的迷你跟蹤器導出的位置(即,坐標)和/或轉換構造任意坐標系。任意”特征塊”坐標系中的各個識別出的迷你跟蹤器的特征坐標再次地(在該坐標系中)形成點云,該點云表示已涂敷了特征塊330的患者表面的表面模型。此外,可指定識別出的迷你跟蹤器中的多個迷你跟蹤器,以用于手術導航期間(經由跟蹤相機160A)的后續跟蹤。由此,定義任何的特征塊坐標系,以構建導航參考坐標系302,該導航參考坐標系302替換結合圖5A至5C中示出的方法實施例用于相同目的的患者跟蹤設備坐標系。

因此,在步驟618中,迷你跟蹤器已被用于導航期間的跟蹤,以確定導航相機相對于患者(以及手術設備)的位置。該事實解釋了表達迷你“跟蹤器”。將要意識到是,在存在專用患者跟蹤設備的其他實施例(參見例如圖5B)中,不需要將迷你跟蹤器用于導航期間的實際跟蹤。

圖7A示出了與圖6A中示出的設置類似但利用了SfM技術的又一設置。由此,將不根據迷你跟蹤器來確定導航參考坐標系。圖7A還示出補充縮放(scaling)參考190。在使用迷你跟蹤器的其他實施例中,可將與迷你跟蹤器有關的先驗知識用于縮放。

圖7A中的縮放參考190包括具有已知相對距離的縮放特征。例如,縮放參考190可采用其上具有對縮放特征進行定義的規則或不規則圖樣的平坦襯底的形式。縮放特征同樣地是配準相機160提供的圖片數據集中可識別的,且使得可確定針對患者表面的形狀模型的縮放因子。在備選實施例中,可在表面匹配流程期間從與匹配設備140得到的患者圖像數據相關聯的已知縮放因子導出這樣的縮放因子。

圖7B的流程圖700中示出的相關聯方法實施例很大程度上對應于參考圖6B討論的方法實施例。根據一個差異,在步驟708中記錄的視頻數據流中包括(剛性)縮放參考190,該縮放參考190具有至少兩個魯棒的視覺可檢測且可區分的光縮放特征(以及先驗已知的彼此的相對位置)。應該注意到的是,如果需要,可將縮放參考190包括在特征塊330中。此外,不需要將縮放參考190貼附到患者,而是在出于配準目的獲取視頻數據流時,縮放參考190應該具有與患者的固定位置。

與基于姿態估計執行的步驟610相反,在步驟710中,使用SfM來計算識別出(即,檢測到且可選地解碼)的各個特征(并非必須是特征組)的點云.在步驟712中通過縮放因子來縮放點云,縮放因子是通過根據對縮放特征在空間中的相對位置的先驗知識來對在圖片數據集中識別出的縮放參考特征進行縮放而確定的。將意識到的是,在步驟610中利用的姿態估計技術不需要這樣的縮放。在步驟714中,根據特征塊330的至少四個(個體)特征構造患者跟蹤設備和相關聯的坐標系。然后,在步驟718中,將使用該至少四個特征來估計相機姿態,以用于導航目的。

圖8A示出了另一設置,在該另一設置中,除了圖3的患者跟蹤設備320之外,還省略了特征塊330。另一方面,再次提供可選的縮放參考190。圖8B的流程圖800中示出的對應方法實施例部分對應于圖7B的方法實施例。由此,將省略對與步驟702、704、712、714、716和718分別對應的步驟802、804、814、816、818和820的描述。

在步驟806中,將縮放參考190放置在配準相機160的查看方向上(即,視野中)。然后,在步驟808中,利用配準相機160從多個視角(或查看角度)記錄感興趣患者區域(在此是患者臉部)的視頻數據流,使得還可以看到縮放參考190。在另一步驟810中,對解剖患者特征進行識別并可選地分類,以基于檢測到的特征在視頻數據流中進行跟蹤。應用SfM來如上所述地解釋三維點云。

結合步驟810(即,并行地),在步驟812中應用模式識別來識別附加的解剖患者特征(所謂的地標),該附加的解剖患者特征被用來定義預期有解剖患者特征的圖片區域。該方案有助于防止檢測到沒有位于患者表面的特征。將意識到的是,在步驟820中還將會利用解剖患者特征來定義用于手術導航的患者跟蹤設備。由此,不管是專用特征塊還是專用患者跟蹤設備,在圖8A和圖8B中示出的實施例中都不需要。

在圖8A的實現中,步驟810中使用的解剖患者特征可以是個人皮膚特征。這樣的皮膚特征包括在配準相機160獲取的圖片數據集中(經由模式識別)可檢測到的毛孔、斑點和胎記中的一項或多項。應該明白,在其他實現中,可將涂抹在患者皮膚上的圖樣用于與皮膚特征相同的目的。一般而言,這樣的涂抹圖樣可替代任何的上述實施例中的基于襯底的特征塊330。

應該注意到,在圖8A示出的設置中,縮放參考190是可選的。作為備選,可基于患者圖像數據中固有包括的縮放信息來結合表面匹配執行縮放。

從以上實施例將變得顯而易見的是,本公開提供了具有創新性配準方法的手術導航技術。可以低成本地提供導航系統,因為在最簡單的變型中,單個相機(例如,經由接口耦接到計算機設備的網絡相機)便足夠了。配準流程是容易且直觀的,且對于獲取用于手術導航的患者圖像數據而言,不需要任何特別的患者治療。

在上文中,已經示例性地描述了實現本文公開的技術的原理、實施例和各種模式。不應將本發明解釋為限制在本文公開的具體原理、實施例和模式。相反,將要意識到,本領域技術人員可在不背離下面的權利要求中定義的本發明的范圍的情況下做出各種改變和修改。

關于本文
本文標題:用來對用于手術導航的坐標轉換進行確定的計算機實現技術.pdf
鏈接地址:http://www.wwszu.club/p-6717334.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大