**摘要：**對多模態圖像分割建模、手術方案決策、手術空間位姿標定與跟蹤、多模態圖像配準、圖像融合與顯示等多模態圖像引導手術導航的關鍵技術進行總結和分析，提出其進一步發展面臨的挑戰并展望其未來發展趨勢。
**外科手術的發展歷程：**從最初創傷大、疼痛重的開放式手術，逐步發展為超聲、內窺鏡和 X 光等單一模態圖像引導的微創治療。
而今，由于國家精準診療發展的迫切需求，聯合二維圖像與三維圖像的多模態圖像引導手術導航應運而生。
**多模態引導手術導航的優點：**多模態影像引導手術導航具有創傷小、療效好、恢復快、費用低、可重復等優點，可實現微小切口下的良好療效，并降低手術的并發癥，因而成為 21 世紀極具前景的微創治療方法之一，是外科手術發展的必然趨勢，已成為國際精準診療的前沿熱點。
**手術導航系統解決三個關鍵任務：**一是通過路徑規劃，告訴醫生“手術怎么做”；二是通過空間定位，讓醫生知道“病灶在哪里”；三是通過融合顯示，告訴醫生“皮下有什么”

各類影像的成像特點
超聲（US）：因具有非侵入、無輻射、低成本、便攜、實時等特性，成為經皮穿刺手術最常用的術中成像方式之一。然而與 CT 和 MRI 相比，US 的圖像對比度和分辨率相對較低，難以準確分辨微小病灶。
內窺鏡成像因其無創、安全、清晰的術中成像特點，已廣泛應用于臨床醫學領域。內窺鏡可通過口腔、鼻腔、呼吸道、直腸等進入體內，輔助醫生觀察內臟器官的實時狀況，并進行病變切除、活檢等治療操作。然而其成像視野有限，無法顯示組織深度信息，圖像紋理特征弱，易受高光反射影響。
X 光成像是透視投影成像，其基于人體不同組織結構的密度不同，通過 X 光穿透人體后所能接收到的信號強度差異而進行成像，目前已被應用于骨科、介入治療和心血管等手術引導中。然而，X 線透視受深淺組織影像相互重疊和隱藏的影響，通常需要多次多角度拍攝，并且其密度分辨率有限，難以分辨密度差異較小的組織器官和病變。
CT 和 MRI 分別是對骨骼結構和軟組織結構顯像效果最佳的醫學影像，而 CT 具有電離輻射，在術中照射應用時對患者和醫生的損傷較大。MRI 影像掃描時間長，難以實現術中實時成像，且 MRI 在應用于術中引導時需要采用低磁場運動模式，從而降低了圖像質量，限制了導航的精準度。

**

多模態圖像引導手術導航的硬件組成

1. 術中成像的設備：
   C型臂 X 光機、超聲掃描儀和內窺鏡系統。其中基于 X 射線圖像引導的手術導航常應用于肝血管、冠脈等介入治療中，術中需借助 C 型臂對病灶區域進行透視成像。X 射線圖像可實時呈現介入器械的位置及病灶血管的形態，但持續的 X 射線及造影劑的使用將會對患者及醫生造成額外的輻射傷害，且其透視成像的特點造成血管立體空間結構信息缺失，術中對醫生的專業知識、臨床經驗及三維空間想象力要求較高。
   US 成像由于其成像具有非侵入性、實時性、無輻射和低成本等優點，被廣泛應用于肝臟、前列腺、腦部等多個臨床場景中。與此同時，US 圖像灰度值代表聲學阻抗的變化，由明顯的斑點噪聲和各種方向偽影所覆蓋，US 圖像存在圖像信噪比、軟組織對比度和分辨率均較低的問題。臨床上，往往將三維術前圖像的高病變可見性和豐富的空間信息與術中二維超聲圖像的實時成像能力相結合，從而提高器官病變的可識別性和定位精度，目前已被應用于肝臟、顱腦和前列腺等器官腫瘤治療中。圖像融合？
   基于內窺鏡成像的微創手術具有創口小、成像直觀、患者疼痛更小和住院恢復時間更短等特點。在內窺鏡引導的微創手術中，外科醫生僅需要通過自然孔道或單切口置入內窺鏡就可以獲得對病灶較好的觀察。然而，由于內窺鏡成像的對象通常在狹窄空間的軟組織表面，存在較大的均勻區域、鏡面反射和光照不均等問題。此外，由于內窺鏡成像結果為三維結構的二維投影圖像，故丟失三維信息，無法提供有關器官表面下的組織結構信息，因此需借助導航技術引入術區三維先驗，更好地輔助外科醫生進行安全、精準的手術。

2. 跟蹤定位核心部件：
   光學定位系統通過由間隔一定距離的多個攝像機組成的立體視覺圖像采集系統，從不同方位同時獲取目標及其背景的二維圖像，隨后利用特征識別算法提取二維圖像中的目標特征信息，并根據視差原理從二維特征中重建目標的三維坐標。術中，定位標識器被固定在手術器械、成像設備、患者、參考框架等需要被跟蹤的剛性物體上。除了要通過成像設備實時檢測手術區域的情況，同時也需要定位設備來跟蹤設備或者是需要被跟蹤的剛性物體。例如手術器械到了什么位置。

3. 導航執行部件:機械臂
   目前手術導航機器人多采用協作式機械臂，由導航平臺控制，自動控制末端手術器械移動至目標位置，同時在治療過程中始終保持穩定，減少擾動對治療效果的影響，從而提高手術的精確度和安全性。例如在脊椎手術導航中，機械臂能夠在導航系統引導下執行脊柱椎弓根螺釘的精確定位和椎弓根切除等操作。關節手術機器人借助機械臂輔助醫生快速準確截骨、安裝假體。在圖像引導腹腔穿刺治療中，機械臂輔助醫生準確定位穿刺點，穩定精準地執行穿刺操作。依照本人理解，通過成像和定位系統將手術過程中，手術區域周圍的情況和手術器械的位置反饋給醫生，醫生則根據情況來進行手術操作，但不過是醫生在外部操作機械臂，機械臂通過銜接手術器械在病人身體里進行手術操作。

4. 跟蹤定位工具
   手術導航的跟蹤定位工具主要包括定位探針和標定工裝。電磁探針通過在手術器械上剛性固定磁傳感器以跟蹤手術器械的實時位姿。
   疑問：跟蹤定位工具和跟蹤定位核心部件的關系。以及探針是為了跟蹤手術器械的實時位姿嗎？

多模態圖像引導手術導航的關鍵技術

1 多模態圖像分割建模
多模態醫學圖像不同模態間存在較大的物理特性和圖像特征差異，各類組織具有復雜的結構和多樣的特征，且不同組織或器官之間相互交疊、灰度相似，且存在噪聲、偽影等干擾因素。因此，多模態醫學圖像分割技術面臨著諸多難點和挑戰。近年來，圍繞醫學影像分割問題，國內外學者開展了大量研究工作，提出了多種不同分割方法，主要包括閾值分割、匹配濾波、區域增長、圖割、主動輪廓分割等，這些方法不依賴于大量訓練樣本，但當應用場景復雜時，其分割效果較差、分割速度較慢。深度學習作為一種高度非線性擬合算法，可自動從大樣本數據中學習獲得優良的高階特征表達，具有較強的學習和泛化能力，已廣泛應用于多種醫學影像分割任務并成為當前醫學圖像分割領域的主流方法。

2 手術方案決策
手術方案決策用于引導術中手術操作，可通過組織、器官、病灶三維模型位置關系制定手術方案。面向不同術式的術前方案規劃存在較大的差異性，可分為手術路徑規劃和手術方案規劃兩類。
手術路徑規劃：在經皮穿刺治療中，術前路徑規劃用于保障穿刺路徑避開重要組織、器官等，基于最優化數值求解計算最佳穿刺路徑，一般可分為概率計算法和目標函數法。基于概率計算的方法可計算出穿刺針最佳轉折點，但生成路徑不平滑；基于目標函數的方法可生成較為平滑的穿刺路徑，但計算量大、規劃效率低。研究如何快速精準地生成平滑的穿刺路徑仍是目前手術規劃領域亟待解決的關鍵問題之一。
手術方案規劃：以骨科與頜面外科為代表。在骨科手術中，醫生通過術前規劃系統設計骨腫瘤切除保肢重建手術的截骨平面，避開血管、神經、軟組織等重要的解剖結構，并進行個性化模擬假體的植入規劃，計算假體植入后的力學參數。在顱頜面整形和下頜骨重建等頜面外科手術中，手術前須精確測量頜面結構的位置關系，計算截骨位置與植入物放置位置，規劃和模擬最佳手術方案，以保證術后的治療效果兼顧美觀性和功能性。

3 手術空間位姿標定與跟蹤
手術導航系統基于跟蹤定位核心部件追蹤術中手術器械的實時位姿，獲取術前重建模型、術中患者和手術器械間的相對位置關系。該過程包括工具配準和患者配準。工具配準將手術器械坐標系轉換到患者的空間坐標系中；患者配準實現從患者的空間坐標系到CT/MRI 等圖像坐標系的三維剛性變換，從而將手術器械尖端的坐標信息通過一系列坐標系轉換映射到術前圖像坐標系中，進而在圖像坐標系中精確顯示患者與手術器械的實時位置關系。
位姿標定方法根據配準點選取方式不同，可分為基于體外特征的配準和基于體內特征的配準。體外特征是將跟蹤標志物固定在患者體表固定方式包括模具嵌套、立體定向框架、體表粘貼與螺釘植入骨質等，基于體內特征的配準可分為基于標志、面形和圖像的三類配準方法。兩者相比較而言有創侵入式配準方式精度更高但會給患者帶來損傷，無創標志方式因固定不穩導致精度略低。

4 多模態圖像配準
在手術導航中，通過多模態影像配準，實現不同源的組織結構或功能信息互補。配準的實質是尋求多模態醫學影像間坐標變換，使得它們在空間坐標系上對齊統一。圖像配準流程包括：圖像特征提取、特征相似性描述、幾何變換求解。根據維度不同，多模態影像配準可以分為三維-三維（3D-3D）與三維-二維（3D-2D）配準兩類，其中 3D-3D 配準以 CT、MRI、正電子發射斷 層 掃 描（PET）圖 像 間 的 配 準 為 代 表 ，3D-2D 則 以CT/MRI-US 圖像配準為代表。
傳統 3D-3D 在線圖像配準算法在迭代優化最佳變換參數時，易受圖像間較大差異影響，導致出現計算復雜度高、配準精度有限的問題。為此，學者們提出基于深度學習的圖像配準方法，通過網絡訓練，離線學習圖像對之間的線性映射關系或非線性映射關系，彌補傳統方法適應性差和復雜度高的缺陷。目前，基于深度學習的醫學圖像配準主要包括全監督、弱監督和無監督（自監督）學習三類。全監督學習的配準方法需要稠密形變場標簽信息來學習網絡參數。常用的形變標簽包括隨機生成的形變、由傳統配準方法獲得的形變，以及基于模型生成的形變。弱監督學習是指在網絡訓練過程中同時利用圖像間的相似性度量和樣本的標簽信息。無監督學習利用配準后圖像與模板圖像之間的相似性來驅動網絡的學習。
對于 3D-2D 配準，由于術中二維圖像缺乏立體結構信息，與術前三維圖像匹配的目的在于拓展手術視野、定位手術空間，因此 3D-2D 圖像以剛性配準為主，用于求解二維圖像在三維圖像空間中的位置 、姿態。傳統方法中，通過模擬虛擬 X 射線的衰減，從三維X射線衰減圖中得到模擬的X射線數字重建放射圖像。通過優化器最大化數字重建放射和 X 射線圖像之間基于灰度的相似性度量，在小范圍內搜索最優變換參數，實現二維圖像到三維圖像的配準。臨床上常用的二維圖像包括二維投影圖像（數字減影血管造影、數字重建放射圖像）與二維切片圖像（US 圖像）。

5 多源信息融合顯示
多源信息融合顯示是將不同圖像、組織模型、手術方案、跟蹤位姿等多種信息整合在同一坐標系下進行二維或三維顯示，該技術克服了單一數據源在信息呈現上的局限性，輔助醫生進行精準診療。
三維的影像數據和面片數據的渲染是多源信息融合顯示的基礎。影像數據的體渲染（DVR）可實現對不同組織的快速預覽，但是為了突出目標或者其重要部分結構，需要設置多維度的傳遞函數，并調節大量參數。不同于體渲染，面片渲染通過將組織稠密結構化體數據轉換為表面非結構化稀疏的多個面片數據進行顯示，通過調整顏色和透明度可靈活地展示組織拓撲結構，但當存在多個組織面片數據距離較近時，它們透明度的疊加容易出現錯誤進而造成視覺混亂，影響醫生對進深的判斷。在基于增強現實的多模態圖像引導手術導航中，面片和體數據的混合渲染可視化更為常用，因為常需要在同一場景中同時呈現體數據和多個面片數據。其中體數據能夠用于表示軟組織、骨骼和體腔等，經過渲染能夠提高解剖結構周圍環境信息，而面片數據常用于指示重點目標、手術工具等的邊界信息。兩種數據由于交錯的空間關系，會出現相互嵌入的情況，因而導致其渲染結果存在一些干擾和錯誤。

**　多 模 態 圖 像 引 導 手 術 導 航 的 臨 床 應 用**
1 神經外科手術導航：顱腦神經結構復雜、功能重要，神經外科手術操作空間狹小、難度高、風險大，要求術者有較高的手術操作技能和經驗。神經外科技術包括經顱骨介入與經鼻腔介入操作。在經顱骨介入治療中，多模態圖像引導手術導航可基于術前 CT 或 MRI 等三維醫學圖像對病灶進行分割建模，準確規劃頭皮上的開顱切口位置。另外，利用手術導航的術中器械定位跟蹤和圖像配準融合技術可為開顱缺損修復提供精準引導，提高患者預后效果。在經鼻腔介入治療中，針對傳統內鏡引導手術中內鏡圖像缺乏立體感、全局感及存在后端盲區
等缺陷，多模態圖像引導手術導航可將感興趣區域虛擬疊加在鼻內鏡圖像視野中，讓醫生具備“透視眼”，實現對皮下組織結構的實時觀測，提升手術視野的立體感，實現重要組織的預警，從而大幅提升手術的精確性和安全性。
2 顱頜面外科手術導航：顱頜面外科手術局部解剖結構復雜，切口暴露有限，出血、神經損傷和醫源性骨折的現象時有發生，是目前最具挑戰性的手術之一。構建精準的顱頜面外科手術導航系統，術前合理規劃手術路徑，并在術中進行精確的引導定位，可有效減少手術過程中周圍解剖結構不必要的損傷，已成為顱頜面外科手術領域的重要研究方向。
3 骨科手術導航：多模態引導手術導航在骨科領域的應用主要包括關節置換、椎弓根置釘、椎體成形和全椎間盤置換等手術操作。
4 血管介入導航：

未來發展方向分析與展望