研究背景：日常生活中，健康人依靠手完成對物體的操作。對于手部截肢患者，手部的缺失導致他們難以有效地操作物體，進而影響正常的日常生活。擁有一個能夠實現擬人地自然抓取多種日常物體的五指動力假手是手部截肢患者的夙愿，有助于提高患者自尊心和生活的信心。傳統假肢手多依賴腦機接口（BCI）或肌電信號（EMG）控制，但存在手勢適應性差、意圖識別精度低等問題。盡管視覺系統能增強物體感知，卻難以實現動態擬人化抓握動作。截肢者在使用現有假肢時，常面臨操作不自然、功能受限的困擾，不僅影響日常效率，更可能削弱其心理自信。為此，該團隊提出了一種創新解決方案——基于視覺系統的動力假手，通過動態手勢建模與智能意圖預測，顯著提升了假肢的擬人化水平與實用性。研究內容：該研究由哈爾濱工業大學（深圳）、中國科學院沈陽自動化研究所、南方科技大學等團隊聯合完成，首次實現了假肢手在抓取過程中抓取動作的擬人化。
如圖1所示，智能假手系統架構展示了視覺驅動假手系統的兩大核心模塊，分別為抓取手勢動態建模功能模塊和假肢手控制功能模塊。動態抓握手勢建模模塊（A部分）：通過頭戴攝像頭捕捉健康人手部抓握物體的視覺數據，依次完成物體3D重建、手勢關鍵點提取，并構建手物距離與關節角度的多項式函數，最終形成可擴展的手勢模型庫。假手控制模塊（B部分）：結合實時視覺數據，利用運動軌跡回歸算法預測用戶抓取目標，從模型庫調用對應手勢函數，驅動假手實現擬人化抓握。該設計實現了“視覺感知-意圖預測-動態控制”的全自動化閉環。
圖1智能假肢手系統概述。(A) 上半部分為動態抓取手勢建模模塊工作流程。 (B) 下半部分為假肢手控制模塊工作流程。該團隊以右手假肢為例進行研究。動態抓取手勢建模模塊的數據來源于人右手抓取多種物體。圖2詳細呈現空間幾何手勢映射方法（SG-GM）的流程。物體感知（a部分）：采用YOLOv5檢測目標，結合深度信息重建物體3D點云，并通過背景剔除與聚類分割提取精確幾何特征。手勢解析（b部分）：改進的SRHandNet模型定位手部區域，結合IntagHand算法估計21個關節角度，生成MANO手部網格模型。動態映射（c部分）：將手-物距離序列與關節角度擬合為多項式函數，構建手勢模型庫，確保假手從接近到抓握全程動作連貫擬人。
圖2基于空間幾何的手勢映射方法（SG-GM）流程。人體抓取物體過程中，腕部在空間的運動曲線通常可近似為一條直線。基于該原理，我們提出了MTR-GIE算法。我們將采集
個假肢手腕部的位置。根據這些腕部位置回歸一條空間直線，用于預測假肢手的運動方向，進而實現抓取意圖的估計，圖3揭示了多物體環境下意圖估計算法（MTR-GIE）的數學內核：軌跡回歸：基于假肢手腕的連續空間坐標（紅點），通過最小二乘法擬合出預測運動直線（綠藍平面交線）。空間分割：構建橙色空間分割平面，篩選位于預測軌跡左側且距離最近的物體作為抓取目標。該算法僅依賴頭戴攝像頭數據
圖3 基于運動軌跡回歸的抓取意圖估計算法（MTR-GIE）估計抓取意圖的示意圖。總結與展望本文提出的具有視覺的動力假肢系統具備對自然手勢構建模型的能力，針對新的物體能夠快速的構建手勢。同時，該假肢系統實現了擬人化的手勢控制，能夠適應多物體抓取場景。此外，本文提出的基于運動軌跡回歸的抓取意圖估計算法在假肢運動過程中快速確認抓取目標，大幅度降低了對抓取時間和自然手勢控制的影響。系統在單物體環境下抓取成功率為95.43%，抓取時間為3.07±0.41s，接近于人手正常抓取物體所用時間。假肢手與人手抓取動作的相似度為0.911。在多物體環境下意圖估計準確率為94.35%，抓取成功率為88.75%。本文提出的方法能夠使假肢手快速地實現面向新物體的、擬人的抓取，為探索假肢手控制提供了新的解決途徑和思路。Yansong Xu, Xiaohui Wang, Junlin Li, Xiaoqian Zhang, Feng Li, Qing Gao, Chenglong Fu, and Yuquan Leng, “A Powered Prosthetic Hand with Vision System for Enhancing the Anthropopathic Grasp,” in IEEE Transactions on Neural Systems and Rehabilitation Engineering, doi: 10.1109/TNSRE.2025.3567392.文章鏈接：https://ieeexplore.ieee.org/document/10988884