觸覺傳感器是機器人系統的重要組成部分，雖然與視覺相比觸覺具有較小的感知面積，但卻可以提供機器人與物體交互過程中更加真實的物理信息。

視覺觸覺傳感是一種分辨率高、成本低的觸覺感知技術，被廣泛應用于分類、抓取、操作等領域中。近期，清華大學深圳國際研究生院丁文伯團隊在多年觸覺傳感器研究的基礎上從信號處理的領域對視觸覺傳感器進行了全面梳理，相關文章以“When Vision Meets Touch: A Contemporary Review for Visuotactile Sensors from the Signal Processing Perspective”為題發表在信號處理領域頂級期刊IEEE Journal of Selected Topics in Signal Processing (J-STSP,中科院1區Top)。

文章第一作者為清華大學博士生李壽杰，通訊作者為清華大學副教授丁文伯，合作者包括了清華大學王子涵博士，新加坡國立大學吳昌盛助理教授，清華大學李翔副教授，倫敦國王學院羅山副教授，北京郵電大學方斌教授，清華大學孫富春教授，清華大學張曉平教授。

雖然之前人們已經對視觸覺傳感器做過梳理，但很少有人討論信號處理方法對視觸覺傳感器的意義。巧妙的硬件設計固然重要，但只有采用合適的信號處理方法，才能充分發揮感知系統的潛力。因此，丁文伯團隊從信號處理方法的角度對視觸覺傳感器進行了全面梳理，并展望了視觸覺傳感器未來可能的研究方向。

觸覺傳感器與光學硬件之間的發展趨勢

隨著人工智能的快速發展，機器人開始被用于執行一些復雜、精細的任務，例如工業裝配、人機協作和外科手術等。要完成這些任務，機器人不僅要獲取致動器與環境之間的接觸力，還要獲取手部終端工具的位置，這在很大程度上依賴于觸覺傳感器的分辨率和精度。為了提高機器人的觸覺感知能力，人們基于不同的原理設計了大量傳感器，例如壓電式、電容式、電感式等。然而，這些傳感器受制于復雜的制造工藝和昂貴的數據采集電路，以低成本高效率的方式實現高分辨率和大規模觸覺感知具有挑戰性，視觸覺感知技術的出現則很好的解決了分辨率與成本之間存在的問題。

硬件設計

硬件是算法的基礎，為了更加全面的展示視觸覺感知技術，研究團隊從硬件設計出發，對當前主流的視觸覺傳感器進行了歸納整理，并從感知皮膚、照明系統、成像系統三個方面分析了不同硬件方案的優點和不足。

感知皮膚是視覺觸覺傳感器的核心部件，它能夠通過與物體接觸時的形變或顏色來獲取物體的力、溫度和紋理等信息。照明系統可以通過特定的光線來增強了傳感器的三維幾何表現力。視覺系統作為信號收集單元，通過光學成像捕捉感知皮膚產生的形變和顏色信息。視覺傳感器的結構決定了其功能。為了滿足不同場景的應用需求，研究人員設計了各種各樣的傳感器，主流視觸覺傳感器簡介如下表：

……完整表格請閱讀原文

信號處理方法

與傳統的電子皮膚不同，視觸覺傳感器獲取的是二維圖像信號，因此通過圖像處理算法可以獲取更加豐富的觸覺信息。在本文中，丁文伯團隊將視觸覺傳感器的信號處理分成了6個方向：Contact area segmentation、3D reconstruction、Force perception、Slip detection、Mapping and localization、Sim2Real，并對每個方向的數據處理方法進行了詳細的分析和介紹：

信號處理相關方向

應用

視觸覺傳感器的應用非常廣泛。結合先進的信號處理算法，視觸覺傳感器依靠其大檢測面積和高分辨率的特點，可以完成許多具有挑戰性的任務，如織物分類、形狀分類、孔內插釘等。為了更加清晰的認識到視觸覺傳感器的應用價值，研究人員從分類、抓取、操作三個角度對視觸覺傳感器的應用方向進行了整理。

從上到下分別是：分類、抓取、操作方向的應用

未來展望

成像以及計算機視覺技術的進步推動了視觸覺傳感器發展，但目前視觸覺傳感器領域還存在一些問題亟待解決。丁文伯團隊從硬件和算法兩個方面對視觸覺傳感器當前存在的問題以及未來可能的研究方向進行了歸納整理，主要的方向包含多模態感知，尺寸優化，柔性革新，靈敏度提升，光場控制，多傳感器融合，閉環控制框架，觸覺重建與定位，標準化與商業化等方向。