圖片來源：Pixabay/CC0公共領域

在2022年2月23日發表在《自然-機器智能》上的一篇論文中，馬克斯-普朗克智能系統研究所（MPI-IS）的一個科學家團隊介紹了一種名為 "Insight "的魯棒性軟觸覺傳感器，它使用計算機視覺和深度神經網絡來準確估計物體與傳感器接觸的位置以及施加的力有多大。該研究項目是朝著機器人能夠像人類和動物一樣準確地感受其環境邁出的重要一步。就像它的自然對應物一樣，指尖傳感器非常敏感、堅固，而且分辨率高。

拇指形狀的傳感器是由一個圍繞輕質硬質骨架的軟殼制成的。這個骨架支撐著這個結構，就像骨頭穩定了柔軟的手指組織一樣。外殼由混合了深色但反光的鋁片的彈性體制成，形成了不透明的灰色，防止任何外部光線進入。隱藏在這個手指大小的帽子里的是一個微小的160度魚眼相機，它記錄了彩色的圖像，由一圈LED照亮。

當任何物體接觸到傳感器的外殼時，傳感器內的顏色圖案的外觀就會改變。相機每秒記錄許多次圖像，并將這些數據輸入一個深度神經網絡。該算法可以檢測到每個像素中即使是最小的光線變化。在幾分之一秒的時間內，經過訓練的機器學習模型就能繪制出手指與物體接觸的確切位置，確定力的強度，并指出力的方向。該模型推斷出科學家所稱的力圖。它為三維指尖上的每一個點提供一個力矢量。

MPI-IS的馬克斯-普朗克研究組組長Georg Martius說："我們通過外殼的創新機械設計、內部定制的成像系統、自動數據收集和尖端的深度學習，實現了這種出色的傳感性能，他是自主學習組的負責人。"他的博士生孫煥波補充說："我們獨特的混合結構，即一個軟殼包圍著一個堅硬的骨架，確保了高靈敏度和堅固性。我們的相機可以從一張圖像中檢測到甚至最輕微的表面變形"。事實上，在測試該傳感器時，研究人員意識到它足夠敏感，可以感受到自己相對于重力的方向。

該團隊的第三位成員是MPI-IS觸覺智能部主任凱瑟琳-J-庫琴貝克。她確認，新的傳感器將是有用的。Kuchenbecker說："以前的軟觸覺傳感器只有很小的感應區域，很精致，很難制作，而且往往不能感覺到與皮膚平行的力，而這對于機器人的操作是至關重要的，比如拿著一杯水或沿著桌子滑動一枚硬幣。"

但是這樣的傳感器是如何學習的呢？孫煥波設計了一個測試平臺，生成機器學習模型所需的訓練數據，以了解原始圖像像素的變化與所施加的力之間的相關性。該測試平臺探測了傳感器的整個表面，并將真實的接觸力矢量與傳感器內的攝像機圖像一起記錄下來。通過這種方式，產生了大約20萬個測量值。收集數據花了近三周時間，又花了一天時間來訓練機器學習模型。在這么多不同接觸力的長期實驗中幸存下來，有助于證明Insight的機械設計的穩健性，而用更大的探頭進行的測試顯示了傳感系統的通用性。

拇指形狀的傳感器的另一個特別之處是它擁有一個指甲形狀的區域，其彈性層較薄。這個觸覺窩的設計，甚至可以探測到微小的力和詳細的物體形狀。對于這個超敏感區，科學家們選擇了1.2毫米的彈性體厚度，而不是他們在手指傳感器的其他部分使用的4毫米。

我們在工作中提出的硬件和軟件設計可以轉移到具有不同形狀和精度要求的各種機器人部件。機器學習架構、訓練和推理過程都是通用的，可以應用于許多其他的傳感器設計，"孫煥波總結道。