觸摸已被證明是對重要的靈巧操控的 機器人。最近，由于其低成本和豐富的信號，GelSight傳感器引起了基于學習的機器人的極大興趣。

基于學習的方法在GelSight傳感器上能很好地工作的原因是，它們可以輸出高分辨率的觸覺圖像，從中可以估算出通常對機器人控制至關重要的各種特征，例如物體的幾何形狀，表面紋理，法向力和剪切力 。觸覺圖像可以輸入到基于CNN的標準計算機視覺管道中，從而可以使用多種不同的基于學習的技術：在Calandra等人中。2017年，在Tian等人的文章中，對以自我監督方式收集的GelSight數據進行了訓練成功分類器的培訓。2019 Visual Foresight，一種基于視頻預測的控制算法用于使機器人完全基于觸覺圖像來滾動模具，并且 Lambeta等。2020年，將基于模型的RL算法應用于使用GelSight圖像進行的手動操作。

不幸的是，由于它的大尺寸以及僅在一側敏感，因此在實際的實際情況下應用GelSight傳感器仍然具有挑戰性。在這里，我們介紹了一種基于GelSight的新型，更緊湊的觸覺傳感器設計，該設計可實現全向感測，即使傳感器 像人的手指一樣在各個側面都靈敏，并說明這如何為感覺運動學習開辟新的可能性。我們通過教一個機器人拾取電插頭并純粹根據觸覺反饋將其插入來證明這一點。

GelSight傳感器

標準的GelSight傳感器（如左下圖所示）使用現成的網絡攝像頭來捕獲硅膠凝膠皮膚變形的高分辨率圖像。凝膠皮膚的內表面用彩色LED照明，為觸覺圖像提供足夠的照明。

GelSight樣式傳感器（左側）與OmniTact傳感器（右側）的比較

現有的GelSight設計是平坦的，敏感區域較小或僅提供低分辨率信號。例如，先前版本的GelSight傳感器可提供高分辨率（400x400像素）圖像，但又大又平坦，僅在一側提供靈敏度，而商用OptoForce 傳感器（最近被OnRobot停產）是彎曲的，但僅提供力讀數作為單個3維力矢量。

OmniTact傳感器

我們的OmniTact傳感器設計旨在解決這些限制。它以緊湊的外形在其曲面上提供了多方向和高分辨率感測。與GelSight相似，OmniTact使用嵌入到硅膠凝膠中的攝像頭來捕獲皮膚的變形，從而提供豐富的信號，從而可以推斷出諸如剪切力和法向力，物體姿態，幾何形狀和材料特性等多種特征。

OmniTact使用多個攝像頭，使其具有高分辨率和多方向功能。傳感器本身可以用作“手指”，并且可以集成到抓手或機械手中。它比以前的GelSight傳感器更緊湊，這可以通過利用內窺鏡中通常使用的微型相機并將硅凝膠直接澆鑄到相機上來實現。