顯示研究人員的任務規劃框架組成部分的圖表。資料來源：Delmerico等人。

在過去的幾十年里，工程師們創造了具有越來越先進的功能和能力的設備。近年來，一種被大幅改進的設備能力被稱為 "空間計算"。

空間計算一詞本質上是指計算機、機器人和其他電子設備 "意識到 "其周圍環境并創建其數字表示的能力。尖端技術，如傳感器和混合現實（MR），可以大大增強空間計算，使復雜的傳感和制圖系統得以創建。

微軟混合現實和人工智能實驗室和蘇黎世聯邦理工學院的研究人員最近開發了一個新的框架，將MR和機器人技術結合起來，以增強空間計算應用。他們在arXiv上預先發表的一篇論文中介紹了這個框架，并在一系列人與機器人互動的系統上進行了實施和測試。

研究人員在他們的論文中寫道："混合現實設備上的空間計算和自我中心感應的結合使它們能夠捕捉和理解人類的行動，并將這些行動轉化為具有空間意義的行動，這為人類和機器人之間的合作提供了令人興奮的新的可能性。"本文介紹了幾個人類-機器人系統，它們利用這些能力來實現新穎的機器人用例：檢查的任務規劃、基于手勢的控制和沉浸式遠程操作。"

用戶對空間網狀結構的看法，用HoloLens拍攝并疊加在真實世界上。資料來源：Delmerico等人。

這個研究小組設計的基于MR和機器人的框架在三個不同的系統上實現，具有不同的功能。值得注意的是，所有這些系統都需要使用HoloLens MR頭顯。

第一個系統被設計用來計劃機器人任務，需要檢查一個給定的環境。基本上，人類用戶戴著HoloLens頭盔在他/她想要檢查的環境中移動，放置全息圖，作為定義機器人軌跡的航點。此外，用戶可以突出顯示其希望機器人收集圖像或數據的特定區域。這些信息經過處理和翻譯，以便隨后可以用來指導機器人在檢查環境時的運動和行動。

研究人員提出的第二個系統是一個界面，允許人類用戶與機器人進行更有效的互動，例如，使用手勢控制機器人的運動。此外，該系統還能實現不同設備的共定位，包括MR耳機、智能手機和機器人。

研究人員寫道："設備的共同定位要求它們各自能夠將自己定位在一個共同的參考坐標系中。通過它們相對于這個共同坐標框架的單獨姿勢，可以計算出定位設備之間的相對轉換，隨后用于實現新的行為和設備之間的協作。”

該團隊創建的第一個系統將HoloLens地圖（上圖）轉換為二維占位網格表示，其坐標框架與網格的坐標框架一致，以便用LiDAR實現機器人定位。資料來源：Delmerico等人。

為了實現設備的共同定位，該團隊引入了一個框架，確保其系統中的所有設備共享它們的相對位置和一個共同的參考地圖。此外，用戶可以使用HoloLens頭顯向機器人發出導航指令，只需執行一系列直觀的手勢。

最后，第三個系統可以實現沉浸式遠程操作，這意味著用戶可以遠程控制機器人，同時查看其周圍的環境。這個系統在機器人需要瀏覽人類無法進入的環境的情況下，可能特別有價值。

研究人員解釋說："我們探索將用戶的行動投射到遠程機器人上，并將機器人的空間感投射到用戶身上。我們考慮了幾個層次的沉浸感，基于觸摸和操縱機器人的模型來控制它，以及更高層次的沉浸感，即成為機器人并將用戶的運動直接映射到機器人上。"

在最初的測試中，Jeffrey Delmerico和他在微軟的同事提出的三個系統取得了非常有希望的結果，突出了使用MR來加強空間計算和人與機器人互動的潛力。在未來，這些系統可以被引入許多不同的場合，讓人類與機器人密切協作，有效地解決更廣泛的復雜的現實世界問題。