機器人感知從三維重建的角度進行了研究。本質上，配備攝像頭或激光雷達等傳感器的機器人系統必須重建環境的 3D 模型才能自主導航。

在本例中，我們討論的是 SLAM（同時定位和建圖），這是一種允許對未知環境進行地圖繪制的方法。機器人利用地圖信息來執行路線規劃、避障等任務。

SLAM 的研究始于 20 世紀 80 年代至 90 年代，多年來取得了巨大進步。這個問題已經得到解決，SPARK 實驗室也研究和使用了有效的技術解決方案一段時間。它們是機器人、無人機的基礎，也是虛擬和增強現實觀眾的基礎。

因此，多年來人們進行了大量的研究來了解環境的幾何形狀，以確保機器人能夠四處移動并避開障礙物。

然而，近年來人們認識到（機器人和其他人的）空間感知比幾何問題復雜得多。

機器人的空間感知——麻省理工學院模擬

這在實踐中意味著什么？

我們人類不僅了解障礙的存在，而且當我們環顧四周時，我們能夠賦予周圍一切以意義。在實踐中，我們發現自己面前的東西不僅被解釋為空曠的空間或被障礙物占據，而且我們很好地理解語義，即物體的含義，即使是以非常復雜的方式。例如，我們了解我們周圍人和物體的存在，我們在一個房間里，并且它是建筑物的一部分，因此我們形成了靜態和動態事物的非常復雜的表示。空間感知是一個過程，從感官數據開始，我們可以為我們腦海中清晰的周圍現實建立一個非常復雜的模型。過去十年中最有趣的元素也得益于人工智能的進步，其表現是語義部分變得更加容易理解。

在人工智能出現之前，解決識別和識別物體等任務非常復雜。現在，深度學習模型使我們能夠識別圖像中的像素并將其與某些對象進行匹配。

我們與 Kimera-Multi 合作的目的是將語義部分提升到一個新的水平。為此，我們繼續構建包含幾何和語義部分的3D 地圖。這使得機器人可以在未知環境中移動，無需 GPS 和任何絕對參考，僅使用從攝像機和慣性傳感器獲得的傳感數據，進行推理并能夠構建包含幾何圖形的三維模型。和語義信息。因此，機器人也可以通過這個接口了解物體的類型。

那么，今天的機器人系統能否更好地了解它們所在的位置以及它們周圍的事物？

沒錯。新穎的元素使機器人具有更高層次的理解：因此，它們理解場景的語義方面、完成高級任務的關鍵要素，包括導航和對象搜索、與人類的交互等等。我們現在開發了一個系統，多個機器人可以在該系統中相互通信以創建統一的地圖，目標它們擁有共享的環境表示，以便協調開展行動。

然而，這個問題非常復雜。機器人以分布式方式收集數據這一事實給建立單一模型帶來了困難。例如，如果我們考慮十個地理位置相距很遠的機器人，它們會以分布式方式收集大量數據，但很難交換數據。我們研究的主要目標之一是設計分布式協議，讓機器人繼續交換最少量的信息，試圖就如何構建地圖及其軌跡達成共識。簡而言之，兩個機器人不是互相發送各自相機收集的所有圖像，而是每次看到對方時交換彼此在參考系統中的位置估計，從而改進彼此的地圖。因此，在此過程中，可以收斂到所有系統都一致的共同估計。這是這項工作的主要貢獻之一。

還有其他值得注意的方面嗎？

是的，另一個重要貢獻涉及此類系統的穩健性問題。在實驗室進行演示是一回事，開發一個如此可靠的水平儀以允許您在非常復雜的外部環境中管理多個機器人則是另一回事。此時機器人的空間感知與人類相差甚遠。特別是，我們希望在這些地圖系統中，機器人始終能夠識別它是否正在訪問它已經知道的地方。如果該區域已經被訪問過，機器人必須能夠識別該位置，并且該信息對于改進其地圖非常有用。此外，機器人還必須識別它們是否正在查看另一個機器人已經訪問過的地圖部分。

困難在于地點識別算法非常不精確，并且這些算法產生的不正確結果會導致嚴重錯誤重建地圖。我們已經證明，可以以分布式方式實現我的研究小組過去開發的特定魯棒估計算法。通過這種方式，盡管地點識別算法中可能存在錯誤，但仍可以交換估計和測量結果，以形成正確且共享的地圖。

機器人的空間感知應用了哪些人工智能技術？

在這項工作中，人工智能主要進入語義部分。深度學習算法用于根據不同語義類別對圖像中的像素進行分類。然后，每個像素被分類為某個對象并具有相關的語義，并為創建三維地圖提供有價值的信息。不僅如此：借助該系統，可以確保在多個圖像中多次觀察地圖的同一部分。這使我們能夠減少人工智能系統中可能錯誤地對某些像素進行分類的錯誤。

在研究方面，該領域有哪些承諾？您現在和未來幾個月正在做什么？

有很多人致力于多機器人系統和感知。前者尤其在更大的機器人技術中構成了一個社區，并在多個方面進行操作，意識到這種類型的系統在許多情況下更加高效。例如，我想到的是搜索和救援行動，即在災難性事件后搜尋幸存者，如果可以的話，成功的可能性會更高依靠更多的機器人。但在其他領域，依靠多機器人系統可以獲得更好的結果。

談到接下來的發展，我們需要回到人類的空間感知：它不僅超越幾何，而且超越物體。作為人類，我們對現實不僅有一個非常復雜而且有層次的概念，以便非常有效地計劃我們的行動。讓我們想想當我們計劃旅行時：我們在多個層面上建立了幾個步驟，通過機場、車輛和城市來計劃旅行。我們正在嘗試復制這種理解水平，讓機器人制定環境的分層抽象，并嘗試使用這種表示來加快決策速度。在這方面，我們提出了“3D場景圖”的想法，其中定義圖來插入不同級別的抽象環境并捕獲有關場景中不同對象或不同實體之間關系的信息。這些模型使您能夠推理不同對象之間或不同人之間的關系——這是執行高級任務的一個重要方面。

我們正在研究更復雜的表示，并試圖了解如何在具有一個或多個機器人的系統中構建這些表示。此外，我們正在嘗試將它們開發為其他人工智能模型的輸入，例如支撐決策的強化學習。我們希望了解如何使用人工智能算法提供這種感知表示，以便機器人能夠更有效地做出決策。此外，我們正在努力通過使用幾何來解決人工智能算法的一個基本問題，即需要擁有非常大的注釋數據集，這是人工智能圖像理解的基礎。

人工智能算法的有效性取決于大量數據集的可用性。我們知道，在許多機器人領域，沒有如此大的數據集。因此，我們打算重點關注自我監督的可能性，即開發無需人工監督即可運行的系統，無需注釋即可收集數據。大型語言模型，例如 ChatGPT，以這種方式工作，即以無監督的方式工作，因此它們可以從互聯網上的文本中學習，而無需很多注釋。這是我們在機器人技術領域需要努力的前沿領域。未來我們必須擁有能夠觀察現實并通過推理來自行理解并做出決策的機器人，而無需人類操作員的頻繁干預。

您對機器人空間感知的研究和研究未來的應用和好處是什么？

搜索和救援是一個非常重要的應用：讓我們考慮一下在受地震或其他災難性事件影響的地區派遣機器人進行救援行動、為團隊或獨立提供幫助的機會。在 DARPA（美國國防高級研究計劃局）最近發起的機器人系統競賽中，重點是地下研究。人們對開發地下環境中繪圖的能力非常感興趣，因為地下環境對人類來說非常困難且風險很大。除此之外，這種環境在很多方面都與其他行星上的外星探索非常相似。

另一個令人感興趣的背景是工業和物流領域，同樣是關于機器人的空間感知：今天亞馬遜已經在使用機器人在其倉庫中，地面上有虛擬向導移動。未來，依靠能夠在不同環境中自主移動、與人類一起操作的機器人將會非常有趣。最后，空間感知的研究將使智能交通系統領域發生重大發展。例如，我正在考慮自動駕駛汽車，甚至卡車能夠相互通信，以便以更有效和更有效的方式移動。協作方式，大大提高安全水平。

美國麻省理工學院(MIT)的Hyperloop II團隊由一組具有航空航天，機械，電氣和系統工程背景的多學科研究人員組成。

MIT四十名學生合作設計和制造了Hyperloop II，這是一種高速、無摩擦的車輛，旨在通過空氣懸浮技術來運載人員或貨物。Hyperloop與許多需要軌道或在真空管運行軌道列車不同，這款模型僅需要平坦的表面并能在氣墊上行駛。它不依賴昂貴的磁性系統為其懸浮提供動力，不需要高昂的真空環境。

Hyperloop II是2019年在SpaceX Hyperloop Pod競賽中唯一以其功能齊全的空氣懸浮吊艙而聞名。這是一項年度的超級環形高鐵車廂大賽大賽，SpaceX公司旨在鼓勵開發新的運輸方式。該團隊在去年比賽中排名第5，并獲得了創新獎。因為大火摧毀了原始原型后，三周后該團隊再次對其軌道車進行了大幅度修改。

美國MIT開發的AirLev是第一款電動高速無摩擦空氣懸浮軌道車，旨在通過其空氣懸浮技術來運載人員或貨物。該團隊在2019年的SpaceX-Hyperloop大賽上展示了升級版-Hyperloop II，該軌道車在20秒內，以0到200 mph(時速200英里/352公里)迅速提升。