不同的機(jī)器人末端執(zhí)行器

機(jī)器人學(xué)家通常通過遠(yuǎn)程操作機(jī)器人執(zhí)行任務(wù)來教機(jī)器人新的任務(wù)。然后，機(jī)器人模仿演示，直到它能獨(dú)立完成任務(wù)。

雖然這種教授機(jī)器人的方法是有效的，但它將演示限制在實驗室環(huán)境中，而且只有程序員和機(jī)器人專家可以做演示。谷歌公司機(jī)器人部門的一個研究小組一直在為機(jī)器人開發(fā)一種新的學(xué)習(xí)方法。

人類一直在通過觀察來學(xué)習(xí)，但對機(jī)器人來說，這不是一個簡單的任務(wù)。這對機(jī)器人來說是很困難的，因為它們看起來與人類不同。例如，一個擁有雙指抓手的機(jī)器人不會從觀察一個擁有五指手的人類拿起一支筆的過程中獲得多少知識。

為了解決這個問題，該團(tuán)隊引入了一種自我監(jiān)督的跨環(huán)境逆向強(qiáng)化學(xué)習(xí)（XIRL）方法。

這種教學(xué)方法的重點(diǎn)是機(jī)器人從視頻中學(xué)習(xí)高層次的任務(wù)目標(biāo)。因此，機(jī)器人不是試圖使單個人類行動與機(jī)器人行動相對應(yīng)，而是弄清楚其最終目標(biāo)是什么。

然后，它以獎勵函數(shù)的形式總結(jié)該信息，該函數(shù)對形狀、行動和末端效應(yīng)器動態(tài)等物理差異是不變的。通過利用學(xué)到的獎勵和強(qiáng)化學(xué)習(xí)，研究小組教機(jī)器人如何通過試驗和錯誤處理物體。

當(dāng)樣本視頻更加多樣化時，機(jī)器人學(xué)得更多。實驗表明，該團(tuán)隊的學(xué)習(xí)方法導(dǎo)致在新的體現(xiàn)上的樣本效率強(qiáng)化學(xué)習(xí)提高了2到4倍。

該團(tuán)隊已經(jīng)對其方法和X-MAGICAL（其模擬的跨實例模仿的基準(zhǔn)）進(jìn)行了開源實施，以便讓其他人在他們的工作基礎(chǔ)上進(jìn)行擴(kuò)展和建設(shè)。

X-MAGICAL的創(chuàng)建是為了評估XIRL在一個一致的環(huán)境中的表現(xiàn)。該程序挑戰(zhàn)一組具有不同形狀和終端效應(yīng)器的代理體現(xiàn)，以執(zhí)行一項任務(wù)。這些代理以不同的方式和速度執(zhí)行任務(wù)。

展示不同的形狀在X-MagICAL中執(zhí)行任務(wù)。|來源:谷歌

該團(tuán)隊還使用真實世界的人類示范任務(wù)進(jìn)行教學(xué)。他們用自己的方法來訓(xùn)練模擬的索耶爾手臂將冰球推入目標(biāo)區(qū)域。他們的教學(xué)方法也優(yōu)于基線方法。

該研究團(tuán)隊包括來自谷歌機(jī)器人技術(shù)的 Kevin Zakka、Andy Zeng、Pete Florence、Jonathan Tompson 和 Debidatta Dwibedi，以及來自斯坦福大學(xué)的 Jeannette Bohg。

Google正在成立一個名為 “Area 120” 的部門，該部門由公司高管 Don Harrison 和 Bradley Horowitz 直接負(fù)責(zé)，用于支持員工進(jìn)行內(nèi)部創(chuàng)業(yè)。員工可提 BP申請加入，被批準(zhǔn)后其自發(fā)組織的團(tuán)隊便可全職為新想法而工作，如果成功的話可以單獨(dú)成立公司并獲得 Google 投資。有評論稱Google此舉是為了阻止員工跳槽創(chuàng)業(yè)公司。

Google成立新部門Area120支持員工內(nèi)部創(chuàng)業(yè)

這個名為“Area 120”的Google內(nèi)部創(chuàng)業(yè)孵化器由公司高管唐·哈里斯(Don Harrison)和布拉德利·霍洛維茨(Bradley Horowitz)掌管。在最近舉行的全員大會上，兩位高管對新組織做了介紹。

“Area 120”辦公地位于Google舊金山新辦公樓內(nèi)。Google高管希望Area 120可以讓富有企業(yè)家精神的員工在公司工作更長時間，同時還可以物色大創(chuàng)意。孵化器主要面向員工，目的是保持創(chuàng)業(yè)氛圍，和一些熱門企業(yè)家建立聯(lián)系。孵化器的運(yùn)作細(xì)節(jié)尚未確定，目前大體框架如下：Google團(tuán)隊可以申請加入孵化器，全職工作幾個月，提交具體商業(yè)計劃;之后，他們有機(jī)會收到Google的投資意向書，建立一家新公司，Google是投資者。

Google有一個眾所周知的傳統(tǒng)就是鼓勵員工用20%的工作時間研究自己喜歡的項目，新孵化器之所以取名“Area 120”正是向該制度致敬。從理論上講，Area 120允許員工全職研究喜歡的項目。

目前Google已經(jīng)成立了Google風(fēng)投(Google Ventures)和Google資本(Google Capital)兩家公司，它們的目標(biāo)也是為創(chuàng)業(yè)公司提供資金支持，將一些富有企業(yè)家精神的前Google員工留在公司之內(nèi)。不清楚這些基金公司是否會與Area 120合作，照推測Area 120的資金應(yīng)該來自Google企業(yè)發(fā)展預(yù)算之外。