利用強(qiáng)化學(xué)習(xí)技術(shù)，有可能在流體環(huán)境中教授微型機(jī)器人類似于生物細(xì)胞的運(yùn)動(dòng)技能，從而在需要特別復(fù)雜的動(dòng)作或存在背景擾動(dòng)時(shí)繞過(guò)步態(tài)設(shè)計(jì)問(wèn)題，有利于未來(lái)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用。

要點(diǎn)

●通過(guò)兩所大學(xué)和香港大學(xué)的聯(lián)合工作，首次嘗試設(shè)計(jì)出能夠在明確目標(biāo)方向上游泳、執(zhí)行復(fù)雜動(dòng)作和改變步態(tài)的微型機(jī)器人。

●一種強(qiáng)化學(xué)習(xí)算法和一個(gè)具有 "行為批判 "結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)確保微型游泳機(jī)器人獲得典型的微生物導(dǎo)航策略，并根據(jù)環(huán)境改變其動(dòng)作。

●未來(lái)的研究設(shè)想采用同樣的方法，使微型機(jī)器人發(fā)展出三維導(dǎo)航能力，以及克服干擾、物理邊界和障礙物的能力。

采用人工智能技術(shù)，使微型機(jī)器人能夠在復(fù)雜的流體環(huán)境中自主移動(dòng)，是指學(xué)習(xí)微型生物特有的運(yùn)動(dòng)技能，能夠制定導(dǎo)航策略，使它們能夠根據(jù)所處的環(huán)境改變步態(tài)。

這種策略的一個(gè)例子就是從平移和旋轉(zhuǎn)模式過(guò)渡到細(xì)菌典型的反向運(yùn)動(dòng)模式，或真核生物的運(yùn)行-停止-沖擊模式。

這種自適應(yīng)步態(tài)切換能力在生物醫(yī)學(xué)領(lǐng)域尤為可取，例如使用人工微泳器進(jìn)行靶向藥物輸送和顯微外科手術(shù)，這些手術(shù)通常需要在不受控制和不可預(yù)測(cè)的環(huán)境條件下導(dǎo)航到目標(biāo)位置，"題為 "通過(guò)深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)微泳器的步態(tài)切換和靶向?qū)Ш?"的論文如是說(shuō)、該論文概述了加利福尼亞州圣克拉拉大學(xué)、新澤西理工學(xué)院和香港大學(xué)的研究人員利用機(jī)器學(xué)習(xí)技術(shù)在微型機(jī)器人和微型游泳技能方面開(kāi)展的聯(lián)合工作。

研究報(bào)告的作者指出："有關(guān)這一主題的現(xiàn)有文獻(xiàn)表明，具有運(yùn)動(dòng)步態(tài)的簡(jiǎn)單可重構(gòu)系統(tǒng)可以產(chǎn)生凈平移和旋轉(zhuǎn)。"然而，當(dāng)需要復(fù)雜的動(dòng)作或存在背景環(huán)境擾動(dòng)時(shí)，運(yùn)動(dòng)步態(tài)設(shè)計(jì)就會(huì)變得越來(lái)越棘手"。

這就是為什么現(xiàn)有的微型游泳器在設(shè)計(jì)時(shí)使用軟質(zhì)材料，并且仍然采用固定的運(yùn)動(dòng)步態(tài)，人工干預(yù)導(dǎo)航。

簡(jiǎn)而言之，類似于生物細(xì)胞的自適應(yīng)運(yùn)動(dòng)策略，能夠在高度復(fù)雜和不可預(yù)測(cè)的環(huán)境中自主導(dǎo)航，是開(kāi)發(fā)流體環(huán)境微型機(jī)器人的一項(xiàng)尚未解決的挑戰(zhàn)。

直到最近，旨在克服機(jī)器人運(yùn)動(dòng)問(wèn)題的人工智能技術(shù)的發(fā)展才為下一代智能微型游泳機(jī)器人的設(shè)計(jì)開(kāi)辟了道路。讓我們拭目以待。

微型機(jī)器人的人工智能：強(qiáng)化學(xué)習(xí)的作用

關(guān)于微型機(jī)器人的人工智能，研究人員使用的人工智能技術(shù)是強(qiáng)化學(xué)習(xí)（reinforcement learning），這是一種機(jī)器學(xué)習(xí)技術(shù)，旨在開(kāi)發(fā)能夠在不同行動(dòng)之間做出選擇的機(jī)器，以便通過(guò)與運(yùn)行環(huán)境的交互來(lái)實(shí)現(xiàn)預(yù)先設(shè)定的目標(biāo)。

"我們利用強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練我們的模型系統(tǒng)，使其在初始微型游泳者的任意方向上沿著目標(biāo)方向游泳。方向由微型游泳者的重心（rc）和 r1 之間的相對(duì)位置定義。"研究小組解釋道。

具體來(lái)說(shuō)，用于訓(xùn)練微型機(jī)器人的強(qiáng)化學(xué)習(xí)算法是 "近端策略優(yōu)化"（PPO），而運(yùn)動(dòng)控制則由一個(gè)具有 "行為批判 "結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)來(lái)管理。

根據(jù)上圖，我們可以看到左側(cè)的人工微型游泳者模型由三個(gè)球體組成，球體之間由兩條長(zhǎng)短不一的臂連接。球體 r1（紅色）表示微型機(jī)器人的初始位置和當(dāng)前方向，而兩個(gè)藍(lán)色球體則表示--在實(shí)驗(yàn)中--其隨后的方向。

具有行為批判結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)

在微型機(jī)器人人工智能領(lǐng)域，研究團(tuán)隊(duì)開(kāi)發(fā)的兩個(gè)神經(jīng)網(wǎng)絡(luò)（Actor 和 Critic）都由三組層組成：輸入層（Input Layer）、隱藏層（Hiden Layer）和輸出層（Output Layer）。

每一層都由神經(jīng)元（標(biāo)記為節(jié)點(diǎn)）組成，而權(quán)重則表示為節(jié)點(diǎn)之間的鏈接。如上圖所示，"在 Actor 模型中，網(wǎng)絡(luò)輸出層的大小與輸入狀態(tài)的大小相同（三個(gè)節(jié)點(diǎn)），而 Critic 模型網(wǎng)絡(luò)的輸出層只有一個(gè)節(jié)點(diǎn)"，作者指出。

這是因?yàn)樵趶?qiáng)化學(xué)習(xí)中，每個(gè)后續(xù)行動(dòng)都是通過(guò)行為者的神經(jīng)網(wǎng)絡(luò)（行為者模型）來(lái)定義的。然后由臨界神經(jīng)網(wǎng)絡(luò)（批判模型）對(duì)行動(dòng)進(jìn)行評(píng)估，以指導(dǎo)訓(xùn)練過(guò)程。微型機(jī)器人執(zhí)行代理推薦的動(dòng)作，并與水動(dòng)力環(huán)境互動(dòng)，從而產(chǎn)生構(gòu)成后續(xù)觀察和獎(jiǎng)勵(lì)的動(dòng)作。"代理和臨界神經(jīng)網(wǎng)絡(luò)都會(huì)定期更新，以提高整體性能"。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程被分為一系列情節(jié)，每個(gè)情節(jié)由 150 個(gè)學(xué)習(xí)步驟組成。根據(jù)每20集后的訓(xùn)練結(jié)果，臨界神經(jīng)網(wǎng)絡(luò)更新人工智能算法，以最大限度地提高預(yù)期的長(zhǎng)期獎(jiǎng)勵(lì)。

而隨著劇情的推進(jìn)，演員-批判框架會(huì)逐步訓(xùn)練強(qiáng)化學(xué)習(xí)算法，從而提高人工游泳運(yùn)動(dòng)員的表現(xiàn)。通過(guò)所述方案，我們的目標(biāo)是讓微型機(jī)器人發(fā)展出獨(dú)特的運(yùn)動(dòng)步態(tài)，如轉(zhuǎn)向、過(guò)渡和平移，從而實(shí)現(xiàn)多模式導(dǎo)航策略。

"配備人工智能的微型游泳機(jī)器人能夠自主調(diào)整步態(tài)，朝著任意方向航行，并在不同環(huán)境變化的影響下航行"。

微型機(jī)器人的人工智能：未來(lái)前景

在這項(xiàng)關(guān)于微型機(jī)器人人工智能的研究中，"配備人工智能的微型游泳者所采用的多模式策略讓人聯(lián)想到細(xì)菌典型的奔跑和跌倒"，研究小組強(qiáng)調(diào)，這項(xiàng)研究取得的成果表明，強(qiáng)化學(xué)習(xí)方法在實(shí)現(xiàn)與生物有機(jī)體類似的適應(yīng)能力方面具有潛力，"可實(shí)現(xiàn)強(qiáng)大的運(yùn)動(dòng)和適應(yīng)能力，這對(duì)未來(lái)的生物醫(yī)學(xué)應(yīng)用至關(guān)重要"。

雖然第一項(xiàng)研究的重點(diǎn)是微型機(jī)器人的平面運(yùn)動(dòng)，但所使用的方法將來(lái)可能會(huì)擴(kuò)展到三維導(dǎo)航等領(lǐng)域，"允許在游泳者的平面外旋轉(zhuǎn)，擴(kuò)大觀察和行動(dòng)空間以獲得額外的自由度"。

強(qiáng)化學(xué)習(xí)所代表的框架并不局限于特定的游泳者：本作品中使用的是一個(gè)簡(jiǎn)單的多球體系統(tǒng)，僅供參考，但同樣的方案也適用于其他微型機(jī)器人系統(tǒng)。后續(xù)研究還可以解決訓(xùn)練階段的流動(dòng)擾動(dòng)問(wèn)題，從而開(kāi)發(fā)出更強(qiáng)大的人工智能算法，進(jìn)一步改進(jìn)微型機(jī)器人的導(dǎo)航策略。作者指出："目前正在研究熱波動(dòng)對(duì)微型游水器訓(xùn)練過(guò)程和由此產(chǎn)生的導(dǎo)航性能的影響。"

除了水流和熱波動(dòng)，其他環(huán)境因素，包括物理邊界和障礙物的存在，也可能在未來(lái)的研究中得到類似的解決。