想象一下，一個像黏泥一樣的機(jī)器人，可以無縫改變形狀擠過狹窄的空間，比如部署在人體內(nèi)以取出不想要的東西。這樣的機(jī)器人在實驗室外還不存在，因此研究人員致力于開發(fā)可重新配置的軟機(jī)器人，以用于醫(yī)療保健、可穿戴設(shè)備和工業(yè)系統(tǒng)。但是，如何才能控制一個柔軟的機(jī)器人呢？它沒有可以操縱的關(guān)節(jié)、四肢或手指，而是可以隨意改變自己的整個形狀。

（圖片來源：arxiv.org）

據(jù)外媒報道，麻省理工學(xué)院（MIT）等機(jī)構(gòu)的研究人員開發(fā)出一種控制算法，可以自主學(xué)習(xí)如何移動、拉伸和塑造可重構(gòu)機(jī)器人來完成特定任務(wù)，即使該任務(wù)需要機(jī)器人多次改變其形態(tài)。該團(tuán)隊還創(chuàng)建了一個模擬器，用于測試可變形軟機(jī)器人的控制算法，以應(yīng)對一系列具有挑戰(zhàn)性的、可改變形狀的任務(wù)。這項研究的相關(guān)論文發(fā)表在arXiv預(yù)印本服務(wù)器上。

這種方法分別完成了研究人員所評估的八項任務(wù)，并且表現(xiàn)優(yōu)于其他算法。該技術(shù)在處理多方面任務(wù)時尤其有效。例如，在一項測試中，機(jī)器人必須降低身高，同時長出兩條小腿來擠過一個狹窄的管道，然后停止增長這些小腿，并伸長軀干來打開管道的蓋子。

目前，可重構(gòu)軟機(jī)器人仍處于起步階段。但是，這種技術(shù)未來有望使機(jī)器人能夠調(diào)整自己的形狀來完成不同的任務(wù)。電子工程和計算機(jī)科學(xué)系（EECS）研究生Boyuan Chen表示：“提到軟機(jī)器人，人們往往會想到有彈性的機(jī)器人，它們能夠恢復(fù)到原來的形狀。我們的機(jī)器人就像黏泥，實際上可以改變它的形態(tài)。我們正在處理一些非常新的東西，因此這種方法非常有效，令人吃驚。”

（圖片來源：arxiv.org）

控制動態(tài)運(yùn)動

研究人員經(jīng)常使用一種名為強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)方法來教機(jī)器人完成任務(wù)，這是一個反復(fù)試驗的過程。在這個過程中，機(jī)器人會因其靠近目標(biāo)的動作而獲得獎勵。當(dāng)機(jī)器人的運(yùn)動部件一致且定義明確時，比如有三個手指的抓手，這是有效的。對于機(jī)械手而言，強(qiáng)化學(xué)習(xí)算法可能會輕微移動一根手指，通過反復(fù)試驗來學(xué)習(xí)這種運(yùn)動是否會給它帶來獎勵。然后，它會移至下一個手指，以此類推。但由磁場控制的變形機(jī)器人可以動態(tài)地擠壓、彎曲或拉長它們的整個身體。Chen表示：“這樣的機(jī)器人可能有成千上萬的小塊肌肉需要控制，所以很難用傳統(tǒng)的方式進(jìn)行學(xué)習(xí)?！?/p>

為了解決這個問題，研究人員不得不改變思考方式。他們探討的強(qiáng)化學(xué)習(xí)算法不是單獨移動每一塊微小的肌肉，而是從學(xué)習(xí)控制一起工作的相鄰肌肉群開始。然后，在通過關(guān)注肌肉群來探索可能的動作空間后，算法會深入到更精細(xì)的細(xì)節(jié)中，以優(yōu)化它所學(xué)到的策略或行動計劃。這樣，控制算法遵循從粗到精的方法。這項研究的資深作者、麻省理工學(xué)院EECS助理教授Vincent Sitzmann表示：“從粗到精，意味著當(dāng)你做一個隨機(jī)動作時，這個隨機(jī)動作可能會產(chǎn)生影響。這可能出現(xiàn)非常明顯的結(jié)果變化，因為你同時粗略地控制了幾塊肌肉?！?/p>

為了實現(xiàn)這一點，該團(tuán)隊將機(jī)器人的行為空間，即其如何在某個區(qū)域移動，視為一個圖像。這種機(jī)器學(xué)習(xí)模型使用機(jī)器人的環(huán)境圖像來生成2D動作空間，其中包括機(jī)器人及其周圍區(qū)域。研究人員使用所謂的材質(zhì)點法來模擬機(jī)器人的運(yùn)動，其中動作空間被點（如圖像像素）覆蓋，并覆有網(wǎng)格。

如同圖像中相近的像素相互關(guān)聯(lián)一樣（就像照片中形成樹的像素），研究人員創(chuàng)建了自己的算法，以探討附近的行動點具有更強(qiáng)的相關(guān)性。當(dāng)機(jī)器人改變形狀時，它“肩膀”周圍的點也會出現(xiàn)類似的移動，而機(jī)器人“腿”上的點也會類似地移動，但移動方式與“肩膀”上的點不同。

此外，研究人員使用相同的機(jī)器學(xué)習(xí)模型來觀察環(huán)境并預(yù)測機(jī)器人應(yīng)該采取的行動，這使其效率更高。

（圖片來源：arxiv.org）

構(gòu)建模擬器

在開發(fā)了這種方法后，研究人員需要一種方法來進(jìn)行測試，所以創(chuàng)建了名為DittoGym的模擬環(huán)境。DittoGym具有八項任務(wù)，可以評估可重構(gòu)機(jī)器人動態(tài)改變形狀的能力。其中之一是，機(jī)器人必須拉長和彎曲身體，這樣才能繞過障礙物到達(dá)目標(biāo)點。在另一種情況下，它必須改變形狀，以模仿字母表中的字母。

這項研究的主要作者、清華大學(xué)本科生Suning Huang表示：“DittoGym中選擇的任務(wù)既遵循了一般的強(qiáng)化學(xué)習(xí)基準(zhǔn)設(shè)計原則，也遵循了可重構(gòu)機(jī)器人的特定需求。每個任務(wù)設(shè)計均代表我們認(rèn)為重要的某些屬性，例如通過長期探索進(jìn)行導(dǎo)航的能力、分析環(huán)境的能力，以及與外部對象互動的能力。研究人員認(rèn)為，它們結(jié)合在一起可以讓用戶全面了解可重構(gòu)機(jī)器人的靈活性，以及我們強(qiáng)化學(xué)習(xí)方案的有效性?！?/p>

這種算法優(yōu)于基線法，是唯一適合完成需要多次改變形狀的多階段任務(wù)的技術(shù)。Chen表示：“我們在彼此更接近的行動點之間有更強(qiáng)的相關(guān)性，我認(rèn)為這是該項目取得成功的關(guān)鍵?！?/p>

在現(xiàn)實世界中部署變形機(jī)器人可能還需要很多長時間，但Chen及合作人員希望，這項工作可以促進(jìn)其他研究人員探討可重構(gòu)軟機(jī)器人，以及考慮利用2D動作空間來解決其他復(fù)雜的控制問題。