大型語言模型（LLMs），例如OpenAI平臺(tái)ChatGPT所使用的模型，如今已被廣泛用于處理各種任務(wù)，從信息搜集到生成不同語言的文本，甚至代碼。許多科學(xué)家和工程師也開始使用這些模型進(jìn)行研究或推進(jìn)其他技術(shù)的發(fā)展。

在機(jī)器人領(lǐng)域，LLM已被證明在創(chuàng)建基于用戶指令的機(jī)器人策略方面具有巨大潛力。策略本質(zhì)上是機(jī)器人為正確執(zhí)行所需動(dòng)作而必須遵循的“規(guī)則”。

圖片來源： 期刊《Advanced Robotics Research》

據(jù)外媒報(bào)道，受人腦如何規(guī)劃動(dòng)作并隨著時(shí)間的推移微調(diào)身體運(yùn)動(dòng)啟發(fā)，紐約大學(xué)坦頓工程學(xué)院（NYU Tandon School of Engineering）的研究人員最近推出了一種名為BrainBody-LLM的新算法，該算法利用LLMs來規(guī)劃和優(yōu)化機(jī)器人的動(dòng)作執(zhí)行。該算法相關(guān)論文發(fā)表在期刊《Advanced Robotics Research》。

論文的共同第一作者Vineet Bhat表示：“LLM已經(jīng)展現(xiàn)出對真實(shí)世界環(huán)境中人機(jī)交互的深刻理解。在這項(xiàng)工作中，我們旨在通過授予邏輯邏輯模型對一組固定機(jī)器人控制指令的部分訪問權(quán)限，來評(píng)估其在機(jī)器人領(lǐng)域的這種能力。為了確保安全部署和受控環(huán)境測試，我們特意限制了這種訪問權(quán)限?！?/p>

BrainBody-LLM算法

Bha及其同事開發(fā)的新算法模擬了人腦和身體在規(guī)劃和執(zhí)行特定動(dòng)作時(shí)的溝通方式。該算法包含兩個(gè)主要組件，分別稱為腦部LLM（Brain LLM）和身體LLM（Body LLM）。

腦部LLM負(fù)責(zé)規(guī)劃高級(jí)任務(wù)，并將其分解為更簡單易行的步驟。而身體LLM則在每個(gè)步驟中生成控制機(jī)器人的指令，使其能夠執(zhí)行所需的動(dòng)作和運(yùn)動(dòng)。

“閉環(huán)反饋機(jī)制能夠持續(xù)監(jiān)測環(huán)境響應(yīng)和誤差信號(hào)，并將這些信息反饋到系統(tǒng)中進(jìn)行自動(dòng)校正，”Bhat解釋道?！癇rainBody-LLM的主要優(yōu)勢在于其閉環(huán)架構(gòu)，該架構(gòu)促進(jìn)了LLM組件之間的動(dòng)態(tài)交互，從而能夠穩(wěn)健地處理復(fù)雜且具有挑戰(zhàn)性的任務(wù)?！?/p>

模擬和實(shí)際環(huán)境中均取得令人鼓舞的結(jié)果

研究人員在模擬和實(shí)際實(shí)驗(yàn)中測試了他們提出的模型。模擬實(shí)驗(yàn)在VirtualHome平臺(tái)上進(jìn)行，該平臺(tái)上的虛擬機(jī)器人完成了各種家務(wù)。實(shí)際實(shí)驗(yàn)則使用名為Franka Research 3的機(jī)械臂進(jìn)行。

研究團(tuán)隊(duì)的發(fā)現(xiàn)非常令人鼓舞，與對比的其他最先進(jìn)模型相比，他們的模型將機(jī)器人完成任務(wù)的效率提高了17%。該模型使機(jī)械臂能夠完成大部分測試任務(wù)，平均成功率達(dá)到84%。

“許多近期基于LLM的智能體框架都采用了類似的原理，即通過一系列交互的LLM利用外部工具來處理復(fù)雜的人類查詢，例如解決數(shù)學(xué)問題或進(jìn)行深度分析，”Bhat補(bǔ)充道。我們目前正在探索將其他模態(tài)（例如3D視覺、深度感知和關(guān)節(jié)控制）集成到LLM中的各種方法，目標(biāo)是使機(jī)器人系統(tǒng)能夠?qū)崿F(xiàn)更接近人類的運(yùn)動(dòng)和動(dòng)作。”

未來，該團(tuán)隊(duì)新開發(fā)的BrainBody LLM有望得到進(jìn)一步改進(jìn)，并應(yīng)用于其他機(jī)器人，在更廣泛的場景中進(jìn)行測試。同時(shí)，這項(xiàng)最新研究成果也可能啟發(fā)其他研究團(tuán)隊(duì)開發(fā)類似的基于LLM的機(jī)器人應(yīng)用方法。