「熟能生巧」這句話通常是為人類保留的，但對於新部署在陌生環境中的機器人來說，這也是一句很棒的格言。

想像一個機器人到達倉庫。它配備了經過訓練的技能，例如放置物體，現在它需要從不熟悉的架子上挑選物品。起初，機器對此很掙扎，因為它需要熟悉新環境。為了改進，機器人需要了解整個任務中的哪些技能需要改進，然後專門化（或參數化）動作。

現場人員可以對機器人進行程式設計以優化其性能，但來自麻省理工學院電腦科學和人工智慧實驗室（CSAIL）和人工智慧研究所的研究人員已經開發出更有效的替代方案。他們在上個月的機器人：科學與系統會議上展示了他們的「估計、外推和定位」（EES）演算法，使這些機器能夠自行練習，有可能幫助它們改進工廠、家庭和醫院的有用任務。

審時度勢

為了幫助機器人更好地完成掃地等活動，EES 使用視覺系統來定位和追蹤機器的周圍環境。然後，演算法會評估機器人執行動作（例如掃地）的可靠性以及是否值得進行更多練習。 EES 會預測機器人在完善特定技能並最終進行實踐的情況下執行整體任務的能力。視覺系統隨後會在每次嘗試後檢查技能是否正確完成。

EES 可以在醫院、工廠、住宅或咖啡店等地方派上用場。例如，如果您想要一個機器人來清理您的客廳，則需要幫助它練習掃地等技能。不過，根據 Nishanth Kumar SM ’24 和他的同事的說法，EES 可以幫助機器人在無需人工幹預的情況下進行改進，只需進行幾次實踐試驗。

「在進入這個計畫時，我們想知道這種專業化是否可以在真實機器人上的合理數量的樣本中實現，」描述這項工作的論文的共同主要作者、電氣工程和計算機科學博士生庫馬爾說。 「現在，我們有了一種演算法，可以讓機器人在合理的時間內利用數十或數百個數據點在特定技能上取得有意義的進步，這是標準強化學習演算法所需的數千或數百萬個樣本的升級。

請參閱定點掃描

在人工智慧研究所的研究試驗期間，EES 的高效學習技巧在波士頓動力公司的 Spot 四足機器人上得到了體現。機器人背部附有手臂，經過幾個小時的練習後完成了操作任務。在一次演示中，機器人在大約三個小時內學會如何將球和環安全地放在傾斜的桌子上。在另一項實驗中，演算法指導機器在大約兩個小時內改進將玩具掃入垃圾箱的能力。這兩個結果似乎都是對先前框架的升級，每個任務可能需要 10 多個小時。

「我們的目標是讓機器人收集自己的經驗，以便它能夠更好地選擇哪些策略在其部署中效果良好，」共同主要作者、電氣工程和計算機科學(EECS) 博士Tom Silver SM ’20、PhD ‘ 24 說校友和 CSAIL 附屬機構，現為普林斯頓大學助理教授。 “透過專注於機器人所知道的知識，我們試圖回答一個關鍵問題：在機器人擁有的技能庫中，哪一項是目前最適合練習的技能？”

EES 最終可以幫助簡化新部署環境中機器人的自主實踐，但目前它還存在一些限制。首先，他們使用離地面較低的桌子，這使得機器人更容易看到它的物體。 Kumar 和 Silver 還 3D 列印了一個可連接的手柄，使 Spot 更容易抓住刷子。機器人沒有偵測到某些物品並在錯誤的位置識別了物體，因此研究人員將這些錯誤視為失敗。

給機器人作業

研究人員指出，在模擬器的幫助下，物理實驗的練習速度可以進一步加快。機器人最終可以將真實和虛擬練習結合起來，而不是自主地學習每項技能。他們希望讓系統速度更快、延遲更短，透過設計 EES 來克服研究人員遇到的成像延遲。將來，他們可能會研究一種演算法，該演算法可以對練習嘗試的順序進行推理，而不是計劃改進哪些技能。

「讓機器人能夠自主學習既非常有用，又極具挑戰性，」佐治亞理工學院互動計算學院助理教授、NVIDIA AI 研究科學家 Danfei Xu（未參與這項工作）說。 「未來，家庭機器人將銷往各種家庭，並有望執行廣泛的任務。我們不可能事先對他們需要了解的所有內容進行編程，因此他們能夠在工作中學習至關重要。然而，讓機器人在沒有指導的情況下自由探索和學習可能會非常緩慢，並可能導致意想不到的後果。西爾弗和他的同事的研究引入了一種演算法，讓機器人以結構化的方式自主練習技能。這是朝著創造能夠不斷進化和自我改進的家庭機器人邁出的一大步。

Silver 和Kumar 的合著者包括AI 研究所研究人員Stephen Proulx 和Jennifer Barry，以及四名CSAIL 成員：東北大學博士生兼客座研究員趙林峰、麻省理工學院EECS 博士生Willie McClinton 以及MIT EECS 教授Leslie Pack Kaelbling和Tomás Lozano。他們的工作部分得到了人工智慧研究所、美國國家科學基金會、美國空軍科學研究辦公室、美國海軍研究辦公室、美國陸軍研究辦公室和麻省理工學院情報探索中心的支持。林肯實驗室超級運算中心的高效能運算資源。