借助 WHIRL，機器人學(xué)會了如何完成 20 多項任務(wù)——從打開和關(guān)閉電器、櫥柜門和抽屜，到蓋上鍋蓋、推入椅子，甚至從垃圾箱中取出垃圾袋。

導(dǎo)語：一個新機器人系統(tǒng)Shikhar Bahl，可以直接從視頻中學(xué)習(xí)人們的行為，概括行為內(nèi)容，并從中學(xué)習(xí)，使得機器人能很高效的學(xué)習(xí)如何做家務(wù)。

資料來源：卡內(nèi)基梅隆大學(xué)

機器人看著 Shikhar Bahl 打開冰箱門。它記錄了他的動作、門的擺動、冰箱的位置等等，分析這些數(shù)據(jù)并準(zhǔn)備好模仿 Bahl 的所作所為。

起初它失敗了，有時完全錯過了手柄，在錯誤的位置抓住它或不正確地拉動它。但經(jīng)過幾個小時的練習(xí)，機器人成功打開了門。

“模仿是一種很好的學(xué)習(xí)方式，”博士 Bahl 說。卡內(nèi)基梅隆大學(xué)計算機科學(xué)學(xué)院機器人研究所 (RI) 的學(xué)生。“讓機器人真正從直接觀察人類中學(xué)習(xí)仍然是該領(lǐng)域未解決的問題，但這項工作在實現(xiàn)這種能力方面邁出了重要的一步。”

Bahl 與 RI 的教員 Deepak Pathak 和 Abhinav Gupta 合作，開發(fā)了一種新的機器人學(xué)習(xí)方法，稱為 WHIRL，是野外人類模仿機器人學(xué)習(xí)的縮寫。WHIRL 是一種用于一次性視覺模仿的有效算法。它可以直接從人機交互視頻中學(xué)習(xí)，并將該信息推廣到新任務(wù)，使機器人非常適合學(xué)習(xí)家務(wù)。

人們經(jīng)常在家中執(zhí)行各種任務(wù)。借助 WHIRL，機器人可以觀察這些任務(wù)并收集所需的視頻數(shù)據(jù)，最終確定如何自行完成工作。

該團隊為現(xiàn)成的機器人添加了攝像頭及其軟件，它學(xué)會了如何完成 20 多項任務(wù)——從打開和關(guān)閉電器、櫥柜門和抽屜到蓋上鍋蓋、推椅子甚至從垃圾箱里拿出一個垃圾袋。每次，機器人都會看著一個人完成一次任務(wù)，然后開始練習(xí)和學(xué)習(xí)自己完成任務(wù)。

該團隊本月在紐約舉行的機器人：科學(xué)與系統(tǒng)會議上介紹了他們的研究。

“這項工作提供了一種將機器人帶入家中的方法，”RI 的助理教授和團隊成員 Pathak 說。

“無需等待機器人被編程或訓(xùn)練成功完成不同的任務(wù)，然后再將它們部署到人們的家中，這項技術(shù)使我們能夠部署機器人并讓它們學(xué)習(xí)如何完成任務(wù)，同時適應(yīng)它們的環(huán)境并單獨改進通過觀看。”

當(dāng)前教授機器人任務(wù)的方法通常依賴于模仿或強化學(xué)習(xí)。在模仿學(xué)習(xí)中，人類手動操作機器人來教它如何完成任務(wù)。在機器人學(xué)習(xí)之前，這個過程必須為單個任務(wù)完成多次。在強化學(xué)習(xí)中，機器人通常接受數(shù)百萬個模擬示例的訓(xùn)練，然后要求將該訓(xùn)練適應(yīng)現(xiàn)實世界。

在結(jié)構(gòu)化環(huán)境中教機器人完成單個任務(wù)時，這兩種學(xué)習(xí)模型都能很好地工作，但它們很難擴展和部署。WHIRL 可以從人類執(zhí)行任務(wù)的任何視頻中學(xué)習(xí)。它易于擴展，不限于一項特定任務(wù)，并且可以在現(xiàn)實的家庭環(huán)境中運行。

該團隊甚至正在開發(fā)一個 WHIRL 版本，通過觀看來自 YouTube 和 Flickr 的人類互動視頻進行訓(xùn)練。

計算機視覺的進步使這項工作成為可能。使用基于互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練的模型，計算機現(xiàn)在可以理解和模擬 3D 運動。該團隊使用這些模型來了解人體運動，從而促進 WHIRL 訓(xùn)練。

借助 WHIRL，機器人可以在自然環(huán)境中完成任務(wù)。電器、門、抽屜、蓋子、椅子和垃圾袋沒有被修改或操縱以適應(yīng)機器人。

機器人最初的幾次嘗試都以失敗告終，但一旦成功了幾次，它很快就掌握了如何完成并掌握了它。雖然機器人可能無法以與人類相同的動作完成任務(wù)，但這不是目標(biāo)。

人和機器人有不同的部分，它們的動作也不同。重要的是最終結(jié)果是一樣的。門打開了。開關(guān)關(guān)閉。水龍頭已打開。

“要在野外擴展機器人技術(shù)，數(shù)據(jù)必須可靠且穩(wěn)定，并且機器人應(yīng)該通過自行練習(xí)在環(huán)境中變得更好，”Pathak 說。