一種基于層次強化學習的機械手魯棒操作

機械手內(nèi)操作（in-hand manipulation）是指使用單只機械手，通過移動手指、手掌等部位來改變物體在手中的相對位置和姿態(tài)。這種能力對于機器人實現(xiàn)人類水平的靈巧操作極為重要，因為在日常生活中有很多類似的任務(wù)，例如抓取一件工具并調(diào)整它在手中的位置和旋轉(zhuǎn)角度。我們注意到，在實現(xiàn)復雜的操作目標時，人在操作物體時常常改變抓取物體的手指接觸點位置，從而極大的提高物體在手中的位姿范圍。

傳統(tǒng)上，手內(nèi)操作有兩類解決方案，一類是基于模型的方法（model-based method），通過對抓取的動力學建模，來控制手指移動帶動物體姿態(tài)。這種辦法好處在于穩(wěn)定性強，模型簡單，但問題在于難以實現(xiàn)較長和復雜的手內(nèi)操作流程，特別是目標位姿和起始位姿相距很遠的情況，因為它們很難規(guī)劃手指接觸點的移動；另一類方法是無模型方法（model-free method），通常使用深度強化學習的方法。這類方法優(yōu)點在于不需要系統(tǒng)模型，但缺點在于穩(wěn)定性差，并且需要大量數(shù)據(jù)進行訓練。而我們的方法結(jié)合了這兩種方法：在底層使用傳統(tǒng)的動力學建模方式保持穩(wěn)定的抓取和實現(xiàn)簡單基本的操作單元，在中層通過深度強化學習來進行規(guī)劃，選擇不同的操作單元，最終實現(xiàn)穩(wěn)定且復雜的操作流程。我們的方法結(jié)合了兩種方法的優(yōu)點：在底層通過使用基于模型的操作單元，保證了手指與物體之間持續(xù)穩(wěn)定的抓取；在中層使用強化學習進行規(guī)劃，從而實現(xiàn)較長和復雜的手內(nèi)操作流程。

2.  研究方法

在底層，我們使用柔性力矩控制器定義了三個操作單元，分別是reposing，sliding和flipping。Reposing是指在不改變手指與物體接觸點的前提下，通過控制機械手改變物體的位姿；sliding是指在不改變物體位姿的前提下，沿著物體滑動指尖改變接觸點；flipping是指將指頭從一側(cè)移動到另一側(cè)，從而改變抓握方式。在中層，我們使用深度強化學習網(wǎng)絡(luò)學習在給定目標位姿下選擇底層操作單元，最終形成一條由大量不同操作單元組成的序列，實現(xiàn)復雜的操作目標。