移動機器人Wang利用深度強化學習算法和視覺感知相結合的方法完成非結構環(huán)境下的移動

中科院沈陽自動化所的Wang利用深度強化學習算法和視覺感知相結合的方法來完成移動機器人(如圖3(a))在非結構環(huán)境下的移動操作[7]。作者將移動操作過程看做一個標準的強化學習問題，首先通過雙目相機通過DOPE獲取目標物體的6D姿態(tài)p以及機器人本體的當前狀態(tài)st,接著通過基于PPO的強化學習算法預測機器人的本體，機械臂以及機械手的運動并控制機器人本體運動，最后機器人的運動狀態(tài)st+1和響應rt，其中響應主要包含了整個系統(tǒng)的控制響應rctrl、機械手末端的位置響應rdist以及抓取狀態(tài)rgrasp(如圖3(b))。最后作者在仿真環(huán)境和真實環(huán)境下測試了不同高度下的抓取成功率，在仿真中，立方體的抓取效果最好達到了90%的成功率，而球類物體較差僅有60%左右，而在實際測試過程中，在姿態(tài)估計正確的前提下可實現(xiàn)目標物體的成功抓取(如圖3(c)(d))。