移動(dòng)機(jī)器人Wang利用深度強(qiáng)化學(xué)習(xí)算法和視覺(jué)感知相結(jié)合的方法完成非結(jié)構(gòu)環(huán)境下的移動(dòng)

中科院沈陽(yáng)自動(dòng)化所的Wang利用深度強(qiáng)化學(xué)習(xí)算法和視覺(jué)感知相結(jié)合的方法來(lái)完成移動(dòng)機(jī)器人(如圖3(a))在非結(jié)構(gòu)環(huán)境下的移動(dòng)操作[7]。作者將移動(dòng)操作過(guò)程看做一個(gè)標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)問(wèn)題，首先通過(guò)雙目相機(jī)通過(guò)DOPE獲取目標(biāo)物體的6D姿態(tài)p以及機(jī)器人本體的當(dāng)前狀態(tài)st,接著通過(guò)基于PPO的強(qiáng)化學(xué)習(xí)算法預(yù)測(cè)機(jī)器人的本體，機(jī)械臂以及機(jī)械手的運(yùn)動(dòng)并控制機(jī)器人本體運(yùn)動(dòng)，最后機(jī)器人的運(yùn)動(dòng)狀態(tài)st+1和響應(yīng)rt，其中響應(yīng)主要包含了整個(gè)系統(tǒng)的控制響應(yīng)rctrl、機(jī)械手末端的位置響應(yīng)rdist以及抓取狀態(tài)rgrasp(如圖3(b))。最后作者在仿真環(huán)境和真實(shí)環(huán)境下測(cè)試了不同高度下的抓取成功率，在仿真中，立方體的抓取效果最好達(dá)到了90%的成功率，而球類物體較差僅有60%左右，而在實(shí)際測(cè)試過(guò)程中，在姿態(tài)估計(jì)正確的前提下可實(shí)現(xiàn)目標(biāo)物體的成功抓取(如圖3(c)(d))。