機(jī)器人示教學(xué)習(xí):高級(jí)技能學(xué)習(xí)方法（學(xué)習(xí)計(jì)劃和學(xué)習(xí)目標(biāo)）

機(jī)器人可以在人類教師反饋的基礎(chǔ)上來(lái)探索某項(xiàng)任務(wù)。反饋提供了關(guān)于機(jī)器人嘗試的任務(wù)滿足目標(biāo)的程度的信息。大多數(shù)基于反饋的工作傾向于采用強(qiáng)化學(xué)習(xí)。傳統(tǒng)的RL算法提供了一個(gè)反饋(獎(jiǎng)勵(lì))信號(hào)，在這種情況下使用了人工響應(yīng)。在某些情況下，除了人類的反饋，任務(wù)的表現(xiàn)直接受到老師的影響，老師允許選擇下一步行動(dòng)。在[10]中，這種方法將任務(wù)學(xué)習(xí)表現(xiàn)提高了約50%。

需要注意的是，有時(shí)選擇的示教方法和獲取的數(shù)據(jù)類型與學(xué)習(xí)算法的選擇有關(guān)。一方面來(lái)自多個(gè)模態(tài)的示范增加了維數(shù)，增加了學(xué)習(xí)的復(fù)雜性。數(shù)據(jù)的維數(shù)可以降低，但是有些信息被忽略，導(dǎo)致從示教數(shù)據(jù)中學(xué)習(xí)不當(dāng)。另一方面，缺少傳感模態(tài)可能會(huì)在一開(kāi)始就提供不完整的信息，導(dǎo)致學(xué)習(xí)算法表現(xiàn)不理想。

高級(jí)技能可以認(rèn)為是一組低級(jí)技能或一組動(dòng)作基元。除此之外，高級(jí)技能還包括對(duì)象可視性，涉及構(gòu)建物理世界對(duì)象和機(jī)器人動(dòng)作之間關(guān)系的知識(shí)。高級(jí)技能學(xué)習(xí)方法可以大致分為學(xué)習(xí)計(jì)劃和學(xué)習(xí)目標(biāo)。

1）學(xué)習(xí)計(jì)劃:在這種高級(jí)技能的學(xué)習(xí)方法中，學(xué)習(xí)計(jì)劃為從初始狀態(tài)到最終狀態(tài)的一系列動(dòng)作。因此，動(dòng)作是根據(jù)前置條件和后置條件定義的。前置條件為動(dòng)作執(zhí)行前的狀態(tài)，后置條件為動(dòng)作執(zhí)行后的狀態(tài)。除此之外，人類教師還用注釋的形式提供附加信息。注釋可以通過(guò)觸覺(jué)、視覺(jué)或語(yǔ)義來(lái)提供。額外的信息允許更好地概括高水平的技能。可執(zhí)行的動(dòng)作可以是簡(jiǎn)單的低級(jí)技能，如抓住目標(biāo)對(duì)象，拾起綠色的對(duì)象等，組合起來(lái)形成一個(gè)高級(jí)任務(wù)，如排序綠色的對(duì)象。另一方面，有一些方法可以通過(guò)在示教數(shù)據(jù)中尋找重復(fù)的結(jié)構(gòu)來(lái)從高級(jí)技能示教中提取低級(jí)技能，這樣就可以在不同的示教中識(shí)別它。在[2]中，一個(gè)示教學(xué)習(xí)范例是通過(guò)人類示教和在程序界面輸入的用戶目的來(lái)描述的。在[18]中，一些涉及一系列順序旋轉(zhuǎn)和轉(zhuǎn)換的日常對(duì)象操作的示教被用來(lái)提取順序的低級(jí)技能，并進(jìn)一步構(gòu)建一個(gè)計(jì)劃。這項(xiàng)工作還示教了從一個(gè)對(duì)象到其他類似對(duì)象的學(xué)習(xí)知識(shí)轉(zhuǎn)移。

2）學(xué)習(xí)目標(biāo):推斷高級(jí)技能的目標(biāo)。人類教師提供的示教被用來(lái)推斷執(zhí)行高級(jí)技能的意圖。通過(guò)生成假設(shè)，可以從重復(fù)的示教中推斷出目標(biāo)。現(xiàn)代方法也使用基于獎(jiǎng)勵(lì)函數(shù)的強(qiáng)化學(xué)習(xí)方法來(lái)實(shí)現(xiàn)期望目標(biāo)。如果獎(jiǎng)勵(lì)函數(shù)是從給定的示教中學(xué)習(xí)的，那么它就被認(rèn)為是目標(biāo)學(xué)習(xí)。一些基于強(qiáng)化學(xué)習(xí)的方法得到了很好的研究[19]。

3、討論總結(jié)

技能的學(xué)習(xí)直接依賴于示教的準(zhǔn)確性。大多數(shù)方法[20]手動(dòng)消除了部分示教中的噪聲。結(jié)合強(qiáng)化學(xué)習(xí)，在獎(jiǎng)勵(lì)和探索機(jī)制的基礎(chǔ)上對(duì)技能學(xué)習(xí)進(jìn)行改進(jìn)。另一種改進(jìn)技能的方法涉及示教者反饋[21]。當(dāng)機(jī)器人在一個(gè)稍微不熟悉的情況下執(zhí)行學(xué)習(xí)到的技能時(shí)，從人類教師那里得到關(guān)于執(zhí)行技能可取性的反饋。目前為了實(shí)現(xiàn)這種技能細(xì)化的方法，研究人員主要從兩個(gè)方面進(jìn)行了研究：（1）控制機(jī)器人和人類教師之間的信息交互，（2）提供反饋。