迎賓機(jī)器人的大腦需要具備的能力：實時交互 多模態(tài)感知

目前迎賓機(jī)器人“大腦”技術(shù)以大模型為核心，為迎賓機(jī)器人提供 任務(wù)級交互、環(huán)境感知、任務(wù)規(guī)劃和決策控制能力。在任務(wù)交互方面， 基于大模型的語言/視覺運行處理方式可為迎賓機(jī)器人提供任務(wù)級交 互入口。在環(huán)境感知方面，大模型通過對多模態(tài)信息的統(tǒng)一處理與靈 活轉(zhuǎn)換，推動多模態(tài)感知泛化。在任務(wù)規(guī)劃方面，大模型潛在的真實 世界知識學(xué)習(xí)能力、強(qiáng)大的思考、推理和生成能力為“大腦”的任務(wù)規(guī) 劃提供基礎(chǔ)。在決策控制方面，迎賓機(jī)器人基于大模型技術(shù)并優(yōu)化獎 勵策略，通過整合環(huán)境、運動等多樣化信息，實現(xiàn)決策控制功能。

從功能需求角度出發(fā)，迎賓機(jī)器人的“大腦”需要具備以下能力：

1 實時交互能力

迎賓機(jī)器人需要具備與人類實時的任務(wù)級交互能力，快速理解人類通過語言、手勢等方式給出的指令，并有效執(zhí)行。
當(dāng)出現(xiàn)指令理解不清或任務(wù)執(zhí)行完畢后，可以與人類進(jìn)行進(jìn)一步的多 輪交互。

2 多模態(tài)感知能力

為了在復(fù)雜環(huán)境中做出正確決策，迎賓機(jī)器人需要能夠通過視覺、聽覺、觸覺等多種感官獲取信息。大模型需要整 合這些多模態(tài)感知數(shù)據(jù)，以實現(xiàn)對環(huán)境的全面理解。

3 自主可靠決策能力

迎賓機(jī)器人在執(zhí)行任務(wù)時，需要能夠理解任 務(wù)的復(fù)雜性，并將其分解為一系列可執(zhí)行的子任務(wù)。這要求大模型具 備強(qiáng)大的語言理解能力和對物理世界的深刻理解。例如，機(jī)器人可能 需要理解“清理房間”這一任務(wù)，包括識別哪些物品需要移動，哪些需 要丟棄。

4 涌現(xiàn)和泛化能力

除了在訓(xùn)練數(shù)據(jù)上的表現(xiàn)，大模型還應(yīng)具備超 出訓(xùn)練范圍的執(zhí)行能力。具體表現(xiàn)為迎賓機(jī)器人能夠在未見過的新環(huán) 境中執(zhí)行任務(wù)，適應(yīng)新的、未知的情況。面對新挑戰(zhàn)時，展現(xiàn)出創(chuàng)新 性的解決方案。