首頁
產(chǎn)品系列
行業(yè)應用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當前位置:首頁 > 新聞資訊 > 機器人知識 > 機器人多模態(tài)視覺語言導航技術(shù)解析  
 

機器人多模態(tài)視覺語言導航技術(shù)解析

來源:算法邦      編輯:創(chuàng)澤      時間:2022/4/21      主題:其他   [加盟]

計算機視覺(CV)和自然語言處理(NLP)早先是兩個較為獨立的研究領(lǐng)域。CV 重點關(guān)注如何用計算機代替人眼對目標完成識別、跟蹤、測量等任務,對圖像進行處理;NLP 則研究計算機如何處理、運用自然語言,包括語言生成、問答、對話等任務。近年來,以深度神經(jīng)網(wǎng)絡為代表的機器學習和模式識別技術(shù)被廣泛應用于 CV 和 NLP 領(lǐng)域,取得了目前最先進的效果。

近年來,研究者們試圖將動作控制也引入到「視覺-語言」任務的框架中。吳琦將此類任務命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入后,我們希望機器能夠提出問題、回答問題、并通過和人以及機器之間的語言交流執(zhí)行某些動作。

例如,「Vision+Ask」的任務包含視覺問題生成、根據(jù)問題生成查詢、圖像描述等;「Vision+Answer」的任務包含視覺問答、視覺對話等;「Vision+Act」的任務包含指稱表達、視覺對齊(visual grounding)、語言引導的視覺導航、具身視覺問答、具身指稱表達等。




  



基于康復機器人內(nèi)部傳感器的運動功能評價方法

基于康復機器人內(nèi)部傳感器識別記錄訓練過程中的運動學參數(shù),能夠?qū)崟r定量評估不同的運動模式,還能夠掌握患者是否主動參與訓練等情況

優(yōu)必選科技副總裁龐建新:面向智能機器人的視覺感知與理解

智能機器人視覺方面的工作,主要體現(xiàn)在感知、理解、學習及推理4個方面,涉及到目標檢測、目標追蹤、人體姿態(tài)估計、人臉識別、行為識別、推理等技術(shù)

優(yōu)必選專家丁宏鈺深入講解大型仿人機器人整機構(gòu)型

從大型仿人機器人整機構(gòu)型國內(nèi)外研究現(xiàn)狀入手,圍繞機器人整機構(gòu)型、關(guān)節(jié)運動特點、伺服驅(qū)動器、減速器、仿真平臺等方面進行深度講解,最后就大型仿人機器人整機構(gòu)型未來發(fā)展趨勢給出自己的見解

個性化的人機交互

HRI的MTL可以使機器人更輕松,更智能地與新用戶進行交互,即使使用諸如RL這樣的數(shù)據(jù)密集型方法,也可以避免社交交互失敗的不利影響。MTL和多模態(tài)ML已用于自動識別自閉癥譜系障礙(ASD)兒童

淺談服務機器人的潛在危險

服務機器人潛在危險有:電擊、與能量有關(guān)的危險、著火、與熱有關(guān)的危險、機械危險、輻射、化學危險等

視頻搜索太難了!阿里文娛多模態(tài)搜索算法實踐

視頻搜索是涉及信息檢索、自然語言處理(NLP)、機器學習、計算機視覺(CV)等多領(lǐng)域的綜合應用場景

野外自主農(nóng)作物探測機器人Robotanist使用擴展卡爾曼濾波器(EKF)方法融合MTI等傳感器信息

驅(qū)動系統(tǒng)由4個200W無刷直流電機構(gòu)成,通過50:1的空心軸減速機可以最高達2m/s的速度在玉米、高粱等農(nóng)作物的地里前進

Jupiter由四輪獨立轉(zhuǎn)向的底盤和UR5機械臂組成通過SSD網(wǎng)絡檢測目標物體

通過2D激光雷達信息采用Hector SLAM實現(xiàn)機器人對地圖的感知和自主導航規(guī)劃,通過頂部的RGB-D相機采集目標物體深度和RGB圖像信息

移動式操作機器人平臺Personal Robot 2可模擬開門、打臺球和畫畫

機器人的學習分為三個部分的軌跡預測包括示教者的手部運動軌跡、示教者的身體移動軌跡以及被操作物體的運動軌跡

仿人操作機器人Cosero配備7自由度機械臂裝有Kinect相機實現(xiàn)對目標環(huán)境的3D感知

Cosero是德國波恩大學的Sven Behnke團隊根據(jù)家庭環(huán)境中的日常操作任務而研制的一款仿人操作機器人基于深度學習方法的目標姿態(tài)估計和RGB-D SLAM等感知測量

傳感器面臨時代新機遇,未來發(fā)展將呈現(xiàn)哪些趨勢

機器人、無人機、自動駕駛汽車等加快落地,智慧城市深入建設,更是為傳感器產(chǎn)業(yè)帶來了難以估量的龐大機遇

中國移動室內(nèi)定位白皮書

中國移動聯(lián)合產(chǎn)業(yè)合作伙伴發(fā)布《室內(nèi)定位白皮書》,對室內(nèi)定位產(chǎn)業(yè)發(fā)展現(xiàn)狀及面臨的挑戰(zhàn),深入分析了垂直行業(yè)的室內(nèi)定位需求,并詳細闡述了實現(xiàn)室內(nèi)定位的技術(shù)原理, 及室內(nèi)定位評測體系
 
資料獲取

服務機器人在展館迎賓講解
新聞資訊
== 資訊 ==
» 人形機器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導診服務機器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達傳感技術(shù)室內(nèi)照明應用規(guī)范
» 人工智能研發(fā)運營體系(ML0ps)實踐指
» 四驅(qū)四轉(zhuǎn)移動機器人運動模型及應用分析
» 國內(nèi)細分賽道企業(yè)在 AIGC 各應用場景
» 國內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務場景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應用場景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時更短 優(yōu)
 
== 機器人推薦 ==
 
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人底盤

機器人底盤

 

商用機器人  Disinfection Robot   展廳機器人  智能垃圾站  輪式機器人底盤  迎賓機器人  移動機器人底盤  講解機器人  紫外線消毒機器人  大屏機器人  霧化消毒機器人  服務機器人底盤  智能送餐機器人  霧化消毒機  機器人OEM代工廠  消毒機器人排名  智能配送機器人  圖書館機器人  導引機器人  移動消毒機器人  導診機器人  迎賓接待機器人  前臺機器人  導覽機器人  酒店送物機器人  云跡科技潤機器人  云跡酒店機器人  智能導診機器人 
版權(quán)所有 © 創(chuàng)澤智能機器人集團股份有限公司     中國運營中心:北京·清華科技園九號樓5層     中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728