多模態(tài)檢索成為近期關(guān)注的問(wèn)題，當(dāng)前的方法包括單流方法、多流方法，以及不同模態(tài)之 間對(duì)齊的技術(shù)，已經(jīng)在知識(shí)挖掘領(lǐng)域開(kāi)展應(yīng)用。

圖像問(wèn)答可以分為三個(gè)層次:

1.初級(jí):從圖像識(shí)別啲結(jié)果中直接得到答案

2.中等：答案需要簡(jiǎn)單事實(shí)的支持

3.高級(jí):對(duì)于復(fù)雜的問(wèn)題，答案不在圖像中，可能涉及常識(shí)、具體 話題和百科知識(shí)進(jìn)行推理

多模態(tài)問(wèn)答的挑戰(zhàn)：

1 多模態(tài)數(shù)據(jù)具有異構(gòu)性

2 多模態(tài)數(shù)據(jù)的關(guān)聯(lián)難度表示較大

3 多模態(tài)知識(shí)融合困難

4 多模態(tài)問(wèn)答大多只能處理簡(jiǎn)單的問(wèn)題

5 多模態(tài)知識(shí)問(wèn)答推理能力弱

6 多模態(tài)知識(shí)問(wèn)答可解釋性差

廣東九通智能裝備有限公司
    地址：廣州市番禺區(qū)石碁鎮(zhèn)永善村南一路2號(hào)(廠房)之貳     聯(lián)系電話：15915749****