多尺度圖卷積神經(jīng)網(wǎng)絡(luò)：有效統(tǒng)一三維形狀離散化特征表示

三維不規(guī)則數(shù)據(jù)常常出現(xiàn)在許多領(lǐng)域的研究中，比如社會(huì)科學(xué)中的社會(huì)網(wǎng)絡(luò)、大腦成像中的功能網(wǎng)絡(luò)，又或者在我們接下來要提到的研究三維形狀的計(jì)算機(jī)圖形學(xué)中，這樣的不規(guī)則數(shù)據(jù)在現(xiàn)實(shí)生活中幾乎是無處不在的。

近年來，基于這種三維不規(guī)則數(shù)據(jù)的深度學(xué)習(xí)發(fā)展迅速，而圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)對三維不規(guī)則數(shù)據(jù)的表現(xiàn)尤為突出[2]。

在計(jì)算機(jī)圖形學(xué)中，為了虛擬化真實(shí)世界的物體(如人或者動(dòng)物等)，三維形狀通常需要離散化為網(wǎng)格（mesh），用于真實(shí)感渲染。但是，因?yàn)樵O(shè)備的差異或采集方式的不同，很難針對單個(gè)三維形狀得到的相同的離散化方式（固定的分辨率和連接關(guān)系）。這種同一個(gè)形狀具有不同的離散化方式是計(jì)算機(jī)圖形學(xué)有別于其他學(xué)科的一個(gè)重要特點(diǎn)，而現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)無法有效統(tǒng)一不同離散化下的特征，這極大地限制了圖神經(jīng)網(wǎng)絡(luò)在圖形學(xué)領(lǐng)域的發(fā)展。

那么，如何解決這一問題呢？

自動(dòng)化所團(tuán)隊(duì)提出了一種新穎的多尺度圖卷積神經(jīng)網(wǎng)絡(luò)，重點(diǎn)解決了傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡(luò)中圖節(jié)點(diǎn)學(xué)習(xí)到的特征對圖分辨率和連接關(guān)系敏感的問題。該方法可以實(shí)現(xiàn)在低分辨率的三維形狀上學(xué)習(xí)特征，在高低分辨率形狀之上進(jìn)行測試，并且保持不同分辨率特征的一致性。

01 研究背景

傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)通常聚集1-鄰域（GCN），k-環(huán)鄰域（ChebyGCN）或k-近鄰鄰域（DGCNN）的信息，所以其感受野與分辨率或者圖連接關(guān)系是相關(guān)的。也就是說，在三維形狀的不同離散化下，卷積的感受野對應(yīng)的形狀語義范圍產(chǎn)生了較大的變化。如何解決這種卷積方式未考慮到針對不同離散化情況所產(chǎn)生的問題，存在較大的挑戰(zhàn)。

02 方法簡述

為解決現(xiàn)有圖卷積神經(jīng)網(wǎng)絡(luò)的問題，團(tuán)隊(duì)設(shè)計(jì)了一種多尺度圖卷積神經(jīng)網(wǎng)絡(luò)（multiscale graph convolutional network，MGCN）。如圖1所示，我們發(fā)現(xiàn)，針對不同分辨率和連接關(guān)系的離散化，三維圖譜小波函數(shù)表現(xiàn)出極佳的魯棒性，并且不需要計(jì)算測地距離。因此，我們設(shè)計(jì)將多尺度的小波函數(shù)嵌入到圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)當(dāng)中。