基于深度學(xué)習(xí)和傳統(tǒng)算法的人體姿態(tài)估計(jì)，技術(shù)細(xì)節(jié)都講清楚了

計(jì)算機(jī)視覺的一大研究熱點(diǎn)是人體姿態(tài)估計(jì)，還有很多問題急需解決，比如遮擋，交互等等。在最近的CVPR2020里邊也有很多這方面的工作。本文站長主要是想談?wù)劵�于深度學(xué)習(xí)的實(shí)時(shí)多人姿態(tài)估計(jì)。

人體姿態(tài)估計(jì)要干嘛？

關(guān)于人類活動(dòng)規(guī)律的研究，必定是計(jì)算機(jī)視覺領(lǐng)域首要關(guān)注的內(nèi)容。其中，人體姿態(tài)估計(jì)便是計(jì)算機(jī)視覺領(lǐng)域現(xiàn)有的熱點(diǎn)問題，其主要任務(wù)是讓機(jī)器自動(dòng)地檢測場景中的人“在哪里”和理解人在“干什么”。

隨著信息化時(shí)代的迅速發(fā)展，人類每時(shí)每刻都在通過多種多樣的手段和途徑獲得海量的可視化圖像數(shù)據(jù)，這使得基于自然場景圖像的人姿態(tài)估計(jì)研究在現(xiàn)實(shí)生活中擁有很多潛在的應(yīng)用價(jià)值。圖1展示了自然場景圖像中人體姿態(tài)估計(jì)的研究應(yīng)用。

Fig.1: 自然場景圖像人體姿態(tài)估計(jì)的研究應(yīng)用

在信息化的時(shí)代，視頻監(jiān)控正在銀行、超市以及公安機(jī)關(guān)等關(guān)乎人民財(cái)產(chǎn)、人身安全的重要場所發(fā)揮著舉足輕重的角色。面對海量的視頻圖像序列，為了及時(shí)地制止現(xiàn)場事故的進(jìn)一步發(fā)生，工作人員必須長時(shí)間且精神高度集中地觀察視頻監(jiān)控畫面并對異常事件作出處理。

除了工作人員很難長時(shí)間地保持高度警惕外，長期投入大量的人力來監(jiān)測小概率發(fā)生的事件也不是單位機(jī)構(gòu)提倡的做法。因此，實(shí)現(xiàn)視頻監(jiān)控的智能化成為一種互聯(lián)網(wǎng)時(shí)代的必然趨勢。但是，實(shí)現(xiàn)智能視頻監(jiān)控的前提條件是讓機(jī)器自動(dòng)地識別視頻圖像序列中的人體姿態(tài)，從而進(jìn)一步分析視頻圖像中人類的行為活動(dòng)。

這就涉及到了我們下面所要說的人體行為分析了。

人體行為分析又為那般？

人體行為分析理解成為了近幾年研究的熱點(diǎn)之一。在人體行為分析理解的發(fā)展過程中，研究人員攻克了很多技術(shù)上的難關(guān)，并形成了一些經(jīng)典算法，但仍有很多尚未解決的問題。從研究的發(fā)展趨勢來看，人體行為分析的研究正由采用單一特征、單一傳感器向采用多特征、多傳感器的方向發(fā)展。而人體姿態(tài)估計(jì)作為人體行為識別的一個(gè)重要特征，是進(jìn)行人體行為分析的基礎(chǔ)，是人體行為分析領(lǐng)域備受關(guān)注的研究方向之一。

人體姿態(tài)估計(jì)是指從圖像中檢測人體各部分的位置并計(jì)算其方向和尺度信息。人體行為分析是基于多幀圖像的前后關(guān)系進(jìn)行分析理解，而人體姿態(tài)識別是針對單幀靜態(tài)圖像進(jìn)行處理。正確識別出多幀連續(xù)的靜態(tài)圖像的姿態(tài)信息，為實(shí)現(xiàn)正確的行為分析理解提供了可能。因此，人體姿態(tài)估計(jì)的準(zhǔn)確性與實(shí)時(shí)性直接影響人體行為分析的準(zhǔn)確性和實(shí)時(shí)性，確保實(shí)時(shí)準(zhǔn)確的姿態(tài)識別是進(jìn)行下一步行為分析的基礎(chǔ)。

現(xiàn)在，我們的人體姿態(tài)估計(jì)課題的發(fā)展已越來越貼近實(shí)際，例如在步態(tài)分析、人機(jī)交互以及視頻監(jiān)控等領(lǐng)域，人體姿態(tài)估計(jì)均具有廣泛的應(yīng)用前景。所以呢，研究人體姿態(tài)估計(jì)還是蠻有意思的，好玩 !

當(dāng)前姿態(tài)估計(jì)算法有哪些？

目前主流的人體姿態(tài)估計(jì)算法可以劃分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。

基于傳統(tǒng)方法的人體姿態(tài)估計(jì)

傳統(tǒng)方法一般是基于圖結(jié)構(gòu)和形變部件模型，設(shè)計(jì)2D人體部件檢測器，使用圖模型建立各部件的連通性，并結(jié)合人體運(yùn)動(dòng)學(xué)的相關(guān)約束不斷優(yōu)化圖結(jié)構(gòu)模型來估計(jì)人體姿態(tài)。

其缺點(diǎn)是什么？

First，傳統(tǒng)方法雖然擁有較高的時(shí)間效率，但是由于其提取的特征主要是人工設(shè)定的HOG和SHIFT特征，無法充分利用圖像信息，導(dǎo)致算法受制于圖像中的不同外觀、視角、遮擋和固有的幾何模糊性。同時(shí)，由于部件模型的結(jié)構(gòu)單一，當(dāng)人體姿態(tài)變化較大時(shí)，部件模型不能精確地刻畫和表達(dá)這種形變，同一數(shù)據(jù)存在多個(gè)可行的解，即姿態(tài)估計(jì)的結(jié)果不唯一，導(dǎo)致傳統(tǒng)方法適用范圍受到很大限制。
Second，另一方面，傳統(tǒng)方法很多是基于深度圖等數(shù)字圖像提取姿態(tài)特征的算法，但是由于采集深度圖像需要使用專業(yè)的采集設(shè)備，成本較高，所以很難適用于所有的應(yīng)用場景，而且采集過程需要同步多個(gè)視角的深度攝像頭以減小遮擋問題帶來的影響，導(dǎo)致人體姿態(tài)數(shù)據(jù)的獲取過程復(fù)雜困難。因此這種傳統(tǒng)的基于手工提取特征，并利用部件模型建立特征之間聯(lián)系的方法大多數(shù)是昂貴和低效的。
基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)算法

隨著大數(shù)據(jù)時(shí)代的到來，深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域得到了成功的應(yīng)用。因此，考慮如何將深度學(xué)習(xí)用于解決人體姿態(tài)估計(jì)問題，是人體姿態(tài)估計(jì)領(lǐng)域的學(xué)者們繼圖結(jié)構(gòu)模型后所要探索的另一個(gè)重點(diǎn)。早期利用深度學(xué)習(xí)估計(jì)人體姿態(tài)的方法，都是通過深度學(xué)習(xí)網(wǎng)絡(luò)直接回歸出輸入圖像中關(guān)節(jié)點(diǎn)的坐標(biāo)。

總結(jié)

六階段雙分支網(wǎng)絡(luò)結(jié)構(gòu)在關(guān)節(jié)點(diǎn)預(yù)測精度上略高于現(xiàn)有傳統(tǒng)的的人體姿態(tài)估計(jì)算法。本次站長采用的算法利用自底向上的思想，首先預(yù)測出所有骨點(diǎn)位置，并將骨點(diǎn)連接形成圖結(jié)構(gòu)，通過圖優(yōu)化實(shí)現(xiàn)多人體姿態(tài)估計(jì)。算法運(yùn)行效率方面，由于網(wǎng)絡(luò)同時(shí)預(yù)測出關(guān)節(jié)點(diǎn)位置和關(guān)節(jié)點(diǎn)之間的空間關(guān)系，為多人姿態(tài)估計(jì)算法提供更加稀疏的二分圖，降低二分圖優(yōu)化復(fù)雜度而達(dá)到了實(shí)時(shí)的效果。