AI也會(huì)遭遇瓶頸 解析人工智能技術(shù)的存儲(chǔ)性能需求

2020年對(duì)于很多人而言都是永遠(yuǎn)值得銘記的一年，突如其來(lái)的新冠疫情幾乎改變了每個(gè)人的生活，它不僅給人類(lèi)的經(jīng)濟(jì)造成了重大損失，也給人類(lèi)的健康帶來(lái)了巨大的威脅。面對(duì)這難以對(duì)付的病毒，我們既看到了無(wú)數(shù)勇士的悲壯逆行，也看到了科技在整個(gè)抗疫斗爭(zhēng)中所起到的關(guān)鍵作用，特別是其中的AI人工智能技術(shù)——通過(guò)AI技術(shù)我們可以加速疫苗的研發(fā)；通過(guò)AI技術(shù)，在眾多醫(yī)療終端設(shè)備以及大量的病人臨床數(shù)據(jù)中，我們能提煉出最佳的診斷方案，加速診斷的效率，提升診斷的效果�？梢哉f(shuō)，AI技術(shù)在這次關(guān)鍵的戰(zhàn)役中發(fā)揮出了重大的作用。

人工智能已經(jīng)深入醫(yī)療、教育、工業(yè)到能源、金融等各個(gè)領(lǐng)域。

因此并不意外，在2020年第三屆軟件定義存儲(chǔ)峰會(huì)上，英特爾提出的主題是“突破內(nèi)存與存儲(chǔ)瓶頸 釋放人工智能無(wú)限潛力”。畢竟在這場(chǎng)抗疫戰(zhàn)斗中，英特爾不僅投入重金資助合作伙伴使用AI技術(shù)進(jìn)行診斷、疫苗開(kāi)發(fā)方面的研究，還推動(dòng)AI科技在醫(yī)學(xué)檢驗(yàn)、醫(yī)療物資生產(chǎn)、疫情推演等多個(gè)領(lǐng)域加速落地，英特爾深知AI人工智能對(duì)人類(lèi)的重要性。除了對(duì)抗新型病毒，AI人工智能技術(shù)其實(shí)也深入了人類(lèi)生活的各個(gè)領(lǐng)域。英特爾公司中國(guó)區(qū)非易失性存儲(chǔ)解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開(kāi)發(fā)總監(jiān)倪錦峰先生在峰會(huì)上談到：“從醫(yī)療、教育、工業(yè)到能源、金融等等，每個(gè)行業(yè)都在以數(shù)字化的方式來(lái)尋求主動(dòng)變革，我們可以預(yù)見(jiàn)的是，在不遠(yuǎn)的將來(lái)，整個(gè)社會(huì)對(duì)數(shù)字化的服務(wù)需求將不斷地激增”。

AI人工智能技術(shù)將給存儲(chǔ)產(chǎn)品帶來(lái)重大挑戰(zhàn)

人工智能技術(shù)的數(shù)據(jù)管道主要分為采集、準(zhǔn)備、訓(xùn)練和推理四部分。每個(gè)部分需要讀寫(xiě)不同類(lèi)型的數(shù)據(jù)，工作負(fù)載也不盡相同。

“工欲善其事，必先利其器”，要想發(fā)揮出AI人工智能技術(shù)的最大威力，需要企業(yè)構(gòu)建強(qiáng)有力的IT基礎(chǔ)設(shè)施。這個(gè)設(shè)施不僅需要強(qiáng)有力的處理器、FPGA、GPU，也需要高性能的存儲(chǔ)設(shè)備，否則就會(huì)如普通電腦一般，因?yàn)闄C(jī)械硬盤(pán)傳輸速度最慢，尋找數(shù)據(jù)的時(shí)間最長(zhǎng)，往往會(huì)成為整個(gè)系統(tǒng)性能的瓶頸，即使是SATA/PCIe NAND SSD，很多時(shí)候也跟不上AI數(shù)據(jù)處理的需求。倪錦峰先生介紹到，無(wú)論用于哪個(gè)行業(yè)，人工智能的工作實(shí)際上主要由采集、準(zhǔn)備、訓(xùn)練和推理四部分組成。每個(gè)部分需要讀寫(xiě)不同類(lèi)型的數(shù)據(jù)，工作負(fù)載也不盡相同，將給存儲(chǔ)設(shè)備帶來(lái)較大的挑戰(zhàn)。

簡(jiǎn)單地說(shuō)，在整個(gè)人工智能執(zhí)行過(guò)程中，IO的需求是不可預(yù)測(cè)、復(fù)雜多變的，它讀寫(xiě)的數(shù)據(jù)主要有三個(gè)重要的特點(diǎn)：

第一是它的數(shù)據(jù)集大小，差異性非常大，在最初開(kāi)始的采集階段是PB級(jí)別，到訓(xùn)練階段是GB級(jí)別，到訓(xùn)練好了執(zhí)行的函數(shù)，相關(guān)的模型可能是KB級(jí)別；

第二它的工作負(fù)載也是復(fù)雜多變的，從最初百分之百的寫(xiě)入到準(zhǔn)備階段的50%讀、50%寫(xiě)混合負(fù)載，到后面的一些訓(xùn)練、推理階段可能出現(xiàn)百分之百的讀，其中包括很多的隨機(jī)讀取操作；

第三是存儲(chǔ)模式也會(huì)有很多變化，從一開(kāi)始順序化的數(shù)據(jù)流寫(xiě)入，到后面則是通過(guò)完全隨機(jī)的讀寫(xiě)，來(lái)幫助建立準(zhǔn)確的模型。

    

因此人工智能技術(shù)對(duì)存儲(chǔ)性能的要求是很苛刻的，用戶(hù)總是希望設(shè)備能滿足高吞吐量和低延時(shí)的需求，總是希望更多的數(shù)據(jù)能夠更加靠近處理器，以獲取及時(shí)的傳輸、執(zhí)行，但用戶(hù)又會(huì)希望AI的基礎(chǔ)設(shè)施投資成本能在可控的范圍之內(nèi)，可以說(shuō)這是一個(gè)相互矛盾的需求，那么對(duì)于用戶(hù)來(lái)說(shuō)如何才能實(shí)現(xiàn)這個(gè)愿望呢？

 

優(yōu)化成本，提升性能

英特爾存儲(chǔ)產(chǎn)品構(gòu)建分層存儲(chǔ) 

首先還是應(yīng)對(duì)用戶(hù)使用的數(shù)據(jù)類(lèi)型進(jìn)行研究，倪錦峰先生向我們展示了英特爾經(jīng)典的存儲(chǔ)金字塔圖。在應(yīng)用中，并不是所有數(shù)據(jù)都會(huì)經(jīng)常被用到，因此數(shù)據(jù)可以被分成熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù)等3個(gè)不同層次。熱數(shù)據(jù)即需要立馬進(jìn)行處理的數(shù)據(jù)，例如銀行收到的轉(zhuǎn)賬請(qǐng)求，即時(shí)的地理位置等。溫?cái)?shù)據(jù)是非即時(shí)的狀態(tài)和行為數(shù)據(jù)，例如用戶(hù)近期感興趣的話題，或用戶(hù)最近去過(guò)的地方等，冷數(shù)據(jù)則是不經(jīng)常訪問(wèn)的數(shù)據(jù)。

研究數(shù)據(jù)類(lèi)型、數(shù)據(jù)使用所形成的工作負(fù)載，對(duì)數(shù)據(jù)進(jìn)行分層，并使用最適合的設(shè)備來(lái)存儲(chǔ)數(shù)據(jù)可以提升存儲(chǔ)系統(tǒng)的性能，并降低成本。

如果全部使用DRAM內(nèi)存來(lái)存儲(chǔ)這些數(shù)據(jù)，在性能上可能會(huì)表現(xiàn)突出，但也意味著用戶(hù)需要花費(fèi)非常高昂的成本。因此更合理的是根據(jù)數(shù)據(jù)的類(lèi)型、負(fù)載對(duì)它們合理地使用存儲(chǔ)設(shè)備。例如可以使用DRAM內(nèi)存、英特爾傲騰持久內(nèi)存來(lái)存儲(chǔ)熱數(shù)據(jù)，因?yàn)樗鼈儞碛泻芨叩男阅芎统�低的延遲，離CPU和GPU最近，能夠獲得及時(shí)的洞察。而英特爾傲騰固態(tài)盤(pán)搭配以英特爾為代表的TLC、QLC NAND固態(tài)盤(pán)，則憑借大容量、高性能適合用于熱、溫?zé)帷�溫存�?chǔ)。這種分層設(shè)計(jì)的絕妙之處在于金字塔里的每一個(gè)層級(jí)的數(shù)據(jù)、使用產(chǎn)品在容量和延時(shí)特性上正好有數(shù)量級(jí)的差距，這就使得用戶(hù)可以根據(jù)數(shù)據(jù)的類(lèi)型、工作負(fù)載進(jìn)行冷熱分層，并同時(shí)參考自己的預(yù)算，對(duì)性能的需求，對(duì)功耗的預(yù)期，來(lái)不斷地優(yōu)化自己的存儲(chǔ)方案。

憑借不同于傳統(tǒng)NAND閃存的革命性材料，傲騰具有就地寫(xiě)入、支持位尋址、低延遲等三大新特性。

那么英特爾的存儲(chǔ)技術(shù)能否承擔(dān)起這一重任呢？從倪錦峰先生的介紹中，可以看到由于使用了不同于傳統(tǒng)NAND閃存的傲騰介質(zhì)，傲騰持久內(nèi)存、傲騰固態(tài)盤(pán)具有諸多新特性。首先是它支持就地寫(xiě)入，寫(xiě)入前不需要進(jìn)行數(shù)據(jù)擦除。不像普通NAND閃存存在讀-修改-寫(xiě)這個(gè)過(guò)程，因此它擁有更好的性能。同時(shí)在長(zhǎng)時(shí)間寫(xiě)入后，它也不會(huì)出現(xiàn)數(shù)據(jù)臟塊，不需要進(jìn)行垃圾回收，因此傲騰產(chǎn)品可以很好地保持性能一致性，不會(huì)出現(xiàn)NAND固態(tài)盤(pán)用得越久、性能越差的問(wèn)題。

與采用傳統(tǒng)NAND閃存的DC P4600SSD相比，傲騰固態(tài)盤(pán)DC P4800X的延遲更低、一致性更好，壽命長(zhǎng)得多，效率更高。

其次是傲騰技術(shù)支持位尋址，可以提供超低的延遲，帶來(lái)更快的傳輸速度，畢竟AI人工智能技術(shù)的應(yīng)用對(duì)存儲(chǔ)設(shè)備的容量和性能都有很高的要求。相比傳統(tǒng)NAND閃存，傲騰產(chǎn)品在性能上有質(zhì)的提升，形象地比喻，就是將數(shù)據(jù)的載體從汽車(chē)升級(jí)為飛機(jī)。延遲方面，它最好可以做到微秒級(jí)別，雖然和內(nèi)存DRAM的不到0.1 微秒相比還是存在一定的差距，但是已遠(yuǎn)遠(yuǎn)好于NAND閃存的近百微秒的水平。英特爾數(shù)據(jù)顯示傲騰DC固態(tài)盤(pán)的訪問(wèn)延遲不僅較傳統(tǒng)HDD、SATA SSD大幅降低，即便與同樣采用NVMe接口的NAND SSD相比，其優(yōu)勢(shì)也是非常大的——與采用3D NAND 顆粒的英特爾DC P4600 SSD 相比，傲騰固態(tài)盤(pán)DC P4800X的讀取延遲在不同寫(xiě)壓力、不同隊(duì)列深度下，低了8～63倍。

此外新介質(zhì)大幅提升了傲騰產(chǎn)品的壽命，英特爾傲騰固態(tài)盤(pán)可以支持多達(dá)60個(gè)DWPD（每日全盤(pán)寫(xiě)入次數(shù)），而大家所熟悉的英特爾P4600、P4610這樣的高性能、高壽命的NAND固態(tài)盤(pán)，只能支持3個(gè)DWPD左右，英特爾傲騰固態(tài)盤(pán)的進(jìn)步是非�？捎^的。

人工智能技術(shù)的數(shù)據(jù)管道可以通過(guò)使用英特爾傲騰持久內(nèi)存、傲騰固態(tài)盤(pán)、QLC 3DNAND固態(tài)盤(pán)，進(jìn)行合理搭配來(lái)提升任務(wù)執(zhí)行的效率，并降低成本、功耗。

同時(shí)從AI數(shù)據(jù)通道中的采集、整理、訓(xùn)練、推理四個(gè)階段，可以看到各階段對(duì)存儲(chǔ)的要求是非常高的，需要有持續(xù)、一致的吞吐量，以及同樣一致、持續(xù)、超低的延遲，這些需求正是傲騰產(chǎn)品所擅長(zhǎng)的，再加上英特爾QLC 3D NAND SSD所擁有的大容量（已可實(shí)現(xiàn)單盤(pán)32TB）、高性能特性，通過(guò)這樣一個(gè)完美的結(jié)合，可以幫助改善客戶(hù)對(duì)數(shù)據(jù)的融合，提升軟件定義存儲(chǔ)解決方案的性能，幫助用戶(hù)為即將到來(lái)的人工智能時(shí)代的數(shù)據(jù)爆發(fā)做好相應(yīng)的準(zhǔn)備。

 

大幅提升效率

英特爾存儲(chǔ)方案體現(xiàn)實(shí)際價(jià)值

采用傲騰固態(tài)盤(pán)后，VMWare vSAN、hadoop、CEPH等各個(gè)存儲(chǔ)系統(tǒng)的性能都獲得了大幅提升。

根據(jù)倪錦峰先生介紹，在實(shí)際使用中，不少平臺(tái)改用英特爾傲騰產(chǎn)品后，都獲得了很好的效果。如百度在2018年發(fā)布了基于英特爾傲騰固態(tài)盤(pán)加英特爾QLC 3D NAND固態(tài)盤(pán)的存儲(chǔ)解決方案，這一方案大幅提升了AI人工智能、大數(shù)據(jù)、云計(jì)算的存儲(chǔ)性能。在AI的一個(gè)訓(xùn)練場(chǎng)景中，這一方案相比原來(lái)的HDD機(jī)械硬盤(pán)方案可以獲得21倍的性能提升以及96%的延遲下降，同時(shí)降低TCO多達(dá)60%。在VMWare vSAN分布式存儲(chǔ)系統(tǒng)中，將高性能緩存從NAND PCIe固態(tài)盤(pán)換成英特爾的傲騰固態(tài)盤(pán)后，其虛擬機(jī)密度提升了60%，同時(shí)系統(tǒng)整合率能夠提升30%；在hadoop分布式架構(gòu)中，當(dāng)用戶(hù)使用英特爾傲騰固態(tài)盤(pán)作為hadoop的臨時(shí)數(shù)據(jù)緩存后，其吞吐量或性能可以提升40%左右。

 

而在CEPH分布式存儲(chǔ)系統(tǒng)中，當(dāng)用戶(hù)使用英特爾傲騰固態(tài)盤(pán)替換了傳統(tǒng)的NAND固態(tài)盤(pán)，作為元數(shù)據(jù)（metadata）緩存和journal盤(pán)后，其延遲可以降低50%左右，同時(shí)IOPS性能獲得了40%左右的提升。在微軟的Azure Stack HCI云平臺(tái)上，當(dāng)用戶(hù)將英特爾傲騰固態(tài)盤(pán)作為緩存盤(pán)后，則能使每個(gè)系統(tǒng)、每個(gè)節(jié)點(diǎn)所能夠支持的虛擬機(jī)數(shù)量提升60%左右，同時(shí)虛擬機(jī)的跑分也能夠提升約80分。此外，現(xiàn)在也有很多國(guó)內(nèi)公司正在使用英特爾傲騰技術(shù)來(lái)進(jìn)行存儲(chǔ)解決方案的創(chuàng)新，包括浪潮、VMWare、XSKY、QingCloud等眾多合作伙伴。

 

讓存儲(chǔ)更接近計(jì)算資源讓存儲(chǔ)兼得高性能與穩(wěn)定性

英特爾公司中國(guó)區(qū)非易失性存儲(chǔ)解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開(kāi)發(fā)總監(jiān)倪錦峰先生接受了采訪

從以上的技術(shù)講解、案例可以看到，英特爾解決方案之所以能有如此突出的表現(xiàn)，主要依賴(lài)的是性能接近內(nèi)存的傲騰存儲(chǔ)產(chǎn)品。而在前不久舉行的2020英特爾中國(guó)年度戰(zhàn)略“紛享會(huì)”上，英特爾也提出了近內(nèi)存計(jì)算的概念，那么這是否代表著未來(lái)的存儲(chǔ)趨勢(shì)？幸運(yùn)的是，筆者在此次大會(huì)上還獲得了采訪英特爾公司中國(guó)區(qū)非易失性存儲(chǔ)解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開(kāi)發(fā)總監(jiān)倪錦峰先生的機(jī)會(huì)。倪錦峰先生認(rèn)為在這個(gè)數(shù)據(jù)爆發(fā)的時(shí)代，特別是當(dāng)5G技術(shù)發(fā)展成熟之后，所產(chǎn)生的大量數(shù)據(jù)無(wú)法通過(guò)網(wǎng)絡(luò)全部匯集到數(shù)據(jù)中心，所以部分?jǐn)?shù)據(jù)必須要在邊緣進(jìn)行計(jì)算，這就需要存儲(chǔ)和計(jì)算在邊緣端融合在一起，只有高效的存儲(chǔ)性能才能幫助邊緣端快速完成計(jì)算。 

而在數(shù)據(jù)中心里，則存在不少壓縮、解壓縮等具有規(guī)律性、重復(fù)性、依賴(lài)內(nèi)存的計(jì)算需求，如果使用傳統(tǒng)的執(zhí)行方式將消耗很多CPU計(jì)算資源和DRAM內(nèi)存資源。英特爾的中長(zhǎng)期目標(biāo)則是將計(jì)算和存儲(chǔ)融合在一起，使得存儲(chǔ)和計(jì)算更加靠近。比如英特爾中國(guó)研究院宋繼強(qiáng)院長(zhǎng)提到的方案是將FPGA與存儲(chǔ)架構(gòu)融合在一起，存儲(chǔ)系統(tǒng)可以滿足類(lèi)似實(shí)時(shí)計(jì)算的要求，比如壓縮、解壓縮、AI訓(xùn)練等。同時(shí)存儲(chǔ)系統(tǒng)的參與也能有效降低用戶(hù)對(duì)CPU、內(nèi)存資源的需求，從而降低成本。而性能接近內(nèi)存的傲騰介質(zhì)的確比較合適承擔(dān)這一重任。

顯然傲騰突出的性能是實(shí)現(xiàn)近內(nèi)存計(jì)算的關(guān)鍵，那么企業(yè)在長(zhǎng)時(shí)間使用傲騰時(shí)，是否需要進(jìn)行額外的維護(hù)、保養(yǎng)呢？倪錦峰先生則表示對(duì)于傳統(tǒng)的NAND閃存固態(tài)盤(pán)來(lái)說(shuō)，可能需要這樣的工作。畢竟傳統(tǒng)SSD的讀-修改-寫(xiě)機(jī)制會(huì)導(dǎo)致垃圾數(shù)據(jù)堆積，造成性能下降，同時(shí)垃圾回收等會(huì)帶來(lái)額外的壽命損耗。傳統(tǒng)SSD之所以后續(xù)會(huì)出問(wèn)題，一是因?yàn)槔�圾堆積沒(méi)有有效處理，二是因?yàn)镹AND閃存用的時(shí)間越長(zhǎng)，它的壞塊就會(huì)越多，因此需要做很多壞塊的管理工作，壞塊越多，冗余空間越來(lái)越少，性能也會(huì)越差。

而傲騰產(chǎn)品沒(méi)有寫(xiě)入放大的問(wèn)題，同時(shí)可擦寫(xiě)能力非常高，壽命有量級(jí)差異，所以它的整個(gè)生命周期里是沒(méi)有性能衰減的問(wèn)題。同時(shí)傲騰產(chǎn)品都經(jīng)歷了嚴(yán)格的性能和可靠性驗(yàn)證，包括模擬了惡劣負(fù)載情況下工作5年的測(cè)試，即加速老化測(cè)試。英特爾有大量的數(shù)據(jù)證明，傲騰產(chǎn)品在整個(gè)生命周期里面性能是一致、持續(xù)穩(wěn)定的。

傲騰將成加速AI人工智能技術(shù)的“催化劑”

在本文截稿時(shí)，新冠疫情仍沒(méi)有結(jié)束，人類(lèi)仍在與之戰(zhàn)斗。但我們堅(jiān)信沒(méi)有一個(gè)冬天不能過(guò)去，沒(méi)有一個(gè)春天不會(huì)到來(lái)，AI新興技術(shù)必將助力人類(lèi)更快地戰(zhàn)勝疫情，加速推動(dòng)社會(huì)的數(shù)字化和智能化的發(fā)展。而要加速AI技術(shù)的發(fā)展，像傲騰這樣讓數(shù)據(jù)更靠近CPU，性能接近內(nèi)存的新技術(shù)必不可少。而憑借更大的存儲(chǔ)容量和優(yōu)異的性?xún)r(jià)比，英特爾QLC3D NAND也將成為取代HDD機(jī)械硬盤(pán)陣列的一個(gè)新選擇。毫無(wú)疑問(wèn)，傲騰技術(shù)與QLC 3D NAND技術(shù)的結(jié)合，將成為AI人工智能技術(shù)的“催化劑”，我們也期待著這瓶“催化劑”能讓AI人工智能技術(shù)發(fā)展得更快，并創(chuàng)造出更多的成果，為人類(lèi)造福。