Alaya NeW 智算操作系統(tǒng)-包含國(guó)內(nèi)外多種算力資源的適配、納管、調(diào)度和優(yōu)化

Alaya NeW智算操作系統(tǒng)(以下簡(jiǎn)稱：Alaya NeW)，由九章云極DataCanvas 自主研發(fā)，可有效管理、調(diào)度各種算力資源，提供智算服務(wù)，落地各類智算應(yīng)用。作為智算中心的“中樞神經(jīng)”，Alaya NeW突破異構(gòu)算力適配、異構(gòu)算力調(diào)度等關(guān)鍵技術(shù)，實(shí)現(xiàn)了包括算力統(tǒng)籌與智能調(diào)度的底層硬件異構(gòu)性兼容；簡(jiǎn)單易用且以集群為優(yōu)先的策略，原生適合AI高性能計(jì)算，原生支持AI大模型+小模型的低門(mén)檻構(gòu)建、訓(xùn)練和推理；并支持與通用大模型、行業(yè)大模型及各類大模型應(yīng)用組合疊加，實(shí)現(xiàn)一體化、開(kāi)放化、標(biāo)準(zhǔn)化的AI模型服務(wù)。

隨著人工智能技術(shù)的高速發(fā)展，智能化正以前所未有的速度重塑各行各業(yè)。以AIGC為代表的人工智能應(yīng)用、大模型訓(xùn)練等新應(yīng)用、新需求快速崛起都對(duì)算力提出更高要求。經(jīng)中國(guó)信息通信研究院測(cè)算，預(yù)計(jì)到2025年全球計(jì)算設(shè)備算力總規(guī)模將超過(guò)3 ZFlops，至2030年將超過(guò)20 ZFlops。

算力作為新質(zhì)生產(chǎn)力，已成為挖掘數(shù)據(jù)要素價(jià)值，推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的重要驅(qū)動(dòng)力，智算中心的戰(zhàn)略性地位愈發(fā)凸顯。同時(shí)，智算中心在運(yùn)營(yíng)和管理過(guò)程中面臨的異構(gòu)算力資源納管困難、算力調(diào)度能力不足、利用率低等難題，將嚴(yán)重制約智算中心的應(yīng)用與發(fā)展。因此，一個(gè)能夠全面服務(wù)于智算中心的中樞神經(jīng)——智算操作系統(tǒng)，將是直擊這些難題的最佳方案。

1、異構(gòu)算力資源納管困難

智算中心逐漸引入多種不同品牌的加速硬件，往往存在異構(gòu)算力不兼容、模型框架與底層芯片適配不充分等情況，導(dǎo)致算力調(diào)度困難、難以有效形成規(guī)模化算力。

2、算力調(diào)度能力不足、利用率低

在大規(guī)模數(shù)據(jù)處理和大模型訓(xùn)練等任務(wù)中，算力調(diào)度能力不足，使得算力分配不均衡，導(dǎo)致算力資源浪費(fèi)和利用率下降，不能充分滿足不同類型AI任務(wù)的調(diào)度需求，影響AIDC服務(wù)的整體性能。

3、AI加速優(yōu)化能力不足

一般針對(duì)AI大模型數(shù)據(jù)加載、訓(xùn)練、微調(diào)、推理環(huán)節(jié)，并沒(méi)有實(shí)施優(yōu)化或者只做了局部加速優(yōu)化。因此經(jīng)常受到存儲(chǔ)訪問(wèn)慢，算力利用率、內(nèi)存利用率、通信效率低的困擾，影響AI任務(wù)的完成。

4、AI大模型訓(xùn)練微調(diào)門(mén)檻高

數(shù)據(jù)科學(xué)家往往不能掌握使用智算硬件基礎(chǔ)設(shè)施的技能，而企業(yè)內(nèi)IT人員缺乏對(duì)訓(xùn)練大模型所需的集群管理能力，缺乏一個(gè)彈性易用的集群環(huán)境以及在其之上的AI大模型訓(xùn)練微調(diào)工具鏈。

主要能力

1、告別“裸金屬”

通過(guò)構(gòu)建多層次、全方位的算力需求滿足機(jī)制，包含超級(jí)智算集群、彈性容器集群、GPU云服務(wù)器、AI容器實(shí)例等系列產(chǎn)品，為精準(zhǔn)匹配和高效滿足多樣化規(guī)模及復(fù)雜度的算力求提供保障。

2、為AI而生

專注于人工智能核心任務(wù)，包括大模型的訓(xùn)練、微調(diào)、部署和推理等服務(wù)。提供集“算力、數(shù)據(jù)、算法、調(diào)度”為一體的融合服務(wù)，旨在推動(dòng)人工智能產(chǎn)業(yè)化的創(chuàng)新發(fā)展。

3、全局加速優(yōu)化

采用通信加速、內(nèi)存優(yōu)化、算法加速、數(shù)據(jù)三級(jí)緩存、內(nèi)核優(yōu)化、編譯優(yōu)化、并行加速、模型壓縮等方案，釋放硬件效能。集群訓(xùn)練效率提升100%，單卡利用率提升50%；模型推理速度提高4倍，Token吞吐量增加5倍。

4、異構(gòu)算力納管與調(diào)度

提供包含國(guó)內(nèi)外多種算力資源的適配、納管、調(diào)度和優(yōu)化。通過(guò)實(shí)時(shí)監(jiān)控和管理各智算中心的智算設(shè)備，以及創(chuàng)新的調(diào)度算法，成功實(shí)現(xiàn)跨智算中心的海量算力智能調(diào)度，大幅提升算力資源的利用率。

5、1度算力

Alaya NeW首次提出了統(tǒng)一的算力服務(wù)計(jì)量單位“度”（DCU），并用其實(shí)現(xiàn)標(biāo)準(zhǔn)化的算力計(jì)量計(jì)費(fèi)，旨在為用戶實(shí)現(xiàn)“買(mǎi)到即用到”的算力服務(wù)，為未來(lái)算力資源互聯(lián)互通打下良性商業(yè)基礎(chǔ)。

應(yīng)用落地情況

該產(chǎn)品無(wú)論在產(chǎn)品理念還是功能設(shè)計(jì)上都處于同行業(yè)領(lǐng)先水平。在未來(lái)一定周期內(nèi)，將引領(lǐng)“智算操作系統(tǒng)”發(fā)展趨勢(shì)，該產(chǎn)品提供的智算基礎(chǔ)服務(wù)，將成為智算中心提供服務(wù)的標(biāo)準(zhǔn)范本之一。截止目前，該產(chǎn)品已經(jīng)在九章云極DataCanvas參與共建的國(guó)內(nèi)多個(gè)智算中心進(jìn)行部署。

Alaya New 智算操作系統(tǒng)在智算中心產(chǎn)業(yè)生態(tài)中處于中間位置，在底層硬件芯片和上層大模型之間建立了高效的鏈接，通過(guò)AI基礎(chǔ)軟件的創(chuàng)新，實(shí)現(xiàn)算力資源的最大化利用。也首次提出了統(tǒng)一的算力服務(wù)計(jì)量單位“度”(DCU)，以推進(jìn)標(biāo)準(zhǔn)化的算力計(jì)量計(jì)費(fèi)，為未來(lái)算力資源實(shí)現(xiàn)互聯(lián)互通打下良性商業(yè)基礎(chǔ)。九章云極DataCanvas 攜手智算產(chǎn)業(yè)核心生態(tài)伙伴，服務(wù)政府和企業(yè)共建智算中心，為行業(yè)提供高質(zhì)量新質(zhì)生產(chǎn)力以及全方位的AI Foundation Service，共同推動(dòng)我國(guó)人工智能產(chǎn)業(yè)快速發(fā)展。