DeepSeek帶來的AI變革,在低精度FP8的模式下訓(xùn)練大模型,計算成本降低約1000倍

一、用戶量：海外加速出圈，迅速登頂全球下載榜單

1、網(wǎng)頁端：重度用戶為主，DeepSeek 在 24 年 12 月 26 日推出V3（對標(biāo) GPT4o），因其顯著的性能，用戶迅速開始增長，同時在 1月 20 日發(fā)布 R1（對標(biāo) GPT-o1）后，進一步出圈。

2、APP 端：大眾用戶為主，R1 推出后，追平 GPT-o1，迅速出圈海外。根據(jù)點點數(shù)據(jù)，從 DeepSeek 在美國下載排名從 1 月 22 日的 201名，迅速在 1 月 27 日登頂?shù)谝幻�；根�?jù)七麥數(shù)據(jù)，截止 1 月 30 日，DeepSeek 在 168 個國家位居下載榜第一名。

二、DeepSeek 偏好激進性創(chuàng)新：架構(gòu)（MOE+MLA）+精度（FP8）

1、MOE 架構(gòu)創(chuàng)新：相比過去主流模型的 MOE 專家模型停留在8~16 個，而 DeepSeek 每個 MoE 層包含 1 個共享專家和 256 個路由專家，有助于降低模型推理時激活的參數(shù)量。

2、MLA 架構(gòu)創(chuàng)新：MLA 通過聯(lián)合壓縮鍵值矩陣為低秩向量，將多個頭的鍵值信息融合，使推理時僅需緩存少量低秩向量，大幅降低 KV 緩存需求，減少內(nèi)存占用。

3、訓(xùn)練特色：突破大模型訓(xùn)練固定思維（一般模型權(quán)重和梯度使用 FP16，優(yōu)化器參數(shù)使用 FP32），敢于嘗試在低精度 FP8 的模式下訓(xùn)練大模型，并且該嘗試同樣出現(xiàn)了較好的效果。

三、DeepSeek 開源對 AI 應(yīng)用和 AI 終端的影響：產(chǎn)品力競爭時代

DeepSeek 從 V3 到 R1，將進一步推動全行業(yè)大模型的提升，更快的追趕 GPT4o 和 GPT-o1；同時成本的下降，有助于 AI 應(yīng)用和 AI 終端的普及。未來行業(yè)競爭將進入“產(chǎn)品能力競爭”，巨頭的流量優(yōu)勢將進一步凸顯。

四、DeepSeek 對推理成本的影響：用戶規(guī)模和使用頻次

未來推動推理成本增加的核心因素：用戶規(guī)模和用戶使用頻次的增加。根據(jù) Grok 創(chuàng)始人，過去 60 年，每10年計算成本降低約1000倍，但人們的購買量增加了 10 萬倍，總支出反而增長了 100 倍。

附件：DeepSeek帶來的AI變革,在低精度FP8的模式下訓(xùn)練大模型,計算成本降低約1000倍