大模型專題一：中國(guó)人工智能系列白皮書——大模型技術(shù)-2023版

語(yǔ)言大模型由于在大規(guī)模通用領(lǐng)域數(shù)據(jù)預(yù)訓(xùn)練通常缺乏對(duì)特定任務(wù)或領(lǐng)域的知識(shí)，因此需要適配微調(diào)。微調(diào)可以幫助模型更好地適應(yīng)特定需求，如對(duì)敏感數(shù)據(jù)(如醫(yī)療記錄)的處理，同時(shí)不暴露原始數(shù)據(jù)。此外，微調(diào)可以提高部署效率、減少計(jì)算資源需求。指令微調(diào)和參數(shù)高效學(xué)習(xí)是適配微調(diào)的關(guān)鍵技術(shù)。

指令微調(diào)(Instruction Tuning)[21],是一種可以幫助語(yǔ)言大模型實(shí)現(xiàn)人類語(yǔ)言指令遵循的能力，在零樣本設(shè)置中泛化到未見任務(wù)上的學(xué)習(xí)方法。指令微調(diào)學(xué)習(xí)形式與多任務(wù)提示微調(diào)相似，但與提示微調(diào)讓提示適應(yīng)語(yǔ)言大模型并且讓下游任務(wù)對(duì)齊預(yù)訓(xùn)練任務(wù)不同，其是讓語(yǔ)言大模型對(duì)齊理解人類指令并按照指令要求完成任務(wù)，即在給定指令提示的情況下給出特定的回應(yīng)，其中提示可以選擇性包含一條解釋任務(wù)的指令。指令微調(diào)研究涉及指令理解、指令數(shù)據(jù)獲取和指令對(duì)齊等內(nèi)容。

(1)指令理解，指語(yǔ)言大模型準(zhǔn)確理解人類語(yǔ)言指令的能力，是語(yǔ)言大模型執(zhí)行指令完成任務(wù)的前提。為了增強(qiáng)對(duì)指令的理解，許多工作采用多任務(wù)提示方式對(duì)基于指令描述的大量任務(wù)集上對(duì)語(yǔ)言大模型進(jìn)行微調(diào)，如FLAN[50]、InstructGPT[21]等，這些模型在未見的任務(wù)上顯示出優(yōu)越的零樣本性能。

(2)指令數(shù)據(jù)獲取，指如何構(gòu)建包含多樣性的任務(wù)指令數(shù)據(jù)。指令數(shù)據(jù)構(gòu)建常見有三種方式：i)基于公開人工標(biāo)注數(shù)據(jù)構(gòu)建，代表指令數(shù)據(jù)集包括1616種不同任務(wù)的Super-Natural Instruction[51]、2000種不同NLP任務(wù)的OPT-IML[52]。ii)借助語(yǔ)言大模型的自動(dòng)生成構(gòu)建，如Unnatural Instructions[53],通過種子指令作為提示讓語(yǔ)言大模型生成新的指令描述和問題，然后再輸入到模型讓其輸出回答。iii)基于人工標(biāo)注方法，如ChatGPT在人工標(biāo)注指令的基礎(chǔ)上通 過GPT-3、InstructGPT等在線平臺(tái)收集用戶真實(shí)指令數(shù)據(jù)。

附件：大模型專題一：中國(guó)人工智能系列白皮書——大模型技術(shù)-2023版