不完美場景下的神經(jīng)網(wǎng)絡訓練方法

近幾年，騰訊優(yōu)圖不斷迭代數(shù)據(jù)和模型缺陷情況下神經(jīng)網(wǎng)絡的有效訓練方法，相關技術已經(jīng)在眾多業(yè)務場景上（行人重識別，內(nèi)容審核等）落地。本文整理自騰訊優(yōu)圖、騰訊云大學、AICUG和AI科技評論聯(lián)合主辦的「優(yōu)Tech沙龍」，分享嘉賓為騰訊優(yōu)圖實驗室高級研究員Louis。

01 定義帶噪學習目標

現(xiàn)實數(shù)據(jù)中存在的標簽噪音（label noise）根據(jù)Feature可以分成兩種：Feature independent noise和 Feature dependent noise。Feature independent noise是與特征無關的，比如將一只狗的圖片誤標記成汽車，狗和汽車沒有什么相似特征，所以屬于這類。Feature independent noise是與特征有關的，比如說狗和狼具有很多相似特征屬性，標注人員可能把狗誤標記成狼，那就屬于這類。其實現(xiàn)實場景更多存在都是feature dependent noise。

噪音普遍存在，所以我們需要訓練神經(jīng)網(wǎng)絡進行帶噪學習，并且要能實現(xiàn)比較好的性能。那么noise label learning的目標是設計一個loss function，使得在noisy labels下訓練得到的解，在性能上接近在clean labels下訓練得到的解。