重構(gòu)ncnn，騰訊優(yōu)圖開(kāi)源新一代移動(dòng)端推理框架TNN

6月10日，騰訊優(yōu)圖實(shí)驗(yàn)室宣布正式開(kāi)源新一代移動(dòng)端深度學(xué)習(xí)推理框架TNN，通過(guò)底層技術(shù)優(yōu)化實(shí)現(xiàn)在多個(gè)不同平臺(tái)的輕量部署落地，性能優(yōu)異、簡(jiǎn)單易用。騰訊方面稱，基于TNN，開(kāi)發(fā)者能夠輕松將深度學(xué)習(xí)算法移植到手機(jī)端高效的執(zhí)行，開(kāi)發(fā)出人工智能 App，真正將 AI 帶到指尖。

GitHub鏈接： https://github.com/Tencent/TNN

輕量級(jí)部署，TNN助力深度學(xué)習(xí)提速增效

深度學(xué)習(xí)對(duì)算力的巨大需求一直制約著其更廣泛的落地，尤其是在移動(dòng)端，由于手機(jī)處理器性能弱、算力無(wú)法多機(jī)拓展、運(yùn)算耗時(shí)長(zhǎng)等因素常常導(dǎo)致發(fā)熱和高功耗，直接影響到App等應(yīng)用的用戶體驗(yàn)。騰訊優(yōu)圖基于自身在深度學(xué)習(xí)方面的技術(shù)積累，并借鑒業(yè)內(nèi)主流框架優(yōu)點(diǎn)，推出了針對(duì)手機(jī)端的高性能、輕量級(jí)移動(dòng)端推理框架TNN。

TNN在設(shè)計(jì)之初便將移動(dòng)端高性能融入核心理念，對(duì)2017年開(kāi)源的ncnn框架進(jìn)行了重構(gòu)升級(jí)。通過(guò)GPU深度調(diào)優(yōu)、ARM SIMD深入?yún)R編指令調(diào)優(yōu)、低精度計(jì)算等技術(shù)手段，在性能上取得了進(jìn)一步提升。以下是MNN, ncnn, TNN框架在多款主流平臺(tái)的實(shí)測(cè)性能：