首頁
產(chǎn)品系列
行業(yè)應用
渠道合作
新聞中心
研究院
投資者關系
技術支持
關于創(chuàng)澤
| En
 
  當前位置:首頁 > 新聞資訊 > 機器人知識 > 看高清視頻,如何做到不卡頓  
 

看高清視頻,如何做到不卡頓

來源:AI科技大本營      編輯:創(chuàng)澤      時間:2020/6/15      主題:其他   [加盟]
5G時代,從生產(chǎn)端到播放端,超高清音視頻將成為主流,如何讓播放更加“智能”,讓用戶隨時隨地都有流暢觀看體驗,既“高清”又“不卡”?

本文將詳解優(yōu)酷“智能檔”的是什么、為什么以及落地效果,尤其是如何突破“傳統(tǒng)自適應碼率算法”的局限,解決視頻觀看體驗中高清和流暢的矛盾,并以 “熱綜熱劇”等場景為藍本,一睹“大項目”背后的視頻播放實踐。

本文主要分為四部分:

背景:智能檔是什么、有什么?

挑戰(zhàn):傳統(tǒng)自適應碼率理論與播放實踐的碰撞

實踐:清晰度策略優(yōu)化迭代過程——整體框架建設,從數(shù)據(jù)中分析和學習

總結:優(yōu)酷智能檔的成果和新技術的應用

優(yōu)酷“智能檔”是什么、有什么?


為了大家能夠對優(yōu)酷智能檔有一個比較直觀的了解,我這里準備了一個帶寬限速條件下播放的視頻。視頻1是傳統(tǒng)1080P藍光清晰度,視頻2就是今天要提到的“智能“清晰度。我們看到視頻1已經(jīng)開始卡了,視頻2還在繼續(xù)播放,但清晰度角標已經(jīng)變?yōu)槌辶恕?


好,剛剛播放的是《長安十二時辰》張小敬追捕狼衛(wèi)的一段視頻,是在帶寬限速的情況下播放的,大致是在 1.5Mbps 左右。在這樣的條件下左側使用 1080P清晰度,當畫面變化較大,對應的碼率也波動較大的時候,發(fā)生了卡頓,而且提示是否要切換到智能播放。而右側的“智能”清晰度則在這種情況下,發(fā)現(xiàn)了網(wǎng)絡不足以支撐藍光,降級變成了超清,避免了卡頓,然后在這段播過去之后又重新恢復到藍光。

▐  優(yōu)酷“智能檔”簡介

看完這段視頻,我們來明確一下,關于智能檔的幾個基本問題:

1)  什么是智能檔,這個大家剛剛也都看到了,智能檔是一種新的清晰度選項。

2)  為什么要有智能檔?我們可以從兩個角度回答:

讓播放體驗更加智能。例如,用戶在一個不確定的網(wǎng)絡環(huán)境下,不知道什么清晰度最合適,選擇高清晰度,卡了;選擇低清晰度,畫質體驗又不好。優(yōu)酷智能檔就是要解決這個選擇問題,智能匹配最合適的清晰度,避免用戶自己反復去嘗試;

避免播放卡頓。例如剛才的《長安十二時辰》視頻,在網(wǎng)絡限速或者更常見的4G下,網(wǎng)絡波動大,智能檔實時地調節(jié)清晰度,在保證用戶觀看更高清晰度的情況下,避免播放卡頓。

3)  是如何實現(xiàn)的呢?這就要提到自適應碼率技術,根據(jù)網(wǎng)絡環(huán)境和播放過程中的狀態(tài),去實時決策選擇最合適的清晰度。

▐  自適應碼率技術

自適應碼率這項技術,早在 2002 年前后就已經(jīng)被人提出,大致在 2010 年開始在互聯(lián)網(wǎng)領域得到應用,逐步走向成熟。關于自適應碼率的技術方案,一般由兩部分構成:

第一部分協(xié)議框架:支持多個不同碼率的清晰度傳輸和播放,約定服務器端、客戶端的;


第二部分算法策略:更具體地確定什么狀態(tài)下匹配哪種碼率、哪種清晰度更好。

在協(xié)議框架上,蘋果較早提出了 HLS 的方案。后來 MPEG 專家組提出行業(yè)標準DASH;除此之外,微軟、Adobe等公司也有技術方案,但設計上比較類似,大同小異。

在算法策略上,是百花齊放。過去幾年,學術界涌現(xiàn)出不少相關論文,比如右側列表中所示,歸納起來分為4類:


第一類,基于網(wǎng)速預測,根據(jù)網(wǎng)速帶寬和碼率的大小進行選擇;

第二類,基于播放器的buffer來判斷決策;

第三類,引用一句話網(wǎng)絡名言“小孩子才做選擇,我全都要”,即融合前面兩種因素;

第四類,更高級和領先的,將近幾年的人工智能領域的技術引進來,根據(jù)機器學習、神經(jīng)網(wǎng)絡模型來選擇清晰度。

▐  自適應碼率技術的工作流程

自適應碼率技術在從生產(chǎn)到播放的整個鏈路,分成5步:

第一步,原始的視頻資源文件,它可能只有一個比較高的清晰度;

第二步,生產(chǎn)端對視頻進行轉碼和切片,根據(jù)播放需要,轉碼成不同清晰度的碼流。一般清晰度越高,碼率越高,文件越大。每個碼流都切分成時間對齊的分片,一般是10s;

第三步,在轉碼和切片之后,經(jīng)過 CDN 節(jié)點在網(wǎng)絡上進行分發(fā);

第四步,各自適應碼率的算法按策略選擇需要的清晰度;

第五步:客戶端下載這個清晰度的分片文件,進行播放。

▐  自適應碼率算法:基于帶寬速率

看完框架鏈路,我們再來看算法策略,先是最簡單的基于帶寬的策略。

這類算法的原理很簡單,就是基于過去一段時間的網(wǎng)絡下載速度,對網(wǎng)絡情況做預測,如果比視頻某一個清晰度的碼率大,那么就可以選擇這個碼率,否則只能嘗試更低清晰度。右上角圖中列出了4種算法,都是基于速度進行判斷的,清晰度和網(wǎng)速變化是正相關。


這個算法簡單直接,缺點是如果過去網(wǎng)速高,對網(wǎng)絡的預估又過于自信,網(wǎng)絡波動落差大時,就無法下載完預期的清晰度內容,容易卡頓。

另外,清晰度受網(wǎng)絡波動影響大,網(wǎng)絡一波動,就會頻繁的切換清晰度,這相當于忽略掉播放器中buffer的作用。

▐  自適應碼率算法:基于Buffer

基于buffer,就是播放器的緩沖區(qū)還能播多長時間來選擇。這種方式直接放棄速度,只看 buffer,沒數(shù)據(jù)可播時才會卡。當buffer 低時,選擇最低清晰度,buffer隨播放進度和下載進度一點點變化,清晰度不會有太大波動。


缺點是buffer的變化相對緩慢,會喪失對網(wǎng)絡變化判斷的靈敏性。比如用戶網(wǎng)絡換環(huán)境立刻變好了,但是 buffer 漲到最高清晰度的區(qū)間是需要一個過程的。

一個典型的案例就是 BBA 算法,我們可以右側這張圖,橫軸是 buffer,縱軸是清晰度碼率,它們之間維持一個線性關系,buffer越高清晰度越高,直到達到最高的清晰度;同時為了保證不卡頓,最低清晰度也要攢夠一定的buffer,才開始考慮換更高的清晰度。

▐  自適應碼率算法-MPC

這類算法有一個里程碑式的進步,給出一個 QoE 的公式化定義。QoE就是體驗質量,包含清晰度、卡頓時間、清晰度切換3個因素。一旦確立好QoE 的計算公式,在網(wǎng)絡狀況完全確定的情況下,我們就可以將自適應碼率算法轉化為一個求最大值的數(shù)學問題。


但是網(wǎng)絡狀況完全確定需要“上帝視角”。一般情況下,網(wǎng)絡波動是可完全預測的,在一個較短時間內,我們認為網(wǎng)絡波動會比較小,后面網(wǎng)絡情況和前面已經(jīng)統(tǒng)計到的速度存在一定關聯(lián)性,所以上面的這種求全局最大值的就可以退化成為一種局部的計算,并嘗試通過局部累加,達到近似全局最優(yōu)解,這好比是從一個全局的動態(tài)規(guī)劃變成一個局部的貪心思路。

所以它的具體決策過程是:

第一步,根據(jù)過去的情況,判斷網(wǎng)絡質量,預測速度;

第二步,生成未來N片,比如5片,將所有可能的清晰度組合做列表;

第三步,逐一嘗試,找出所有可選項中 QoE 最大的組合;

第四步,將選擇中下一片清晰度作為本次清晰度選項,每個分片選擇時都依次類推。

▐  自適應碼率算法-基于機器學習

機器學習就是為計算機提供大量數(shù)據(jù),讓計算機基于這些數(shù)據(jù)進行計算,在特定領域做出判斷,并針對判斷給出評定標準,告知機器判斷是否正確、準確,經(jīng)過反復大量的學習過程,提高計算機判斷能力的準確性。

強化學習是機器學習的一種,是針對一個過程該如何做決策的學習。

如下圖,機器人學習養(yǎng)花,看見花要枯死了,選擇用水澆花,獲得一個正向的獎勵;如果看到花快被淹死了,還去澆花,那么就只能得到懲罰,此外還可以根據(jù)情況考慮是否施肥、打藥,訓練機器人把花養(yǎng)好。


近年比較火的機器學習方式就是深度神經(jīng)網(wǎng)絡。我們可以將“養(yǎng)花過程中機器人的動作” 理解為一個非常復雜的數(shù)學函數(shù),輸入是花的狀態(tài),輸出是應該澆水還是施肥的決策選擇,花是否養(yǎng)好作為不斷調整函數(shù)內參數(shù)的依據(jù),一旦參數(shù)調整好,這個函數(shù)就可以給出準確決策,神經(jīng)網(wǎng)絡就相當于這個復雜的函數(shù),具體的一個模型實例就相當于這個函數(shù)里所需的所有系數(shù)。 

我們做清晰度選擇的例子和養(yǎng)花的過程很像,輸入是過去的網(wǎng)速情況、buffer情況等,輸出是清晰度的選擇。

2017年開始有論文提出類似的方案,優(yōu)點是用大量的數(shù)據(jù)去訓練,訓練好了就相當一個“經(jīng)驗豐富”的人,它看過很多歷史網(wǎng)絡變化的數(shù)據(jù)和選擇結果、知道遇到特定的情況應該如何選擇。弊端是太“高深莫測”,可解釋性不強。

▐  業(yè)界應用情況

國外的視頻產(chǎn)品,Youtube 和 Netflix的手機客戶端都有對自適應碼率技術的應用。在國內,早在兩年前,優(yōu)酷就在做類似嘗試,但最初的清晰度選項叫做“自動”,在起播時幫用戶選擇一個合適的清晰度,但是播放過程中如果網(wǎng)絡有波動它不會變。隨著優(yōu)酷技術體系不斷升級,現(xiàn)在優(yōu)酷能夠通過“智能”選項,隨時隨地的根據(jù)網(wǎng)絡情況進行清晰度選擇和必要的切換。


實際應用中的挑戰(zhàn)

自適應碼率技術的理論雖好,在大規(guī)模實踐中,卻屢屢碰壁,歸納起來有如下的挑戰(zhàn):

▐  實際應用中的挑戰(zhàn):起播處理


起播的典型挑戰(zhàn)是:

典型策略:環(huán)境未知,如何避免卡頓;

網(wǎng)絡環(huán)境良好的狀態(tài)下,如何提升清晰度。按照學術界的算法論文,起播時為了避免卡頓,都是從最低清晰度開始,但實際尤其對于沒有使用過同類產(chǎn)品的用戶,10s的模糊不能被接收的;

起播速度:如何快速播放。為了高清和起播后不卡頓,多加載一會兒,行不行?不行!快速起播是良好播放體驗的開始。


 所以我們要遵循的原則是:

如果網(wǎng)絡足夠好,起播就提供高清晰度;

為了避免卡頓和起播太慢,必須在網(wǎng)絡差的情況,適當?shù)剡x擇低清晰度;

不能為清晰度選擇而給播放帶來太大的額外開銷。

優(yōu)酷是如何解決的?

首先,根據(jù)視頻是否為首次播放進行分類。不是首次播放的,可參考前一次播放的清晰度;是首次播放的,參考播放服務的請求耗時。在連播情況下,既然可以用上一次播放的清晰度,也可以利用上一次的播放中的速度信息,更確切知道當時的網(wǎng)絡情況;

其次,我們發(fā)現(xiàn)請求耗時的區(qū)分度并不大。播放器也在進行一個網(wǎng)絡質量評估的項目,這樣就引入了網(wǎng)絡評分機制,作為清晰度的一項參考;

最后,秒播項目也全面鋪開,在播放前下載一個分片。一方面下載過程提供了速度信息,另一方面我們也需要結合分片的清晰度進行選擇,避免起播清晰度頻繁波動。

▐  實際應用中的挑戰(zhàn)——網(wǎng)絡情況預測

第二個挑戰(zhàn)就是對網(wǎng)絡情況的判斷,即對帶寬的預測;雖然不少論文都提到了根據(jù)歷史下載速度求平均值,對當前或接下來速度做預測,但是關于細節(jié)基本都避而不談。

網(wǎng)速非常重要,它是對當前網(wǎng)絡判斷最直接的數(shù)據(jù)來源,也是保證升降檔快速靈活的一個關鍵因素。


速度預測的難點是網(wǎng)絡情況是實時變化的,不同環(huán)境變化形式和方向都不同。例如,上圖中就是截然不同的兩種網(wǎng)絡條件,第一個網(wǎng)速高且穩(wěn)定,第二個網(wǎng)速在極速波動。所以預測速度的原則是盡量保守、盡量平緩,吸收掉波動情況,即對過去一段時間的速度取平均值。平均值的計算方式,可以結合上圖的兩種情況來看:

一是,傳統(tǒng)算數(shù)平均數(shù)和調和平均數(shù)的方式;

二是,將對過去速度預測的誤差考慮進去,也是robustmpc方案中提到的,更適合我們的需求。 

那么,只有速度預估就夠了嗎?當然不是。由于網(wǎng)速是可隨時波動的,實際網(wǎng)速也可能達不到預測速度,所以我們需要兜底方案。這里采用的是超時,即在預期的時間內,如果當前清晰度分片下載不完,將自動調整,避免 buffer 消耗后發(fā)生卡頓。


超時設置也需要精心考量,超時意味著當前分片如果下載不完就要丟棄,那么已下載完成的部分是不能用來播放的,否則就會出現(xiàn)同一視頻內容用兩種不同的清晰度重復播放。所以buffer較小時,不適合超時,否則容易增加卡頓。

什么情況設置超時呢?預期超時是用來解決問題的,首先是選擇清晰度預期它能下載完,如果下載不完,我們可以用更低清晰度來替代。我們要保證現(xiàn)有的buffer足夠這兩個清晰度下載完成的時間,此外要盡量留足時間,讓當前清晰度的下載能夠在較小的波動下完成,避免頻繁切帶來的網(wǎng)絡浪費和不好體驗。

體驗衡量

隨著智能檔的推廣和應用,我們也需要考慮帶寬成本,行業(yè)通用解決方案是使用 PCDN,在播放允許的情況下,避免直接向成本較高的CDN服務器請求轉而找到成本較低,但質量不太穩(wěn)定的節(jié)點,這樣就會引起速度的波動。

這個問題如何解決?首先,PCDN 調度的原則,是將 buffer 趨于劃分為三段:第一段是buffer較低的情況,為了避免卡頓保證服務質量,會直接走CDN;第二段是部分從CDN下載,部分使用質量較差的P2P節(jié)點;第三段是buffer較高的情況,卡頓風險低,直接斷開CDN,只使用P2P。

簡單來說,為了保證智能檔用戶有穩(wěn)定體驗,我們在節(jié)點切換的過程中,始終保持使用一個較高的速度,比如使用連接CDN時的速度,如果 P2P的速度比 CDN的速度高,我們可以使用這個更高的速度,當質量較差的節(jié)點滿足不了當前速度時,buffer就會降低,迫使PCDN逐步切換回高質量的節(jié)點,這樣就做到了和 PCDN結合的自適應調整,做到了速度的相對穩(wěn)定。

▐  實際應用中的挑戰(zhàn)——其它

在實踐過程中面臨的挑戰(zhàn),如何衡量智能檔的體驗,如何評價效果。

學術論文的衡量標準是看QoE,它包含了對清晰度質量、卡頓和清晰度波動的因素。但它是單一值,兩次不同的播放,QoE一個高一個低,說明前一個體驗更好,但是無法知道差的原因,是卡頓太多還是清晰度太低?所以單一值,不利于我們衡量真實效果,也不利于明確優(yōu)化方向。

所以,我們最終通過和實際業(yè)務目標相結合,整體看全盤數(shù)據(jù),同時將卡頓率、高清晰度的播放時長占比拆開來看?D率高了,要想辦法降卡頓,策略上要相對保守;如果高清晰度少了,就要適當調整策略,讓用戶更容易升到高清晰度。

此外,播放的體驗好不好需要多維度考量,除以上兩個關鍵指標外,我們也增加了其它維度數(shù)據(jù),比如,使用智能檔用戶的播放量占比、一次播放的清晰度切換頻次,高buffer降檔的反常體驗發(fā)生比率等。

實際上,我們在實踐的過程中遇到的挑戰(zhàn)還不止這些,比如倍速播放的情況,4G下考慮流量的問題等。受時間和篇幅的限制,就不一一展開了。


智能檔的設計、實現(xiàn)與優(yōu)化迭代

以上介紹了自適應碼率技術的一般原理和挑戰(zhàn),接下來從整體分析,優(yōu)酷智能檔是如何設計的,又是如何優(yōu)化。

▐  優(yōu)酷智能檔的整體結構設計

智能檔的整體框架分為上下兩部分,下層是客戶端,上層是服務器端。


第一,清晰度選擇的控制器是在客戶端,包含一個策略引擎,支持多種策略實現(xiàn)運行,為策略的運行提供了統(tǒng)一接口;控制器需要與播放器內核的數(shù)據(jù)源處理部分打交道,從播放器內核獲取到視頻的基本信息,比如支持幾個清晰度、每個清晰度碼率多少,有多少個分片、每個分片多大,同時也從播放器收集當前的播放狀態(tài),比如當前的buffer 狀態(tài);此外,客戶端還需要從下載器那里得到各分片的下載速度,從全局的網(wǎng)絡監(jiān)測模塊感知當前的網(wǎng)絡質量情況,最后執(zhí)行策略,輸出下一個清晰度,通過內核交由下載器去下載,進而播放;

第二,智能檔的控制器每次播放后會收集整個決策過程中的輸入/輸出信息,并上報到服務器端,服務器端用這個數(shù)據(jù)做統(tǒng)計、分析、優(yōu)化,然后進一步改進策略,形成一套完整的閉環(huán)的數(shù)據(jù)體系。

▐  策略實現(xiàn)-多策略支持

結合前面算法論文中的理論,我們先后嘗試過實現(xiàn)四種策略:

第一種:Pattaya 是我們最早嘗試的一種策略,將單獨基于速度的一類策略,后來也引入了基于 buffer 策略,不斷根據(jù)數(shù)據(jù)情況增加一些經(jīng)驗規(guī)則進去,也是早期進行鏈路調試的一個策略;

第二種:基于強化學習的策略;

第三種:實現(xiàn)和調試了基于 MPC 思路的策略;

第四種:根據(jù)經(jīng)驗創(chuàng)造出來的,基于下載嘗試和超時的SBit策略。

我們以 AB Test 的形式分桶開啟各個策略,觀察效果逐步優(yōu)化,最終形成一套統(tǒng)一策略,包含起播/Seek決策、播中決策、超時處理、卡頓處理等幾個關鍵組成部分。

▐  數(shù)據(jù)體系建設-信息的收集與解析

上面提到四類策略,在衡量效果時,我們提到了一些關鍵指標,相關的統(tǒng)計數(shù)據(jù)在上線之初就進行了支持。那么,這四類策略是不是上線就表現(xiàn)良好,表現(xiàn)不好的原因是什么,這就需要對每一次播放數(shù)據(jù)的輸入和輸出都有詳細記錄,如圖中的數(shù)據(jù)結構。


第一步,早期我們考慮一次播放的決策數(shù)據(jù)量比較大,同時還不具備這種批量數(shù)據(jù)處理分析的能力,主要是以日志的方式打出來;

第二步,我們了解到阿里云的數(shù)據(jù)工場能夠提供這樣一種能力,通過自定義 UDF 解析結構復雜的編碼數(shù)據(jù),并且通過一般的編程語言以實現(xiàn)插件的形式,完成各式各樣的分析,這樣我們就將客戶端上每次播放的所有相關的輸入和輸出,按照一定的格式組織起來,進行壓縮、編碼通過埋點渠道報上來,需要分析的時候在數(shù)據(jù)平臺上解碼分析。

上圖,是一個經(jīng)過編碼的智能檔播放信息,報到服務器端之后,我們通過數(shù)據(jù)平臺對立面的信息進行解析。當然這張圖立面只畫出了其中一部分信息,包含原始的輸入速度、預測的速度、播放器buffer的變化情況,這樣整個智能檔的決策過程就盡收眼底。

▐  數(shù)據(jù)體系建設-優(yōu)化應用

當完整數(shù)據(jù)體系建立之后,我們就可以進行優(yōu)化。下面以卡頓優(yōu)化為例,我們是這樣操作的:

第一步,當版本發(fā)布后,觀察整體的大盤數(shù)據(jù),發(fā)現(xiàn)卡頓超出預期,我們會分析用戶用例,對卡頓情況有初出認知。

第二步,基于已知信息做分類規(guī)則,比如,是起播就卡,還是播了很久之后才卡;是因為網(wǎng)絡差,清晰度降底都還會卡,還是在策略上有優(yōu)化的空間?

第三步,根據(jù)規(guī)則將所有發(fā)生過卡頓的播放數(shù)據(jù)做聚合分析,知道每種可能情況的占比,有針對性分優(yōu)先級的去解決和處理問題;

不只卡頓,還是其它像高清晰度沒有達到預期,都可以用這種方式進行分析。這些數(shù)據(jù)除了分析這些問題以外,還有利于我們對整個優(yōu)酷用戶播放過程有一個更全面的了解,比如說他們的網(wǎng)絡情況分布等。

▐  智能檔的應用推廣

在智能檔完成設計、實現(xiàn)、優(yōu)化,我們希望它能夠在更多的場景上得到應用。智能檔最初是在手機兩端上率先完善和放量,其次是iPad端。在過去一年,我們也在iKu OTT 等客戶端場景下投入使用。

這里面需要強調是大型直播場景,比如雙11貓晚、近期的義演直播《相信未來》,直播和點播場景有差異:

第一、直播要求低延遲,比如看球賽,不能隔壁進球了,這里還在射門。所以這個特點就決定了端上播放器不能有太多buffer,智能檔的決策需要做適當?shù)恼{整,更多的從網(wǎng)速上獲取信息;

第二、直播是實時性的,生產(chǎn)端生產(chǎn)出視頻流是實時進行的,而且通常的直播時長比一集電視劇時間還要長,所以存在技術風險,這時候智能檔就有了用武之地。

和直播場景有關的第一個問題是流量控制,某一場直播開始前,會預估流量,但實際可能因為某個節(jié)目特別火爆,新用戶源源不斷地涌進來。在服務器流量壓力大時,智能檔可以通過實時下發(fā)配置適當?shù)恼{整用戶的清晰度,例如,必要情況下,降低一個清晰度,實時緩解服務器帶寬和流量壓力。這是傳統(tǒng)清晰度所做不到的,傳統(tǒng)清晰度可能從進入直播間到看完就固定在一個清晰度碼率上。

另外一個常見問題是直播時,在生產(chǎn)端可能會出現(xiàn)某一路流轉碼失敗,智能檔發(fā)現(xiàn)問題后,可以直接標記這路流不可用,在后面的播放切到其它相近的清晰度時,保證整體直播效果不會受到太大的影響。


智能檔的應用總結及未來

在過去一年,優(yōu)酷智能檔已經(jīng)逐漸走向成熟:

優(yōu)酷智能檔在過去一年的建設過程中,覆蓋了移動端約30%的播放量,甚至比播放某些傳統(tǒng)的清晰度播放量都高;

從智能檔內的各個清晰度播放時長來看,能夠讓用戶在90% 以上的時間觀看比較高的清晰度,同時保持著比一般清晰度更低的卡頓率,尤其在 4G 網(wǎng)絡下,能夠做到傳統(tǒng)清晰度的一半;

智能檔為優(yōu)酷整體的播放體驗優(yōu)化提供了工具,也在直播等場景成為了技術保障的必要手段;

最重要的,經(jīng)過過去一年的優(yōu)化,獲得了用戶的認可。


對于未來,主要有兩點思考:

隨著 5G 的發(fā)展,越來越多的用戶將移動蜂窩網(wǎng)絡下觀看視頻,智能檔會得到更多應用?赡艽蠹乙獑柫,5G網(wǎng)速那么快,還需要智能檔嗎?這里我想到了一句話,"What Andy gives Bill takes away",“安迪比爾定律”,這里面 Andy 是 Intel 的 CEO, Bill就是比爾蓋茨了。意思是無論 Intel的 CPU 造的多么先進,都會被新的 Windows 系統(tǒng)消耗掉;氐讲シ艌鼍,網(wǎng)絡技術是在發(fā)展,但人們對高清視頻的需求也在不斷提高,所以智能檔是必要的;


另外,一定會出現(xiàn)新的手段,讓自適應碼率技術的效果更好。比如今天提到的Pensieve,利用強化學習來進行清晰度選擇。這個原作者在 2019 年又發(fā)表了一篇新論文,大致內容是他又改進了算法模型,開始在 Facebook 進行實驗,這是個未來的方向,現(xiàn)在的可解釋性等等問題應該都會逐步得到解決。


  



京東姚霆:推理能力,正是多模態(tài)技術未來亟需突破的瓶頸

姚霆指出,當前的多模態(tài)技術還是屬于狹隘的單任務學習,整個訓練和測試的過程都是在封閉和靜態(tài)的環(huán)境下進行,這就和真實世界中開放動態(tài)的應用場景存在一定的差異性

利用時序信息提升遮擋行人檢測準確度

Tube Feature Aggregation Network(TFAN)新方法,即利用時序信息來輔助當前幀的遮擋行人檢測,目前該方法已在 Caltech 和 NightOwls 兩個數(shù)據(jù)集取得了業(yè)界領先的準確率

基于網(wǎng)格圖特征的琵琶指法自動識別

根據(jù)各種指法的具體特點,對時頻網(wǎng)格圖、時域網(wǎng)格圖、頻域網(wǎng)格圖劃分出若干個不同的計算區(qū)域,并以每個計算區(qū)域的均值與標準差作為指法自動識別的特征使用,用于基于機器學習方法的指法自動識別

知識圖譜在個性化推薦領域的研究進展及應用

新加坡國立大學NExT中心的王翔博士分析了知識圖譜在個性化推薦領域的應用背景,并詳細介紹了課題組在個性化推薦中的相關研究技術和進展,包括基于路徑、基于表征學習、基于圖神經(jīng)網(wǎng)絡等知識圖譜在推薦系統(tǒng)中的融合技術

重構ncnn,騰訊優(yōu)圖開源新一代移動端推理框架TNN

新一代移動端深度學習推理框架TNN,通過底層技術優(yōu)化實現(xiàn)在多個不同平臺的輕量部署落地,性能優(yōu)異、簡單易用。騰訊方面稱,基于TNN,開發(fā)者能夠輕松將深度學習算法移植到手機端高效的執(zhí)行,開發(fā)出人工智能 App,真正將 AI 帶到指尖

達摩院金榕教授113頁PPT詳解達摩院在NLP、語音和CV上的進展與應用實踐

達摩院金榕教授介紹了語音、自然語言處理、計算機視覺三大核心AI技術的關鍵進展,并就AI技術在在實際應用中的關鍵挑戰(zhàn),以及達摩院應對挑戰(zhàn)的創(chuàng)新實踐進行了解讀

OpenAI發(fā)布了有史以來最強的NLP預訓練模型GPT-3

2020年5月底OpenAI發(fā)布了有史以來最強的NLP預訓練模型GPT-3,最大的GPT-3模型參數(shù)達到了1750億個參數(shù)

多尺度圖卷積神經(jīng)網(wǎng)絡:有效統(tǒng)一三維形狀離散化特征表示

解決了傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡中圖節(jié)點學習到的特征對圖分辨率和連接關系敏感的問題,可以實現(xiàn)在低分辨率的三維形狀上學習特征,在高低分辨率形狀之上進行測試,并且保持不同分辨率特征的一致性

履約時間預估:如何讓外賣更快送達

外賣履約時間預估模型,預估的是從用戶下單開始到騎手將餐品送達用戶手中所花的時間

性能超越最新序列推薦模型,華為諾亞方舟提出記憶增強的圖神經(jīng)網(wǎng)絡

記憶增強的圖神經(jīng)網(wǎng)絡對短期的商品語境信息建模,并使用共享的記憶網(wǎng)絡來捕捉商品之間的長期依賴,對多個模型進行了對比,在Top-K序列推薦中效果極佳

如何創(chuàng)造可信的AI,這里有馬庫斯的11條建議

馬庫斯系統(tǒng)性地闡述了對當前AI研究界的批判,從認識科學領域中針對性地給出了11條可執(zhí)行的建議

用于微創(chuàng)手術的觸覺傳感器(二)

MIS 和RMIS觸覺傳感器最常用的傳感原理是基于電氣的傳感器。這些觸覺傳感器進一步分為壓阻型、壓電型和電容型傳感器
 
資料獲取
新聞資訊
== 資訊 ==
» 人形機器人未來3-5年能夠實現(xiàn)產(chǎn)業(yè)化的方
» 導診服務機器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達傳感技術室內照明應用規(guī)范
» 人工智能研發(fā)運營體系(ML0ps)實踐指
» 四驅四轉移動機器人運動模型及應用分析
» 國內細分賽道企業(yè)在 AIGC 各應用場景
» 國內科技大廠布局生成式 AI,未來有望借
» AIGC領域相關初創(chuàng)公司及業(yè)務場景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應用場景豐富
» AI 內容創(chuàng)作成本大幅降低且耗時更短 優(yōu)
 
== 機器人推薦 ==
 
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人底盤

機器人底盤

 

商用機器人  Disinfection Robot   展廳機器人  智能垃圾站  輪式機器人底盤  迎賓機器人  移動機器人底盤  講解機器人  紫外線消毒機器人  大屏機器人  霧化消毒機器人  服務機器人底盤  智能送餐機器人  霧化消毒機  機器人OEM代工廠  消毒機器人排名  智能配送機器人  圖書館機器人  導引機器人  移動消毒機器人  導診機器人  迎賓接待機器人  前臺機器人  導覽機器人  酒店送物機器人  云跡科技潤機器人  云跡酒店機器人  智能導診機器人 
版權所有 © 創(chuàng)澤智能機器人集團股份有限公司     中國運營中心:北京·清華科技園九號樓5層     中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728