Technica公司發(fā)布智能霧計算平臺技術白皮書

SmartFog是一種基于軟件的原型能力，它建立在多種核心技術之上且與硬件無關。SmartFog可以輕松地將人工智能分析微服務部署到云、霧和物聯網設備上，其架構支持與現有系統(tǒng)的靈活集成，提供了大量的實現方案，能夠增強從云到物（C2T）的安全性和私密性。此外，SmartFog賽博安全微服務通過輕松將人工智能分析微服務從云端部署（或重新部署）到物端并進行訓練，從根本上改變了下一代信息安全性。例如，SmartFog異常檢測微服務使用了一種先進的機器學習神經網絡來發(fā)現異常數據。SmartFog并不是要取代任何現有的解決方案，而是要用下一代人工智能算法來彌補現有解決方案的不足。

1、萬物互聯時代的數據處理需求

物聯網是由移動電話、傳感器、攝像頭、執(zhí)行器、微控制器等相互連接的設備以及其他裝有嵌入式軟件的設備構建而成。這些設備的部署預計將呈指數級增長。地球上物聯網設備的數量已經超過了人口數量，創(chuàng)造了前所未有的海量數據。物聯網設備將給最先進的大數據基礎設施帶來難以置信的壓力，并從根本上增加影響企業(yè)網絡安全態(tài)勢的威脅載體數量。Gartner預測，到2022年，企業(yè)生成的數據中將有超過50%在數據中心（即核心或云）之外創(chuàng)建和處理。

整合到SmartFog中的霧計算架構將幫助處理來自物聯網設備的數據，可從云到網絡邊緣或從云端到物端提供不間斷的計算、網絡、存儲、加速、分析和管理等高級賽博安全分析所需的功能。具體來說，這意味著像異常檢測微服務這樣的人工智能算法可以部署在任何需要它提供支持的地方，如云端、霧端或網絡邊緣。經過訓練，該算法可以用來發(fā)現其所處環(huán)境的異常。這意味著，只需根據特定的情景調整參數，一種算法即可服務于多個目的。

2、SmartFog的核心技術

（1）霧計算

雖然各企業(yè)（包括軍方）正積極地將服務部署到云端，但是云并不適合所有用例。盡管最新的網絡基礎設施和魯棒的無線連接可以在不到400毫秒的時間內將請求/響應從設備發(fā)送到云端，但某些應用程序需要更低的延遲。

此外，還存在許多帶寬受限或通信時斷時續(xù)的情況，最典型的就是戰(zhàn)術邊緣環(huán)境。在這種情況下，從云交付的集中式應用程序使觀察、判斷、決策和行動（OODA）環(huán)所需的時間超出了任務需求可接受的范圍。

霧計算是一種新興的計算范式，它使計算、存儲、網絡、加速、分析和管理控制更接近于網絡的邊緣。它的名字來源于這樣一個事實：云在高高的天空，霧則離地面更近。霧計算的關鍵是，云（或核心中的企業(yè)服務器）與物聯網設備之間包含一個霧層，如圖1所示。來自物聯網設備的事件被發(fā)送到靠近網絡邊緣的霧節(jié)點。

分布式霧節(jié)點補充了集中式云，可以在邊緣設備之間移動大量數據，只將長期分析或管理控制所需的數據發(fā)送到云。霧計算對物聯網有諸多益處，其中最主要的是安全、認知、敏捷、延遲和效率（SCALE）。SmartFog作為一種霧計算平臺原型，整合了所有這些優(yōu)勢。特別是在賽博安全方面，SmartFog使包裝成賽博安全微服務的人工智能算法能夠針對其環(huán)境進行分析。例如，與在位于邊緣的微控制器上運行的異常檢測微服務相比，位于云中的異常檢測微服務將被訓練以發(fā)現不同的網絡異常。

OpenFog協會和國家標準協會(NIST)等標準化組織已經發(fā)布了基于開放標準的霧計算愿景，目的是促進互操作性并避免廠商鎖定。SmartFog遵循IEEE 1934標準（霧計算參考體系結構）。

（2）圖形處理器（GPU）加速

在過去的五年中，人工智能的應用范圍和性能均有著顯著的提升，而深度學習算法是人工智能進步的主要原因。深度學習是更廣義的機器學習范疇的一種特殊形式。深度學習算法可利用不同構建方式的各種人工神經網絡（ANN），如卷積神經網絡（CNN）、遞歸神經網絡（RNN）、自動編碼器、逐位等。

經過訓練，人工神經網絡可處理信息流和識別模式，例如面部識別、圖像識別、語音識別和異常檢測。圖形處理器（GPU）大大縮短了訓練神經網絡模型的時間。模型經過訓練后，可以將其部署到設備上，執(zhí)行所需模式的識別，這個過程稱為推理。Technica已經創(chuàng)建了許多包含深度學習算法的人工智能分析微服務，這些算法可以通過訓練來執(zhí)行賽博安全任務。

如前所述，集成人工智能和物聯網的應用程序極大地受益于霧計算。人工智能是從程序上操作大數據來識別模式，并做出實時和時間敏感的決策。物聯網包括所有在邊緣收集、分發(fā)和處理數據的設備。霧節(jié)點內的計算能力允許人工智能所需的數據處理在更靠近邊緣的地方執(zhí)行，而不會遇到云的延遲。SmartFog強調人工智能以及人工智能和系統(tǒng)級微服務的管理，包括版本控制和配置。

（3）微服務架構（MSA）

微服務架構（MSA）是一種特定類型的軟件開發(fā)，專注于構建具有明確定義的接口和操作的單用途模塊。近年來，隨著企業(yè)追求更高的敏捷性，并向DevOps解決方案中發(fā)現的持續(xù)集成/測試模式邁進，MSA范式變得越來越流行。許多開源項目促進了MSA的采用。微服務可以幫助創(chuàng)建能夠按天或周交付的可擴展、可測試的軟件。

MSA可以被認為是下一代面向服務的體系結構（SOA）。SOA于1996年提出并在本世紀初得到廣泛應用，其目標是將獨立的遺留應用程序分解為輕量、松散耦合的服務。服務通常通過SOAP/HTTP協議進行通信。然而在實踐中，SOA是脆弱的。對服務的任何更改通常都會破壞正在使用的應用程序，從而需要更改代碼。

MSA具有與SOA相同的目標，即將單個應用程序分解為可重復利用的輕量級服務。不同之處在于，SOA本質上是使用中間件將組件粘合在一起，而MSA則使用明確定義的應用程序編程接口（API）。這些API通常是基于REST的。

SmartFog原型由大量執(zhí)行系統(tǒng)級功能（消息代理、數據庫功能、復雜事件處理、數據轉換等）的微服務和AI分析功能/算法（異常檢測、面部識別、對象檢測等）組成。

（4）容器化/Docker容器

容器是執(zhí)行特定功能的獨立軟件單元，也稱為微服務。Docker是Linux容器的一個開源實現。Docker的操作類似于VMWare等虛擬化技術，但是它更輕量化，因為它包含了一個簡化版的Linux。Docker容器鏡像是一個獨立的、可執(zhí)行的軟件組件，包含運行微服務所需的一切。

微服務一旦被構建并保存為Docker鏡像，其將在任何能夠運行Linux的硬件（包括物聯網設備）上以完全相同的方式運行。各種微服務可以在單個硬件上互操作，而不必擔心版本問題以及與其他軟件不兼容的問題。

Technica的所有AI分析微服務均被實現為Docker容器，并具有明確定義的API。這些微服務是可擴展的，并且其架構設計可兼顧高可用性和容錯性。微服務的應用范圍很廣，包括賽博安全領域，并且可在從云端到物端的IT基礎設施的各個節(jié)點上實現。此外，微服務可以單獨使用，也可以與現有的平臺、解決方案或產品一起使用。換句話說，Technica開發(fā)的微服務可以在SmartFog之外工作。

（5）DevOps

微服務和容器化是實現敏捷的DevOps戰(zhàn)略的關鍵要素。DevOps是一個概念，它打破了企業(yè)軟件開發(fā)團隊和生產環(huán)境中負責軟件性能的運營團隊之間的長橋。團隊之間的間隔越短，就意味著軟件功能的更新和改進越多，企業(yè)的停工時間就越少。DevOps思維模式是SmartFog的核心，因為軟件功能可以在bug更少的情況下精確交付，包括經過專門訓練的SmartFog賽博安全微服務。

3、SmartFog原型平臺與微服務

Technica的獨立研發(fā)（IR&D）部門開發(fā)了SmartFog原型平臺，為物聯網設備所在的邊緣提供計算、存儲、聯網、加速、分析和管理控制等功能。這使得物聯網事件能夠被近實時地處理。重要的是，SmartFog允許數據本地化，即數據在邊緣附近處理。這減輕了云或企業(yè)預置型核心數據中心的某些分析負擔。與將所有數據傳輸到中央服務器進行處理相比，霧計算可以獲得更快的結果，并且具有更少的安全風險。

直觀的、基于web的用戶界面為管理員提供了一整套服務，如配置微服務，將微服務部署到霧節(jié)點，監(jiān)視微服務狀態(tài)，啟動和停止微服務，以及將更新后的配置發(fā)送到正在運行的微服務等。這些功能是在單個節(jié)點或節(jié)點集群上啟動的。

（1）SmartFog架構

圖2描述了SmartFog架構概念。雖然有大量的低功率設備（如樹莓派）可以作為霧節(jié)點，但Technica通常使用NVIDIA公司的Jetson TX2s來管理霧層。這些GPU加速的設備使物聯網設備能夠以最小的計算、功率和存儲能力運行，因為這些功能可以被卸載到霧節(jié)點。

使用MQTT發(fā)布-訂閱協議，SmartFog可以在網絡帶寬受限或通信連接時斷時續(xù)的情況下繼續(xù)工作。MQTT消息建立在TCP/IP協議之上，允許霧層的微服務與物聯網設備和云進行通信。MQTT還能夠支持其他消息代理協議，如高級消息隊列協議（AMQP）。

圖2顯示了兩種類型的終端用戶。左邊表示的是那些使用客戶端應用程序的用戶，而用戶使用的應用程序則利用了來自邊緣和霧的數據。應用程序偵聽數據，以某種方式處理數據，并將數據格式化以供用戶查看。右邊的終端用戶是SmartFog管理員，他（或她）負責部署和管理來自云的微服務。

（2）SmartFog的各類微服務

SmartFog主要包括異常檢測、長-短期記憶（LSTM）、聯邦學習與生成敵神經網絡（GAN）微服務。這些微服務提供離散的功能，可以被視為類似于智能手機上的應用程序。然而，與大多數智能手機應用程序不同的是，SmartFog的微服務可以在彼此之間傳遞信息，從而創(chuàng)建復合微服務。例如，異常檢測微服務可以與復雜事件處理器（CEP）微服務通信以觸發(fā)警報或警告。微服務可以動態(tài)更新，類似于智能手機上的應用升級。

盡管微服務幾乎可以應用于所有領域，就像智能手機應用程序一樣，但Technica認為，提供微服務的最大價值在于利用硬件加速，并通過深度學習算法提供人工智能能力。即將到來的物聯網設備浪潮，以及這些設備所產生的龐大數據量，將需要利用人工智能技術領域的最新突破來實現自動化的解決方案。對于人類來說，將會有太多的數據需要處理。在霧層中使用人工智能技術是霧計算最重要的益處之一，尤其是將這些先進的人工智能算法應用于網絡安全時。