【CPS中安網(wǎng) cps.com.cn】深度學習是貫穿當今人工智能應用的核心框架之一。如何利用深度學習框架、高效進行人工智能開發(fā)，已經(jīng)成了全球AI開發(fā)者們熱議的話題。

　　3月25日下午，曠視科技于線上正式發(fā)布“Brain++·天元”深度學習框架。

　　“Brain++”是由曠視自主研發(fā)的端到端人工智能算法平臺，總體架構(gòu)上分為三部分，包括深度學習框架MegEngine、深度學習云計算平臺MegCompute、以及數(shù)據(jù)管理平臺MegData，具備大規(guī)模算法研發(fā)能力。

　　而天元（MegEngine）則是曠視Brain++最核心的組件，可幫助開發(fā)者用戶借助編程接口，進行大規(guī)模深度學習模型訓練和部署，具備訓練推理一體化，動靜合一，兼容并包和靈活高效四個特點。

　　MegEngine: 深度學習框架的新紀元

　　發(fā)布會上，曠視研究院高級技術(shù)總監(jiān)田忠博對于天元MegEngine做出了更詳盡的介紹。

　　天元架構(gòu)從上到下共分為5個層次。最上層為計算接口層，天元對外暴露的接口為Python和C++接口，支持Python和C++語言對框架進行編程和使用，進行原型系統(tǒng)的設(shè)計研發(fā)和訓練推理。

　　第二層為圖表示層，包含動態(tài)圖和靜態(tài)圖表示功能。在圖表示層下，第三層為核心計算層，包括自動求導、圖優(yōu)化、圖編譯等主要功能。同時，一體化核心計算引擎層次負責支撐動態(tài)圖、靜態(tài)圖表示功能，以及上層接口功能。

　　系統(tǒng)第四層為管理層，分為運行管理和內(nèi)存管理兩部分，負責計算調(diào)度和內(nèi)存管理。其中非常值得一提的是內(nèi)存管理模塊中實現(xiàn)的“靜態(tài)內(nèi)存亞線性優(yōu)化”功能，可以使內(nèi)存管理效率得到大幅提升。

　　最底層為系統(tǒng)核心計算層，包含核心算子庫，可以支持X86、CUDA、ARM、ASIC等一系列常見計算設(shè)備；以及一個高性能異構(gòu)通信庫，可以支持計算框架的分布式、多節(jié)點使用，從而支持更大規(guī)模的應用。

　　天元MegEngine的優(yōu)勢

　　天元框架的誕生，有針對性地解決了人工智能產(chǎn)品開發(fā)中一系列痛點：

　　▎訓練推理一體化

　　傳統(tǒng)深度學習產(chǎn)品的研發(fā)過程中，訓練框架和推理框架往往是分別設(shè)計和實現(xiàn)的，當進行算法設(shè)計時，算法首先需要獲得訓練框架的支持，變?yōu)榭捎柧毜哪Ｐ停俎D(zhuǎn)為為推理框架可支持的格式，在不同的設(shè)備上進行計算。

　　這些復雜的流程可能會導致一系列問題：如算子不被支持、無法自動優(yōu)化、冗余算子引入導致系統(tǒng)性能下降等。

　　而天元框架無需進行模型轉(zhuǎn)化，可直接使用訓練后的模型進行推理，保證訓練和推理時的速度和精度一致，以及在跨設(shè)備模型訓練時精度對齊。并且通過簡化流程，天元可以自動對流程優(yōu)化，提高效率。

　　▎動靜合一

　　在人工智能原型開發(fā)中，靜態(tài)圖更好部署，更容易變?yōu)楫a(chǎn)品。而在研究過程中，動態(tài)圖更方便調(diào)試，更加靈活。

　　天元框架嘗試取兩者優(yōu)點，設(shè)計為可在動態(tài)和靜態(tài)兩種模式中切換，達到在兩種模式下都可正確進行計算的狀態(tài)，從而提升研究到部署過程中的效率。

　　▎兼容并包

　　目前人工智能開源框架眾多，每種框架的接口各異，導致了模型復現(xiàn)困難，學習成本高的問題。

　　天元框架設(shè)計時，在函數(shù)命名風格和參數(shù)設(shè)計細節(jié)上都遵循Python社區(qū)的傳統(tǒng)，并簡化整體API風格，降低框架的使用和學習成本。

　　同時天元框架還嘗試性添加了模型導入功能，使模型可以更簡單地被復現(xiàn)和對比，方便原型開發(fā)和實驗。

　　▎靈活高效

　　對AI產(chǎn)品研發(fā)生產(chǎn)公司來說，為了提供極致的AI服務，需要其產(chǎn)品在不同設(shè)備上都達到極致的性能。

　　天元框架借助其高性能的算子庫和高效的內(nèi)存優(yōu)化策略，可以充分利用不同設(shè)備的算力，從而達到靈活高效的效果，使得同樣的設(shè)備在應用天元框架時可以訓練更大的模型，支持更多的算法種類。

　　Brain++天元助力科研與生產(chǎn)

　　根據(jù)曠視首席科學家、曠視研究院院長孫劍的介紹，曠視Brian++天元框架的特點可以簡單總結(jié)為三點：“訓得好”，“訓得快”，“訓得動”。

　　▎框架與算法協(xié)同——訓得好

　　孫劍博士介紹道，天元的第一個特點是框架與算法協(xié)同。今天，人工智能的算法運行在各種各樣不同的平臺之上，而云、端、邊設(shè)備的特性差異很大，無法設(shè)計一種網(wǎng)絡(luò)滿足所有需求。

　　曠視在進行深度學習研發(fā)的過程中，發(fā)現(xiàn)了一種三角形關(guān)系：三角形的三個頂點分別意味著取得良好訓練效果的三要素——訓練框架、計算設(shè)備、網(wǎng)絡(luò)結(jié)構(gòu)。

　　為了達到最好的效果，三者需要聯(lián)合設(shè)計，基于對不同計算設(shè)備特性的研究，天元框架可以快速開發(fā)算子，并靈活高效地進行算子優(yōu)化，適配不同特性的計算設(shè)備，這是取得最優(yōu)運行效果的關(guān)鍵。

　　受益于天元框架和對端側(cè)設(shè)備的深刻理解，曠視“協(xié)同設(shè)計”理念的成果“ShuffleNet”，近幾年在端上取得了優(yōu)異的效果，幫助國內(nèi)手機廠商加速其智能化過程，并成為了各大主流框架中的標準實現(xiàn)。

　　▎高效訓練系統(tǒng)——訓得快

　　隨后，孫劍博士又介紹道，在計算機視覺領(lǐng)域非常有名的MS COCO大賽中，曠視在2017-2019年連續(xù)三年奪冠。這得益于曠視天元框架的高效訓練系統(tǒng)。

　　原因是多樣的，但其中非常關(guān)鍵的是天元框架第一次引入SyncBN技術(shù)，能夠支持超大Mini Batch訓練，從而大幅度提高了訓練模型的速度，訓練時長由30個小時縮減至2小時，讓研究人員可以在同樣的時間去測試更多的想法，不斷推進對計算機視覺和AI的認知。

　　▎大規(guī)模能力——訓得動

　　最后，孫劍博士解釋了天元的大規(guī)模能力與曠視數(shù)據(jù)庫容量規(guī)模有關(guān)。在2019年，曠視聯(lián)合北京智源人工智能研究院聯(lián)合發(fā)布了Object365數(shù)據(jù)集，現(xiàn)在Object 365 V2 已經(jīng)包含超過200萬張圖像，超過2800萬個人工標簽，是COCO的16倍大。

　　更大的數(shù)據(jù)可以確定更好的模型，帶來更高的精度、更快的收斂。同時，曠視天元具有高加速比、亞線性顯存節(jié)省技術(shù)等特性，因此可以輕松完成更大容量的訓練。

　　目前，Brian++天元框架除了幫助曠視在科研學術(shù)方面取得優(yōu)異成績，也已在產(chǎn)業(yè)界落地應用，賦能企業(yè)。

　　開源框架百家爭鳴，共建AI生態(tài)

　　人工智能在近幾年快速的發(fā)展和應用引起了廣泛的關(guān)注，關(guān)于底層人工智能框架的發(fā)展，CPS中安網(wǎng)曾在《中國安防人工智能發(fā)展產(chǎn)業(yè)指南》詳細給出目前市面上包括谷歌TensorFlow，加州伯克利分校Caffe，百度PaddlePaddle，F(xiàn)acebook的PyTorch，微軟CNTK，谷歌Keras，亞馬遜MxNet等主流框架的整理信息。

　　Brain++天元框架的諸多底層創(chuàng)新確保了其技術(shù)的國際領(lǐng)先地位。同時對于“目前國內(nèi)計算機視覺公司相關(guān)產(chǎn)品和應用的研發(fā)主要基于谷歌、微軟、亞馬遜、Faceebook 等國際巨頭的框架”的現(xiàn)狀，曠視天元框架的開源無疑是極為重要的，同時也將為人工智能上層應用創(chuàng)新帶來更多的可能性。

　　據(jù)悉，曠視此次發(fā)布會上開源的是天元框架Alpha版本，計劃在6月和9月分別提出Beta版本和正式版本，并會在OpenAI和GitHub同步發(fā)布。同時伴隨著天元框架發(fā)布的還有曠視的在線深度學習工具MegStudio以及匯聚頂尖模型的ModelHub。

　　曠視科技CTO唐文斌表示，“天元”一詞指代的是圍棋棋盤的中心點，也意味著萬物的基礎(chǔ)。曠視希望天元框架能夠成為中國人工智能的基石，同時也希望在Beta版本和正式版本之間，有更多的人來貢獻code，給出建議，提出批評，一起共建更好的AI生態(tài)，創(chuàng)造更多的價值。