新興的機(jī)器學(xué)習(xí)算法再現(xiàn)奇跡? 深度學(xué)習(xí)未來發(fā)展及趨勢(shì)分析

• 2021年11月9日 ZouJunRong來源：騰訊網(wǎng) 中研網(wǎng) 928 58
• 繁體

深度學(xué)習(xí)本質(zhì)上是一種新興的機(jī)器學(xué)習(xí)算法，其基本模型框架是基于ANN的，如含有多隱層的感知器。其可以通過對(duì)數(shù)據(jù)的底層特征進(jìn)行學(xué)習(xí)從而得到更加抽象的隱藏特征，從而特到數(shù)據(jù)的分布式規(guī)律，進(jìn)而預(yù)測(cè)或分類數(shù)據(jù)。

新興的機(jī)器學(xué)習(xí)算法再現(xiàn)奇跡?

深度學(xué)習(xí)本質(zhì)上是一種新興的機(jī)器學(xué)習(xí)算法，其基本模型框架是基于ANN的，如含有多隱層的感知器。其可以通過對(duì)數(shù)據(jù)的底層特征進(jìn)行學(xué)習(xí)從而得到更加抽象的隱藏特征，從而特到數(shù)據(jù)的分布式規(guī)律，進(jìn)而預(yù)測(cè)或分類數(shù)據(jù)。深度學(xué)習(xí)是一種學(xué)習(xí)數(shù)據(jù)表征的算法，它可以從無規(guī)律、抽象的觀測(cè)值即輸入值中學(xué)習(xí)到數(shù)據(jù)的隱藏特征，比如CNN算法通過輸入的圖片像素點(diǎn)RGB值可以學(xué)習(xí)到圖片的內(nèi)部特征，例如圖片中的實(shí)體、數(shù)字等。深度學(xué)習(xí)的好處是其用高效的特征提取算法替代了原始的手工獲取特征的手段。

深度學(xué)習(xí)未來發(fā)展及趨勢(shì)分析

深度學(xué)習(xí)概念由Hinton于2006年在《Science》上發(fā)表的論文《DeepLearning》提出。提到：1、在ANN中，感知器的隱層數(shù)量越多，對(duì)于數(shù)據(jù)隱藏特征的學(xué)習(xí)能力就越強(qiáng)，而且學(xué)習(xí)到的特征會(huì)更好的幫助理解數(shù)據(jù)，從而能夠更好的對(duì)數(shù)據(jù)進(jìn)行可視化或分類;

由于ANN層數(shù)越多，參數(shù)就會(huì)以幾何倍數(shù)的增加，因此ANN的層數(shù)會(huì)加大對(duì)整個(gè)網(wǎng)絡(luò)的訓(xùn)練效率，由此Hinton提出了基于無監(jiān)督學(xué)習(xí)的“逐層初始化”來有效克服該難題。在深度學(xué)習(xí)領(lǐng)域中，最先出現(xiàn)的算法是Hinton提出的限制玻爾茲曼機(jī)(RBM)以及基于此提出的深度置信網(wǎng)絡(luò)(DBN)，這兩種算法為解決復(fù)雜的優(yōu)化難題提供了思路，為解決多層復(fù)雜網(wǎng)絡(luò)帶來了希望。之后提出的自動(dòng)編碼器算法也風(fēng)靡一時(shí)。

此外Hinton的得意弟子Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)(CNN)真正將深度學(xué)習(xí)研究領(lǐng)上了高潮，其本質(zhì)上是用來解決圖片或視頻中的實(shí)體識(shí)別等難題的，它利用圖片2維或3維空間特性有效的減少了網(wǎng)絡(luò)的訓(xùn)練參數(shù)。

國(guó)外的深度學(xué)習(xí)研究在整體上呈現(xiàn)出三個(gè)基本趨勢(shì)：一是關(guān)注真實(shí)課堂條件下深度學(xué)習(xí)與學(xué)生素養(yǎng)發(fā)展的實(shí)證研究;二是從個(gè)別具體操作策略的探討轉(zhuǎn)向?yàn)橐话慊僮髂Ｊ降慕?gòu);三是從單純關(guān)注深度學(xué)習(xí)的技術(shù)性支持轉(zhuǎn)向?yàn)榍榫承缘沫h(huán)境支持系統(tǒng)設(shè)計(jì)。深度學(xué)習(xí)研究又呈現(xiàn)出兩個(gè)較為明顯的特點(diǎn)。

據(jù)中研普華產(chǎn)業(yè)研究院的報(bào)告《2021-2025年中國(guó)深度學(xué)習(xí)發(fā)展及趨勢(shì)專項(xiàng)研究報(bào)告》分析

深度學(xué)習(xí)應(yīng)用覆蓋更廣泛，市場(chǎng)增速加快

深度學(xué)習(xí)除了在已經(jīng)廣泛應(yīng)用的領(lǐng)域不斷深化完善，也在持續(xù)拓展新的應(yīng)用領(lǐng)域，推動(dòng)各個(gè)行業(yè)的智能化。2017-2018年期間，得益于硬件和算法的進(jìn)步，深度學(xué)習(xí)的強(qiáng)大能力逐漸顯現(xiàn)。這種進(jìn)步體現(xiàn)在連續(xù)學(xué)習(xí)過程中使用模式識(shí)別的算法，使它們能夠自主訓(xùn)練執(zhí)行任務(wù)，而不需要顯式編程代碼。

圖表：全球深度學(xué)習(xí)軟件喜營(yíng)收(按區(qū)域) : 2017-2025

數(shù)據(jù)來源：Tractica

一些較成功的深度學(xué)習(xí)應(yīng)用集中在圖像識(shí)別、文本分析、產(chǎn)品推薦、欺詐預(yù)防和內(nèi)容管理等領(lǐng)域的增量和實(shí)際改進(jìn)上。深度學(xué)習(xí)可能會(huì)帶來未來更強(qiáng)大、更具顛覆性的應(yīng)用發(fā)展，如無人駕駛汽車、個(gè)性化教育和預(yù)防性醫(yī)療保健。Tractica 預(yù)測(cè)，隨著應(yīng)用的不斷拓展，全球深度學(xué)習(xí)軟件市場(chǎng)將從2017 年的30 億美元增長(zhǎng)到2025 年的672 億美元。深度學(xué)習(xí)的市場(chǎng)機(jī)會(huì)跨越了廣泛的行業(yè)和地理區(qū)域，尤其是在具有海量數(shù)據(jù)需求和實(shí)體的特定領(lǐng)域市場(chǎng)，以及那些使用視覺和語(yǔ)言處理技術(shù)的機(jī)器感知應(yīng)用不斷增長(zhǎng)的市場(chǎng)，這種機(jī)會(huì)具有特別大的顛覆性。

深度學(xué)習(xí)技術(shù)研究持續(xù)深入

深度學(xué)習(xí)除了在應(yīng)用領(lǐng)域的快速擴(kuò)張，一些基礎(chǔ)技術(shù)研究依然保持著很高的熱度。主要可以分成以下幾個(gè)方向：深度學(xué)習(xí)的基礎(chǔ)理論研究;深度學(xué)習(xí)和其他方法的結(jié)合擴(kuò)展;深度學(xué)習(xí)一些優(yōu)勢(shì)的深耕和發(fā)揚(yáng)光大;深度學(xué)習(xí)現(xiàn)階段一些局限性的解決。當(dāng)然這幾個(gè)方面也是相互影響，相互交織的。

深度學(xué)習(xí)的理論性研究側(cè)重給出對(duì)深度學(xué)習(xí)有效性更好的解釋，對(duì)深度學(xué)習(xí)的泛化能力更好的證明，以及如何更快收斂更好地學(xué)習(xí)等。

在和其他方法結(jié)合方面，一方面最成功的當(dāng)屬深度強(qiáng)化學(xué)習(xí)，從靜態(tài)監(jiān)督學(xué)習(xí)擴(kuò)展到動(dòng)態(tài)交互時(shí)序?qū)W習(xí)，這在AlphaGo 上已經(jīng)得到了驗(yàn)證。但是對(duì)于深度強(qiáng)化學(xué)習(xí)是否就是最接近人工智能的解決方案還是存疑的。另一方面是在一些非游戲類的實(shí)際應(yīng)用中，深度強(qiáng)化學(xué)習(xí)發(fā)揮好的效果往往需要針對(duì)性的設(shè)計(jì)和實(shí)驗(yàn)。除此之外，也有很多關(guān)于神經(jīng)和符號(hào)相結(jié)合的探索、數(shù)學(xué)模型和認(rèn)知心理學(xué)方法相結(jié)合的探索。

在深度學(xué)習(xí)的優(yōu)勢(shì)深耕方面，預(yù)訓(xùn)練模型與遷移學(xué)習(xí)比較有代表性。深度學(xué)習(xí)下的特征表示學(xué)習(xí)特性，可以構(gòu)造出可擴(kuò)展、可遷移的強(qiáng)大的預(yù)訓(xùn)練模型。例如，自然語(yǔ)言處理領(lǐng)域最近出現(xiàn)的Bert 模型就是一個(gè)代表，通過大規(guī)模無標(biāo)注語(yǔ)料訓(xùn)練出的基礎(chǔ)表示模型，可以大大降低具體任務(wù)下對(duì)標(biāo)注數(shù)據(jù)的依賴量并顯著提升效果。

在解決深度學(xué)習(xí)現(xiàn)階段的一些局限性方面則有更多的探索。這包括針對(duì)深度學(xué)習(xí)下網(wǎng)絡(luò)設(shè)計(jì)需要較大成本問題而出現(xiàn)的自動(dòng)化深度學(xué)習(xí)技術(shù)，可以自動(dòng)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和超參數(shù)尋優(yōu)，使深度學(xué)習(xí)更加自動(dòng)化。針對(duì)深度學(xué)習(xí)在監(jiān)督學(xué)習(xí)任務(wù)上表現(xiàn)更優(yōu)異的問題，更多考慮半監(jiān)督、無監(jiān)督任務(wù)下的深度學(xué)習(xí)，包括近期持續(xù)火爆的對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)，將生成模型和判別模型一起學(xué)習(xí)，大大提升了深度學(xué)習(xí)的生成效果。針對(duì)傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)更多適用于無結(jié)構(gòu)數(shù)據(jù)的問題提出圖神經(jīng)網(wǎng)絡(luò)，使得深度學(xué)習(xí)可以作用于圖結(jié)構(gòu)上，非常適用于知識(shí)圖譜等場(chǎng)景，為深度學(xué)習(xí)的推理能力、可解釋性提升提供了新思路。

邊緣計(jì)算將給深度學(xué)習(xí)和芯片帶來更多市場(chǎng)

人工智能的計(jì)算大多在基于云端的數(shù)據(jù)中心完成，而這些計(jì)算的主要內(nèi)容是對(duì)深度學(xué)習(xí)模型的訓(xùn)練，這需要大量的計(jì)算能力。在過去的6年中，計(jì)算需求方面經(jīng)歷30萬倍的增長(zhǎng)，GPU提供了強(qiáng)大的算力支持。隨著人工智能應(yīng)用多樣性的增長(zhǎng)，越來越多的深度學(xué)習(xí)計(jì)算將在邊緣設(shè)備中進(jìn)行，而不是在一個(gè)集中的、基于云的環(huán)境中進(jìn)行。到2025年，全球人工智能邊緣設(shè)備的出貨量將從2018 年的1.614億臺(tái)增加到26億臺(tái)。依據(jù)設(shè)備類別，主要的AI 邊緣設(shè)備為：手機(jī)、智能音箱、個(gè)人電腦設(shè)備、頭戴式顯示器、汽車、無人機(jī)、消費(fèi)者和企業(yè)級(jí)機(jī)器人、監(jiān)控?cái)z像頭等。

圖表：全球邊緣計(jì)算設(shè)備出貨量(按設(shè)備種類): 2017-2025年

數(shù)據(jù)來源：Tractica

在評(píng)估云與邊緣計(jì)算時(shí)，需要考慮隱私、安全、成本、延遲和帶寬等。根據(jù)人工智能應(yīng)用程序和設(shè)備類別，可用于執(zhí)行人工智能邊緣計(jì)算的芯片包括中央處理器(Central Processing Unit，CPU)、圖形處理器(Graphics Processing Unit，GPU)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現(xiàn)場(chǎng)可編程門陣列(Field-Programmable Gate Array，F(xiàn)PGA)、系統(tǒng)芯片(System on Chip，SoC)等。

深度學(xué)習(xí)芯片迎來高速發(fā)展的階段

GPU和CPU 在市場(chǎng)上處于領(lǐng)先地位，但FPGA、ASIC、SoC 加速器和其他新興芯片組的影響正在不斷擴(kuò)大。雖然解決深度學(xué)習(xí)訓(xùn)練和推斷工作量的芯片組市場(chǎng)仍然是一個(gè)新興市場(chǎng)，但形勢(shì)正在迅速變化——在過去的一年中，超過60 家各種規(guī)模的公司宣布了某種深度學(xué)習(xí)芯片組或知識(shí)產(chǎn)權(quán)(IP)設(shè)計(jì)，之后將開始市場(chǎng)驗(yàn)證。2019 年和2020 年是深度學(xué)習(xí)芯片組數(shù)量增長(zhǎng)的關(guān)鍵時(shí)期。

圖表：全球深度學(xué)習(xí)芯片收入(按類型):2016-2025年

數(shù)據(jù)來源：Tractica

到2025 年，深度學(xué)習(xí)芯片組的市場(chǎng)將從2017年的16 億美元增加到663 億美元。系統(tǒng)芯片(SoC)加速器(如移動(dòng)設(shè)備中的加速器)將在預(yù)測(cè)期結(jié)束時(shí)在絕對(duì)數(shù)量上領(lǐng)先市場(chǎng)，隨后是專用集成電路(ASIC)和圖形處理單元(GPU)。就收入而言，到2025 年，ASIC 市場(chǎng)將是最大的，其次是GPU 和中央處理器(CPU)。在邊緣計(jì)算市場(chǎng)，即在設(shè)備上進(jìn)行人工智能計(jì)算的市場(chǎng)，預(yù)計(jì)將占總市場(chǎng)機(jī)會(huì)的四分之三以上，其余在云或者數(shù)據(jù)中心。手機(jī)將是邊緣計(jì)算市場(chǎng)的主要驅(qū)動(dòng)力，其他突出的邊緣類別包括汽車、智能相機(jī)、機(jī)器人和無人機(jī)等。

未來行業(yè)市場(chǎng)投資前景如何?想要了解更多行業(yè)詳情分析，可以點(diǎn)擊查看中研普華研究報(bào)告《2021-2025年中國(guó)深度學(xué)習(xí)發(fā)展及趨勢(shì)專項(xiàng)研究報(bào)告》。

更多報(bào)告推薦

2021-2026年中國(guó)電子學(xué)習(xí)系統(tǒng)行業(yè)市場(chǎng)前瞻與未來投資戰(zhàn)略分析報(bào)告

• 相關(guān)深度報(bào)告REPORTS

  

  2021-2025年中國(guó)深度學(xué)習(xí)發(fā)展及趨勢(shì)專項(xiàng)研究報(bào)告

  深度學(xué)習(xí)本質(zhì)上是一種新興的機(jī)器學(xué)習(xí)算法，其基本模型框架是基于ANN的，如含有多隱層的感知器。其可以通過對(duì)數(shù)據(jù)的底層特征進(jìn)行學(xué)習(xí)從而得到更加抽象的隱藏特征，從而特到數(shù)據(jù)的分布式規(guī)律，進(jìn)C...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡