中國(guó)類腦計(jì)算技術(shù)行業(yè)現(xiàn)狀及發(fā)展前景分析

• 2021年11月25日 HaoChenChong來(lái)源：互聯(lián)網(wǎng) 925 58
• 繁體

類腦計(jì)算是指利用數(shù)字電路、模擬電路、數(shù)?；旌想娐坊蛐缕骷?lái)仿真生物神經(jīng)元以及神經(jīng)元間的突觸連接，進(jìn)而利用超大規(guī)模集成電路(Very Large Scale Integrated，VLSI)系統(tǒng)來(lái)模仿神經(jīng)系統(tǒng)中的神經(jīng)生物學(xué)結(jié)構(gòu)。

中國(guó)類腦計(jì)算技術(shù)行業(yè)現(xiàn)狀及發(fā)展前景分析

類腦計(jì)算是指利用數(shù)字電路、模擬電路、數(shù)?；旌想娐坊蛐缕骷?lái)仿真生物神經(jīng)元以及神經(jīng)元間的突觸連接，進(jìn)而利用超大規(guī)模集成電路(Very Large Scale Integrated，VLSI)系統(tǒng)來(lái)模仿神經(jīng)系統(tǒng)中的神經(jīng)生物學(xué)結(jié)構(gòu)。和現(xiàn)有馮諾伊曼體系結(jié)構(gòu) 計(jì)算與存儲(chǔ)分離的特點(diǎn)相對(duì)，類腦計(jì)算中的神經(jīng)元結(jié)構(gòu)既有計(jì)算能力，也有存儲(chǔ)能力。類腦計(jì)算的這種特點(diǎn)從根本上消除了馮諾伊曼體系結(jié)構(gòu)的“存儲(chǔ)墻”問(wèn)題。通過(guò)對(duì)類腦計(jì)算進(jìn)行研究，能夠更好地理解腦計(jì)算模型，為實(shí)現(xiàn)類腦智能提供路徑。

SNN也被稱為第三代神經(jīng)網(wǎng)絡(luò)，是人工智能領(lǐng)域機(jī)器學(xué)習(xí)算法的一種，是計(jì)算機(jī)科學(xué)與生物神經(jīng)科學(xué)交叉而成的新興學(xué)科。相比于傳統(tǒng)的ANN，如各種深度學(xué)習(xí)網(wǎng)絡(luò)，SNN實(shí)現(xiàn)了更高級(jí)的生物神經(jīng)元模擬水平，更容易模擬人腦低功耗高性能的處理方式，是信息技術(shù)向智能化發(fā)展的重點(diǎn)研究方向。與ANN相比，SNN有諸多優(yōu)良特性，在實(shí)現(xiàn)低功耗、高性能的智能系統(tǒng)上潛力巨大。類腦計(jì)算研究涉及的領(lǐng)域范圍廣泛，包括材料科學(xué)、神經(jīng)科學(xué)、電氣工程、計(jì)算機(jī)工程和計(jì)算機(jī)科學(xué)等。材料科學(xué)家研究、制造和表征可用于類腦器件的新材料，重點(diǎn)是展示與生物神經(jīng)系統(tǒng)相似特性的材料。神經(jīng)科學(xué)家提供可能在類腦計(jì)算意義上有用的新知識(shí)，并利用類腦計(jì)算系統(tǒng)來(lái)模擬和研究生物神經(jīng)系統(tǒng)。電子和計(jì)算機(jī)工程師利用模擬電路、數(shù)字電路、數(shù)模混合電路和器件來(lái)構(gòu)造系統(tǒng)，模擬神經(jīng)系統(tǒng)的運(yùn)行過(guò)程，開(kāi)發(fā)由生物啟發(fā)的類腦計(jì)算系統(tǒng)。類腦計(jì)算系統(tǒng)的研究涉及到類腦處理器微體系結(jié)構(gòu)技術(shù)、體系結(jié)構(gòu)技術(shù)、類腦處理器配套的軟件工具鏈和基于脈沖神經(jīng)網(wǎng)絡(luò)的算法等研究領(lǐng)域。在現(xiàn)階段的社會(huì)發(fā)展過(guò)程中計(jì)算機(jī)科學(xué)技術(shù)在社會(huì)中的應(yīng)用具有極大的社會(huì)現(xiàn)實(shí)含義，不僅其在加速社會(huì)經(jīng)濟(jì)的道路上起到了積極的作用。計(jì)算機(jī)技術(shù)在發(fā)展的同時(shí)帶動(dòng)經(jīng)濟(jì)社會(huì)的進(jìn)步。由于傳統(tǒng)的計(jì)算機(jī)科學(xué)沒(méi)有相關(guān)的技術(shù)信息支撐，當(dāng)代的發(fā)展方向是積極向前的、相互融合的。不過(guò)由于當(dāng)代社會(huì)信息的共享性還有待于提高到新的階段，-些方面的信息受到一定的局限和壟斷性。伴隨著越來(lái)越普遍的計(jì)算機(jī)科學(xué)在全世界范圍內(nèi)的迅猛發(fā)展，信息將可以被方便快捷的進(jìn)行傳播，有理由相信計(jì)算機(jī)技術(shù)將會(huì)帶動(dòng)社會(huì)經(jīng)濟(jì)更好發(fā)展，其對(duì)經(jīng)濟(jì)的發(fā)展將起到積極有效的作用。

根據(jù)中研普華研究報(bào)告《2021-2025年國(guó)內(nèi)外類腦計(jì)算技術(shù)發(fā)展研究及趨勢(shì)預(yù)測(cè)報(bào)告》統(tǒng)計(jì)分析顯示：

一、神經(jīng)形態(tài)運(yùn)算平臺(tái)

類腦運(yùn)算平臺(tái)或者類腦芯片， 是受到生物學(xué)腦工作機(jī)制啟發(fā)開(kāi)發(fā)的專用于為SNN提供計(jì)算的硬件系統(tǒng)。制作類腦芯片最具有挑戰(zhàn)性的是如何把不計(jì)其數(shù)spiking 神經(jīng)元和突觸放進(jìn)一個(gè)小小的芯片里并同時(shí)讓他們的鏈接結(jié)構(gòu)是可調(diào)整的。

最初，類腦芯片僅由科研學(xué)術(shù)機(jī)構(gòu)進(jìn)行探索。 由于研究人員已經(jīng)展示出這些出色的類似于大腦的計(jì)算模型的巨大潛力，因此許多大公司已開(kāi)始參與類腦芯片的開(kāi)發(fā)。

IBM在2014年開(kāi)發(fā)了TrueNorth芯片，它是美國(guó)國(guó)防高級(jí)研究計(jì)劃局SyNAPSE開(kāi)發(fā)計(jì)劃的一部分。 單個(gè)TruNorth芯片包含4096個(gè)計(jì)算核心，可以實(shí)現(xiàn)神經(jīng)突觸和神經(jīng)元排列的動(dòng)態(tài)映射。 每個(gè)內(nèi)核最多可將1024個(gè)軸突電路用于輸入連接，從而實(shí)現(xiàn)256個(gè)IF神經(jīng)元，這些神經(jīng)元組織為靜態(tài)隨機(jī)存取存儲(chǔ)器。 IBM TrueNorth系統(tǒng)的一個(gè)吸引人的功能是，單個(gè)芯片由54億個(gè)晶體管組成，僅消耗70mW的功率密度，僅占傳統(tǒng)計(jì)算單元的1/10000。

SpiNNaker NM平臺(tái)是由曼徹斯特大學(xué)的研究人員開(kāi)發(fā)的，曼徹斯特大學(xué)的研究人員是由歐盟資助的“人腦計(jì)劃” (Eupropean HBP)的一部分。 SpiNNaker為SNN的硬件實(shí)現(xiàn)提供ASIC解決方案。它利用多個(gè)ARM內(nèi)核和FPGA來(lái)配置硬件和PyNN軟件API，以實(shí)現(xiàn)平臺(tái)的可擴(kuò)展性。 ARM處理器使該平臺(tái)能夠以僅1毫秒的仿真時(shí)間步長(zhǎng)，以生物逼真的連通性配置數(shù)十億個(gè)脈沖神經(jīng)元。此外，第二代平臺(tái)SpiNNaker2仍在開(kāi)發(fā)中，它可以使用1000萬(wàn)個(gè)處理器來(lái)模擬更大，更復(fù)雜的SNN。除SpiNNaker之外，BrainScaleS 也是HBP項(xiàng)目的另一個(gè)類腦計(jì)算平臺(tái)。 BrainScaleS是使用晶圓級(jí)集成技術(shù)開(kāi)發(fā)的混合信號(hào)神經(jīng)形態(tài)芯片，該芯片允許利用4000萬(wàn)個(gè)突觸和多達(dá)18萬(wàn)個(gè)神經(jīng)元。正在設(shè)計(jì)下一代BarianScaleS，并將其命名為BrianScaleS-2，它能夠使用更復(fù)雜的神經(jīng)元模型，同時(shí)支持非線性突觸和定制結(jié)構(gòu)的神經(jīng)元。

SpiNNaker 平臺(tái)提供SNN的云仿真和計(jì)算平臺(tái)， 這就意味著如果你想試試自己的SNN在硬件上效果如何的話。你可以去SpiNNaker 云平臺(tái)上 上傳自己的代碼，結(jié)果會(huì)由云平臺(tái)返回， 前提是你的SNN需要是用PyNN構(gòu)建的。

斯坦福大學(xué)在類腦領(lǐng)域貢獻(xiàn)了兩個(gè)類腦硬件，分別是Neurogrid和Braindrop。 Neurogrid 中的神經(jīng)核由256x256制成的CMOS陣列構(gòu)成，該陣列可實(shí)現(xiàn)SNN的混合模數(shù)實(shí)現(xiàn)。 Neurogrid能夠以數(shù)百萬(wàn)個(gè)神經(jīng)元和數(shù)十億個(gè)突觸的能力提供生物學(xué)上合理的計(jì)算。 像Neurogrid一樣的Braindrop是一個(gè)混合信號(hào)NM處理器，但抽象程度很高。 Braindrop采用28納米FDSOI工藝進(jìn)行設(shè)計(jì)，并將4096個(gè)尖峰神經(jīng)元集成在單個(gè)芯片上，該芯片的神經(jīng)元容量有限，無(wú)法大規(guī)模實(shí)施SNN。

英特爾Loihi 類腦芯片是英特爾最近宣布的數(shù)字神經(jīng)計(jì)算平臺(tái)。 Loihi最吸引人的特點(diǎn)是芯片在線學(xué)習(xí)的潛力。 Loihi擁有一個(gè)特殊的可編程微代碼引擎，可以即時(shí)進(jìn)行SNN培訓(xùn)。 Loihi具有3個(gè)獨(dú)特的Lakemont NM核心，專門設(shè)計(jì)用于協(xié)助高級(jí)學(xué)習(xí)規(guī)則。 一個(gè)Loihi芯片中總共有128個(gè)NM內(nèi)核，能夠?qū)崿F(xiàn)130K LIF神經(jīng)元和130M突觸。 Loihi系統(tǒng)的最大大小可支持多達(dá)16個(gè)芯片的4096個(gè)片上內(nèi)核。

Brainchip公司開(kāi)發(fā)了名為Akida神經(jīng)形態(tài)計(jì)算平臺(tái)，該平臺(tái)可以使用一個(gè)NSoC有效地實(shí)現(xiàn)120萬(wàn)個(gè)神經(jīng)元和100億個(gè)突觸。 該平臺(tái)具有多個(gè)板載處理器，包括基于事件的處理，數(shù)字處理，存儲(chǔ)器，輸入/輸出接口和多芯片擴(kuò)展的功能。

圖表：各類芯片匯總

資料來(lái)源：中研普華產(chǎn)業(yè)研究院整理

除了這些類腦芯片外，仍有許多新興的類腦芯片在SNN計(jì)算中顯示出巨大的潛力。 例如浙江大學(xué)的達(dá)爾文芯片，其目標(biāo)是嵌入式低功耗應(yīng)用。 蘇黎世大學(xué)研究人員開(kāi)發(fā)的DYNAP-SEL結(jié)合了異步數(shù)字邏輯和模擬電路，以實(shí)現(xiàn)模擬SNN實(shí)現(xiàn)。 清華大學(xué)的研究人員成功設(shè)計(jì)了混合型天機(jī)芯片 ，該混合型既可以實(shí)現(xiàn)常規(guī)神經(jīng)網(wǎng)絡(luò)又可以實(shí)現(xiàn)SNN。

二、神經(jīng)形態(tài)傳感器

動(dòng)態(tài)視覺(jué)傳感器(Dynamic Vison Sensor)

傳統(tǒng)的視覺(jué)傳感器的經(jīng)典例子是數(shù)碼相機(jī)，它以預(yù)定的幀頻重復(fù)刷新其整個(gè)像素值陣列。但是，使用數(shù)碼相機(jī)具有動(dòng)態(tài)運(yùn)動(dòng)識(shí)別的三個(gè)缺點(diǎn)。首先，數(shù)碼相機(jī)通常以預(yù)定義的幀采樣速率(通常范圍為每秒25-50幀)運(yùn)行，這限制了觀察到的活動(dòng)的時(shí)間分辨率。其次，連續(xù)的幀和每個(gè)幀中的冗余像素浪費(fèi)了大量的存儲(chǔ)資源和計(jì)算。第三，傳統(tǒng)圖像傳感器的動(dòng)態(tài)范圍受到其曝光時(shí)間和集成能力的限制。大多數(shù)相機(jī)會(huì)遭受飽和線性響應(yīng)，動(dòng)態(tài)范圍限制在60-70dB，其中自然場(chǎng)景的光線可以達(dá)到動(dòng)態(tài)范圍的約140dB。動(dòng)態(tài)視覺(jué)傳感器(DVS)提供了解決這些問(wèn)題的方法。使用AER數(shù)據(jù)形式(Address evnet representation)的DVS是基于人類視覺(jué)系統(tǒng)的事件驅(qū)動(dòng)技術(shù)。基于事件的傳感器在動(dòng)態(tài)場(chǎng)景識(shí)別任務(wù)中的優(yōu)勢(shì)在于，當(dāng)場(chǎng)景發(fā)生很大變化時(shí)，它可以提供非常高的時(shí)間分辨率，這只能通過(guò)高速數(shù)碼相機(jī)來(lái)匹配，而這通常需要大功率和大量電量，和計(jì)算資源。

動(dòng)態(tài)音頻傳感器(Dynamic Audio Sensor)

就像DVS模仿人類視覺(jué)系統(tǒng)一樣，動(dòng)態(tài)音頻傳感器的工作機(jī)制也受到人類聽(tīng)覺(jué)系統(tǒng)中的感覺(jué)器官的啟發(fā)。 DAS是異步事件驅(qū)動(dòng)的人工耳蝸，可接收立體聲音頻輸入。 DAS使用麥克風(fēng)前置放大器和64個(gè)雙耳聲道，為神經(jīng)形態(tài)音頻感應(yīng)設(shè)定了基準(zhǔn)。 DAS集成了本地?cái)?shù)模轉(zhuǎn)換器(DAC)，以允許修改每個(gè)通道中的質(zhì)量因數(shù)。 通過(guò)級(jí)聯(lián)的二階模擬部分來(lái)模擬耳蝸的功能，這些模擬部分包括半波整流器，頻率調(diào)制器，數(shù)模轉(zhuǎn)換器，服務(wù)器放大器和緩沖器。

下圖中演示了雙耳DAS語(yǔ)音輸出的示例。 圖展示了DAS對(duì)語(yǔ)音信號(hào)的響應(yīng)，其中綠色和紅色分別對(duì)應(yīng)于左采樣通道和右采樣通道，每個(gè)點(diǎn)都是一個(gè)采集事件。 DAS的線性調(diào)頻響應(yīng)如圖所示，輸入信號(hào)的動(dòng)態(tài)頻率變化范圍為30Hz至10kHz。

三、SNN仿真軟件

盡管SNN具有許多優(yōu)勢(shì)，但是在模擬尖峰神經(jīng)元方面的計(jì)算問(wèn)題還是比較大的。 在某些情況下，像IZ神經(jīng)元模型一樣，需要對(duì)生物物理峰值神經(jīng)元進(jìn)行詳細(xì)的差分表示。 另一方面，在實(shí)際應(yīng)用方面，不需要現(xiàn)實(shí)地重建生物突波產(chǎn)生機(jī)理的簡(jiǎn)化神經(jīng)元模型(比如IF神經(jīng)元模型)。 SNN的仿真策略可以分為兩個(gè)系列：同步或異步。 同步算法會(huì)在每個(gè)時(shí)間步更新所有神經(jīng)元，這比異步或“事件驅(qū)動(dòng)”算法會(huì)導(dǎo)致更高的計(jì)算資源。 異步方法僅在神經(jīng)元接收或發(fā)出脈沖時(shí)更新神經(jīng)元狀態(tài)，就像DVS傳感器的工作范式一樣。

圖表：SNN仿真軟件匯總

資料來(lái)源：中研普華產(chǎn)業(yè)研究院整理

與ANN中的統(tǒng)一神經(jīng)網(wǎng)絡(luò)框架(例如Tensorflow 和Pytorch)不同，SNN模型和SNN的訓(xùn)練方法沒(méi)有得到廣泛一致的統(tǒng)一化。 模擬SNN的方法仍然是多種多樣且客觀的。 現(xiàn)階段，設(shè)計(jì)SNN的過(guò)程不僅考慮了網(wǎng)絡(luò)本身的可行性，而且還可以擴(kuò)展到諸如生物學(xué)上的合理性，計(jì)算成本和學(xué)習(xí)機(jī)制之類的功能。 為了全面回顧SNN的軟件實(shí)現(xiàn)。

類腦運(yùn)算雖然仍處于科研階段， 但各界大牛的應(yīng)用示例層出不窮。 SNN的優(yōu)勢(shì)在個(gè)人看法而言， 體現(xiàn)在 如果一個(gè)系統(tǒng)同時(shí)具有傳感器，芯片，和強(qiáng)大的SNN算法，它的功耗和運(yùn)行速度是傳統(tǒng)ANN,DNN所不能匹敵的。 但就現(xiàn)有的學(xué)習(xí)算法而言， SNN在和DNN對(duì)比上對(duì)各類任務(wù)的表現(xiàn)(比如識(shí)別準(zhǔn)確率)還差強(qiáng)人意。

Diehl 在2015年paper “Unsupervised learning of digit recognition using spike-timing-dependent plasticity” 中實(shí)現(xiàn)了STDP和側(cè)面抑制結(jié)合的WTA學(xué)習(xí)方法， SNN通過(guò)非監(jiān)督式的學(xué)習(xí)方法可以在MNIST手寫(xiě)數(shù)字識(shí)別的數(shù)據(jù)庫(kù)上達(dá)到95% 的準(zhǔn)確率。

2017年的CVPR上， TrueNorth團(tuán)隊(duì)在TrueNorth芯片上實(shí)現(xiàn)了實(shí)時(shí)的動(dòng)態(tài)手勢(shì)識(shí)別。雖然此方法是基于傳統(tǒng)深度學(xué)習(xí)的模型，但整個(gè)系統(tǒng)的功耗大概只有200mW和105ms的延遲(1秒10幀)。

清華大學(xué)天機(jī)芯片團(tuán)隊(duì)，2019年Nature上發(fā)表了使用混合神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)自動(dòng)駕駛自行車的例子。這里包涵了傳統(tǒng)ANN和SNN的信號(hào)處理融合。

想要了解更多國(guó)內(nèi)外類腦計(jì)算技術(shù)行業(yè)具體詳情分析，可以點(diǎn)擊查看中研普華研究報(bào)告《2021-2025年國(guó)內(nèi)外類腦計(jì)算技術(shù)發(fā)展研究及趨勢(shì)預(yù)測(cè)報(bào)告》

• 相關(guān)深度報(bào)告REPORTS

  

  2021-2025年國(guó)內(nèi)外類腦計(jì)算技術(shù)發(fā)展研究及趨勢(shì)預(yù)測(cè)報(bào)告

  類腦計(jì)算是指利用數(shù)字電路、模擬電路、數(shù)?；旌想娐坊蛐缕骷?lái)仿真生物神經(jīng)元以及神經(jīng)元間的突觸連接，進(jìn)而利用超大規(guī)模集成電路（Very Large Scale Integrated，VLSI）系統(tǒng)來(lái)模仿神經(jīng)系統(tǒng)中...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡