算法：“BEV+Transformer”引領(lǐng)自動(dòng)駕駛感知范式

• 陳博 2023年10月31日 來(lái)源：中研網(wǎng) 1014 64
• 繁體

BEV全稱Bird'sEyeView，即鳥瞰圖，該算法旨在將多傳感器收集的圖像信息投射至統(tǒng)一3D空間，再輸入至單一大模型進(jìn)行整體推理。相較于傳統(tǒng)的攝像頭圖像，BEV提供了一個(gè)更貼近實(shí)際物理世界的統(tǒng)一空間，為后續(xù)的多傳感器融合以及規(guī)劃控制模塊開(kāi)發(fā)提供了更大的便利和更多的可B

大模型是當(dāng)前AI領(lǐng)域最為火熱的前沿趨勢(shì)之一，可賦能自動(dòng)駕駛領(lǐng)域的感知、標(biāo)注、仿真訓(xùn)練等多個(gè)核心環(huán)節(jié)。在感知層，以特斯拉為首，"BEV+Transformer"范式已開(kāi)始在自動(dòng)駕駛領(lǐng)域得到廣泛使用，可有效提升感知精確度，利于后續(xù)規(guī)劃控制算法的實(shí)施，促進(jìn)端到端自動(dòng)駕駛框架的發(fā)展。

BEV全稱Bird'sEyeView，即鳥瞰圖，該算法旨在將多傳感器收集的圖像信息投射至統(tǒng)一3D空間，再輸入至單一大模型進(jìn)行整體推理。相較于傳統(tǒng)的攝像頭圖像，BEV提供了一個(gè)更貼近實(shí)際物理世界的統(tǒng)一空間，為后續(xù)的多傳感器融合以及規(guī)劃控制模塊開(kāi)發(fā)提供了更大的便利和更多的可能。具體來(lái)說(shuō)，BEV感知的優(yōu)勢(shì)在于：1)統(tǒng)一了多模態(tài)數(shù)據(jù)處理維度，將多個(gè)攝像頭或雷達(dá)數(shù)據(jù)轉(zhuǎn)換至3D視角，再做目標(biāo)檢測(cè)與分割等任務(wù)，從而降低感知誤差，并為下游預(yù)測(cè)和規(guī)劃控制模塊提供更豐富的輸出;2)實(shí)現(xiàn)時(shí)序信息融合，BEV下的3D視角相較于2D信息可有效減少尺度和遮擋問(wèn)題，甚至可通過(guò)先驗(yàn)知識(shí)"腦補(bǔ)"被遮擋的物體，有效提高自動(dòng)駕駛安全性;3)感知和預(yù)測(cè)可在統(tǒng)一3D空間中實(shí)施，通過(guò)神經(jīng)網(wǎng)絡(luò)直接完成端到端優(yōu)化，可有效降低傳統(tǒng)感知任務(wù)中感知與預(yù)測(cè)串行的誤差累積。

Transformer的注意力(Attention)機(jī)制可幫助實(shí)現(xiàn)2D圖像數(shù)據(jù)至3DBEV空間的轉(zhuǎn)化。Transformer是GoogleBrian團(tuán)隊(duì)在2017年提出的神經(jīng)網(wǎng)絡(luò)模型，起初用于機(jī)器翻譯，隨著技術(shù)的發(fā)展開(kāi)始進(jìn)軍圖像視覺(jué)領(lǐng)域，目前已成功涉足分類、檢測(cè)和分割三大圖像問(wèn)題。據(jù)汽車之心微信公眾號(hào)介紹，傳統(tǒng)CNN模型的原理是通過(guò)卷積層構(gòu)造廣義過(guò)濾器，從而對(duì)圖像中的元素進(jìn)行不斷地篩選壓縮，因此其感受域一定程度上取決于過(guò)濾器的大小和卷積層的數(shù)量。隨著訓(xùn)練數(shù)據(jù)量的增長(zhǎng)，CNN模型的收益會(huì)呈現(xiàn)過(guò)飽和趨勢(shì)。而Transformer的網(wǎng)絡(luò)結(jié)構(gòu)在嫁接2D圖像和3D空間時(shí)借鑒了人腦的注意力(Attention)機(jī)制，在處理大量信息時(shí)能夠只選擇處理關(guān)鍵信息，以提升神經(jīng)網(wǎng)絡(luò)的效率，因此Transformer的飽和區(qū)間很大，更適宜于大規(guī)模數(shù)據(jù)訓(xùn)練的需求。在自動(dòng)駕駛領(lǐng)域，Transformer相比于傳統(tǒng)CNN，具備更強(qiáng)的序列建模能力和全局信息感知能力，目前已廣泛用于視覺(jué)2D圖像數(shù)據(jù)至3D空間的轉(zhuǎn)化。

除感知層外，大模型還有望顯著提升后端訓(xùn)練中數(shù)據(jù)清洗標(biāo)注的效率，并助力生成新場(chǎng)景以賦能仿真訓(xùn)練。訓(xùn)練模型在收集到傳感器傳送回的圖像數(shù)據(jù)后，需先對(duì)數(shù)據(jù)進(jìn)行清洗，再對(duì)其中的車輛、行人、道路標(biāo)識(shí)、車道線等元素進(jìn)行標(biāo)注。相較于此前的人工標(biāo)注，大模型可以大幅提升工作效率。理想汽車創(chuàng)始人李想在中國(guó)電動(dòng)汽車百人會(huì)論壇(2023)的演講中表示，此前理想一年要做大概1000萬(wàn)幀自動(dòng)駕駛圖像的人工標(biāo)定，年成本接近1億元，但使用軟件2.0大模型進(jìn)行自動(dòng)化標(biāo)定后，效率是人的1000倍。毫末智行也2023年4月第八屆AIDAY上表示，其最新推出的DriveGPT可將交通場(chǎng)景圖像的標(biāo)注費(fèi)用從行業(yè)平均約5元/張降至約0.5元/張。Meta最新的圖像分割模型SAM(SegmentAnythingModel)在對(duì)圖像和視頻中的物體進(jìn)行識(shí)別分割時(shí)展現(xiàn)出了強(qiáng)大的能力，且具有零樣本性能，即能夠?qū)奈从?xùn)練過(guò)的圖片進(jìn)行精準(zhǔn)分割，未來(lái)也有望賦能自動(dòng)駕駛訓(xùn)練所需的圖像數(shù)據(jù)積累。

在"BEV+Transformer"趨勢(shì)下，算法復(fù)雜度、數(shù)據(jù)規(guī)模以及模型參數(shù)均呈指數(shù)級(jí)提升，推動(dòng)自動(dòng)駕駛芯片向著大算力、新架構(gòu)以及存算一體等方向演進(jìn)。

1、大算力：

向數(shù)百TOPS算力演進(jìn)。傳統(tǒng)L1/L2輔助駕駛所需處理的數(shù)據(jù)量小且算法模型相對(duì)簡(jiǎn)單，因此以Mobileye為代表的單目視覺(jué)+芯片算法強(qiáng)耦合的一體機(jī)方案即可滿足需求。但領(lǐng)航功能作為高階輔助駕駛的代表，需要"更強(qiáng)算力+軟硬件解耦的芯片+域控制器"來(lái)滿足海量數(shù)據(jù)處理與后續(xù)持續(xù)OTA迭代的需求。高速領(lǐng)航開(kāi)始向20萬(wàn)以下車型滲透，15-30TOPS可滿足基本需求，但若想要"好用"或需要30-80TOPS。城區(qū)領(lǐng)航的場(chǎng)景復(fù)雜程度和技術(shù)實(shí)現(xiàn)難度更高，目前普遍需要搭載激光雷達(dá)，芯片以英偉達(dá)Orin、華為MDC和地平線J5為主，算力配置普遍超200TOPS。而在應(yīng)用"BEV+Transformer"技術(shù)后，多傳感器前融合以及2D至3D空間的轉(zhuǎn)化需要AI芯片具備更強(qiáng)的推理能力，因此也需要比以往更大的算力支撐，包括更高的AI算力、CPU算力和GPU算力。

2、新架構(gòu)：

加強(qiáng)并行計(jì)算能力和浮點(diǎn)運(yùn)算能力。相較于CNN/RNN，Transformer具有更強(qiáng)的并行計(jì)算能力，可加入時(shí)間序列矢量，其數(shù)據(jù)流特征有顯著差別，浮點(diǎn)矢量矩陣乘法累加運(yùn)算更適合采用BF16精度。Transformer允許數(shù)據(jù)以并行的形式進(jìn)行計(jì)算，且保留了數(shù)據(jù)的全局視角，而CNN/RNN的數(shù)據(jù)流只能以串行方式計(jì)算，不具備數(shù)據(jù)的全局記憶能力。傳統(tǒng)AI推理專用芯片大多針對(duì)CNN/RNN，并行計(jì)算表現(xiàn)不佳，且普遍針對(duì)INT8精度，幾乎不考慮浮點(diǎn)運(yùn)算。因此想要更好適配Transformer算法，就需要將AI推理芯片從硬件層面進(jìn)行完整的架構(gòu)革新，加入專門針對(duì)Transformer的加速器，或使用更強(qiáng)的CPU算力來(lái)對(duì)數(shù)據(jù)整形，這對(duì)芯片架構(gòu)、ASIC研發(fā)能力，以及成本控制都提出了更高的要求。以特斯拉、地平線為代表的廠商均"重ASIC(即AI推理專用芯片)，輕GPU"。特斯拉引領(lǐng)BEV+Transformer路線，以專用NPU(神經(jīng)網(wǎng)絡(luò)處理器)承擔(dān)AI運(yùn)算，在NPU設(shè)計(jì)之初便進(jìn)行了針對(duì)性優(yōu)化。而地平線等后來(lái)者或需要在下一代芯片中對(duì)AI推理芯片架構(gòu)進(jìn)行針對(duì)性優(yōu)化。

3、存算一體：

SoC芯片需配置高帶寬存儲(chǔ)器(HBM)或SRAM，并加速向存算一體靠攏，解決大算力下的數(shù)據(jù)吞吐量瓶頸。模型越大，內(nèi)存對(duì)AI加速器就越重要，以頻繁地讀取權(quán)重矩陣或訓(xùn)練好的模型參數(shù)。據(jù)佐思汽研介紹，Transformer中的權(quán)重模型超過(guò)1GB，對(duì)比傳統(tǒng)CNN的權(quán)重模型通常不超過(guò)20MB。模型參數(shù)越大，就需要更高的帶寬，一次性讀出更多參數(shù)。存算一體可分為近存計(jì)算(PNM)、存內(nèi)處理(PIM)以及存內(nèi)計(jì)算(CIM)，存內(nèi)計(jì)算則接近存算一體，當(dāng)前PNM已廣泛用于高性能芯片，即采用HBM堆疊，2.5D封裝，從而與CPU集成，而PIM和CIM仍處在發(fā)展中。以特斯拉FSDSoC為例，其采用總帶寬為68GB/s的8顆LPDDR4內(nèi)存，而集成在NPU中的SRAM可達(dá)到32MBL3緩存，帶寬達(dá)2TB/s，遠(yuǎn)超市面上同類芯片。而據(jù)汽車之心微信公眾號(hào)，特斯拉在最新HW4.0上的二代FSDSoC上使用了16顆GDDR6，在內(nèi)存用料上繼續(xù)引領(lǐng)行業(yè)。

欲了解更多中國(guó)智能駕駛行業(yè)的未來(lái)發(fā)展前景，可以點(diǎn)擊查看中研普華產(chǎn)業(yè)院研究報(bào)告《2023-2028年中國(guó)智能駕駛行業(yè)市場(chǎng)深度全景調(diào)研及投資前景分析報(bào)告》。

• 相關(guān)深度報(bào)告REPORTS

  

  2023-2028年中國(guó)智能駕駛行業(yè)深度分析及投資前景預(yù)測(cè)報(bào)告

  智能駕駛即利用人工智能、視覺(jué)計(jì)算、雷達(dá)、監(jiān)控裝置和全球定位系統(tǒng)協(xié)同合作，讓汽車能夠部分或全面感知周圍環(huán)境并進(jìn)行自動(dòng)安全地駕駛，有效彌補(bǔ)了人類駕駛員存在的缺陷。國(guó)際汽車工程師協(xié)會(huì)把汽...

  查看詳情

延伸閱讀

推薦閱讀

猜您喜歡