計(jì)算機(jī)視覺(jué)開(kāi)始與各行業(yè)深度融合

• 2018年7月19日 ZhangHongYuan來(lái)源：TechWeb 898 56
• 繁體

• 

  2018-2024年中國(guó)微型計(jì)算機(jī)設(shè)備行業(yè)發(fā)展前景及深度調(diào)研分析報(bào)告

  微型計(jì)算機(jī)設(shè)備研究報(bào)告對(duì)微型計(jì)算機(jī)設(shè)備行業(yè)研究的內(nèi)容和方法進(jìn)行全面的闡述和論證，對(duì)研究過(guò)程中所獲取的微型計(jì)算機(jī)設(shè)備資料進(jìn)行全面系統(tǒng)的整理和分析，通過(guò)圖表、統(tǒng)計(jì)結(jié)果及文獻(xiàn)資料，或以縱...

伴隨人工智能在技術(shù)上的不斷突破，一些領(lǐng)域如計(jì)算機(jī)視覺(jué)，已開(kāi)始與各個(gè)行業(yè)進(jìn)行了深度融合。

利用RDMA優(yōu)化分布式的深度學(xué)習(xí)訓(xùn)練，微軟有效提高了多機(jī)訓(xùn)練的吞吐量和收斂速度，在不同應(yīng)用類(lèi)型下，取得了2-8倍的加速效果。

(紅色是微軟的數(shù)據(jù)，藍(lán)色是原始數(shù)據(jù))

在局部計(jì)算方面，目前很多深度學(xué)習(xí)模型背后有著大規(guī)模的數(shù)據(jù)流圖，在這其中有很多非常小的算子組成，這些算子在GPU上啟動(dòng)執(zhí)行時(shí)都存在著內(nèi)存開(kāi)銷(xiāo)。為了減少這些系統(tǒng)開(kāi)銷(xiāo)避免影響計(jì)算效率，微軟設(shè)計(jì)了一個(gè)能自動(dòng)內(nèi)核融合的方式。

在個(gè)標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM模型的例子，微軟通過(guò)把整個(gè)模型所有的算子融合成一個(gè)內(nèi)核函數(shù)，從而基本消除了所有框架本身的額外開(kāi)銷(xiāo)。跟原始的TensorFlow相比快了10倍之多，而與TensorFlow開(kāi)發(fā)的編譯優(yōu)化系統(tǒng)XLA相比，也有很大程度的提升。

最后在內(nèi)存使用效率上，如GPU或者定制硬件加速器，這些硬件的內(nèi)存資源有限，很可能限制模型的規(guī)模。微軟的解決方法是利用模型量化和壓縮去減小它的體積，或是如果模型很大，可以將其放在host內(nèi)存中，使數(shù)據(jù)分段地傳輸?shù)紾PU里，但對(duì)于不同的模型任務(wù)或應(yīng)用，需要挑選最合適的方法。同時(shí)也對(duì)TensorFlow做了一些改進(jìn)，將接口更為便捷的開(kāi)放給開(kāi)發(fā)者進(jìn)行嘗試，以此來(lái)實(shí)現(xiàn)不同的壓縮和量化方法。

微軟的意圖很明顯，就是將技術(shù)更好的對(duì)外進(jìn)行輸送，幫助開(kāi)發(fā)者、企業(yè)能夠更聚焦在自家業(yè)務(wù)方面，而不是去關(guān)注底層系統(tǒng)到底是如何運(yùn)行的。

通過(guò)這些巨頭的不斷努力，或許終有一天大多深度學(xué)習(xí)框架都將具備互通統(tǒng)一特性，就好比當(dāng)年的數(shù)據(jù)庫(kù)，最早數(shù)據(jù)庫(kù)有很多類(lèi)型，但最后伴隨Relational algebra(關(guān)系代數(shù))為基礎(chǔ)的數(shù)據(jù)庫(kù)的誕生，讓所有數(shù)據(jù)庫(kù)模型都成為一種統(tǒng)一的模型。而在人工智能方面，從系統(tǒng)角度來(lái)看，這必然是未來(lái)的大趨勢(shì)之一。

正如微軟印度公司人工智能部門(mén)總經(jīng)理桑達(dá)爾·斯理尼萬(wàn)森所說(shuō)，微軟要讓所有個(gè)人和機(jī)構(gòu)都使用上人工智能。未來(lái)即使是非人工智能或是機(jī)器學(xué)習(xí)方面的專(zhuān)家，也能將最新的人工智能技術(shù)融入到自家所研發(fā)的產(chǎn)品當(dāng)中。

延伸閱讀

推薦閱讀

猜您喜歡