卷積神經(jīng)網(wǎng)絡(luò)加速器的實現(xiàn)與優(yōu)化.pdf

1、卷積神經(jīng)網(wǎng)絡(luò)(CNN)已經(jīng)被廣泛應(yīng)用于字符識別，圖片分類和自然語言理解等領(lǐng)域。由于CNN中特定的計算方法，因此在通用處理器上效率不高，很難達到很高的性能。在實踐中，圖形處理器(GPU)被廣泛應(yīng)用于CNN的訓(xùn)練以及分類任務(wù)中，然而，它們受限于較低的能效收益。除了GPU被應(yīng)用于CNN以外，基于專用集成電路(ASCI)和現(xiàn)場可編程門陣列(FPGA)的CNN加速器也被提出。綜合比較這些平臺，基于FPGA的加速器因為具有可重構(gòu)性高，開發(fā)周期短和能

2、效收益高等優(yōu)點，越來越受歡迎。
　　但是，使用FPGA來加速CNN仍然存在很多挑戰(zhàn)。眾所周知，F(xiàn)PGA平臺主要受限于有限的計算資源和昂貴的片外內(nèi)存訪問。然而，在最先進的CNN模型中，存在大量的計算操作(＞1G)和大量的參數(shù)(＞50M)，這會消耗大量的能量。隨著技術(shù)的發(fā)展，為了達到更高的精度，CNN模型會變得越來越大，越來越復(fù)雜，更將加劇這種情況。因此，需要設(shè)計一個高能效的CNN加速器。
　　CNN中有多個卷積層，而在已有的加

3、速器設(shè)計中，都使用單一的處理引擎來處理所有的卷積層，這種“一體適用”的方法會導(dǎo)致硬件資源利用率很低。針對這個問題，我們設(shè)計并實現(xiàn)了PiPe。在PiPe工作的基礎(chǔ)上，我們發(fā)現(xiàn)卷積層和全連接層的計算都可以轉(zhuǎn)化成為矩陣乘法計算，這樣就可以設(shè)計使用多個相同的處理引擎來計算卷積神經(jīng)網(wǎng)絡(luò)?；谶@個發(fā)現(xiàn)，我們設(shè)計并實現(xiàn)了UniCNN。具體來說，本文主要做了如下的工作:
　　PiPe:采用流水線方式運行的高能效的卷積神經(jīng)網(wǎng)絡(luò)加速器。在該加速器中，

4、包含多個處理引擎，每一個處理引擎對應(yīng)卷積神經(jīng)網(wǎng)絡(luò)中一層的計算。所有的處理引擎都映射到同一個FPGA芯片上，這樣不同的層能夠以流水線的方式同時工作。除此之外，我們還使用了一種方法來平衡各個流水線階段。對于訪存密集型的全連接層，我們采用了剪枝和壓縮存儲的方法，同時還使用了批處理的方法來減少所需的內(nèi)存帶寬。作為實例研究，我們在兩塊FPGA開發(fā)板，Zedboard和Virtex-7，實現(xiàn)了AlexNet模型。實驗結(jié)果表明，與已有的CNN加速器相

5、比，PiPe實現(xiàn)了更高的能效收益。
　　UniCNN:采用統(tǒng)一的處理引擎計算卷積神經(jīng)網(wǎng)絡(luò)的加速器。在該加速器中，通過重排輸入特征圖的方法，將卷積層的計算轉(zhuǎn)化為矩陣乘法計算;通過批處理的方法將全連接層的計算也轉(zhuǎn)化為矩陣乘法計算;在此基礎(chǔ)上，UniCNN采用了流水線計算的方法來優(yōu)化整個的處理過程。實驗結(jié)果表明，和已有的CNN加速器相比，UniCNN實現(xiàn)了更高的計算資源利用率。
　　在PiPe和UniCNN的基礎(chǔ)上，本文還對這兩個