EdgeBoard簡介

　　EdgeBoard是百度基于FPGA芯片研發(fā)的嵌入式AI解決方案，高性能的加速引擎可提供3.6Tops的強大算力，完整的嵌入式參考設計使硬件集成輕松便捷。目前EdgeBoard提供了FPGA軟核和計算卡模塊兩種形態(tài)供硬件集成，面向項目部署也提供了抓拍機和計算盒兩種基礎硬件產品。EdgeBoard深度兼容百度大腦模型資源與工具平臺（EasyDL/AI Studio），極大降低了開發(fā)驗證、產品集成、科研教學、項目部署門檻，適用于安防監(jiān)控、工業(yè)質檢、醫(yī)療診斷、農作物生長監(jiān)控、無人駕駛、無人零售等場景

　　數(shù)據(jù)格式的邏輯表示與物理表示

　　深度學習中經常會使用NCHW、NHWC和CHWN數(shù)據(jù)格式來表示數(shù)據(jù)，其中N、H、W、C定義如下：

　　N：一個batch內圖片的數(shù)量，處理的圖片數(shù)量

　　H：垂直高度方向的像素個數(shù)，圖片的高

　　W：水平寬度方向的像素個數(shù)，圖片的寬

　　C：通道數(shù)。例如灰度圖像為1， 彩色RGB圖像為3

　　下圖表示N=2，C=16，H=5，W=4的數(shù)據(jù)排列，其中左圖是邏輯表示，右圖是物理表示。

　　EdgeBoard嵌入式AI解決方案中NHWC數(shù)據(jù)格式的性能分析

　　以NCHW為例，其邏輯表示如左上圖，n=0時，三個坐標分別標識了C、H、W的方向。個元素是000，第二個元素沿著w方向，即001，隨后是002， 003;然后沿H方向，即004， 005， 006， 007.。.如此反復到019后;再沿C方向，020，021， 022 。..。.一直到319;再沿N方向，也就是n=1，然后重復W方向，H方向和C方向。

　　根據(jù)以上NCHW的劃分，物理地址表示定義如下（如右上圖）：

　?。踑:0］ 表示W方向，在一行內從左到右

　?。踑:1］ 表示從H方向，一行一行的從上到下

　?。踑:2］ 表示在C方向，從一個通道到另外一個通道

　?。踑:3］ 表示從N方向，從n=0 到n=1

　　終NCHW數(shù)據(jù)格式的物理分布（在內存中的一維表示）表示為000 001 002 003 004 。.. 018 019 020 。.. 318 319 320 。.. 。.. 637 638 639。可以理解成把一個通道的所有像素一行一行地排列起來，然后排下一個通道，即n=0排列完后再排n=1。

　　同理NHWC表示是先沿C方向，再沿W方向，再沿H方向，沿N方向。所以在內存的存放順序是，個元素是000，第二個沿C方向，即020，040， 060 。..一直到300，之后切換到W方向，001 021 041 061.。.301.。到了303后再切換到H方向，即004， 024 。.. 304，到了319，再切換到N方向，320，340 。..一直到639。

　?。踒:0］ 表示C方向，個像素從一個通道到另外一個通道

　?。踒:1］ 表示從W方向，一個通道個像素回到個通道的第二個像素

　?。踒:2］ 表示在H方向，一個通道行一個像素回到個通道的第二行的個像素

　?。踒:3］ 表示從N方向，從n=0 到n=1

　　NHWC其物理表示為000 020 。.. 300 001 021 。.. 283 303 004 。.. 319 320 340 。.. 。.. 339 359 。.. 639?？梢岳斫獬砂岩粋€Batch的一個像素的所有通道先排列起來，然后排下一個像素。n=0排列完成后，再排n=1。

　　同理CHWN其邏輯表示，先沿N方向，再沿W方向，再沿H方向，是沿C方向。

　?。踓:0］ 表示從N方向，從n=0的個像素到n=1的個像素

　　［c:1］ 表示從N方向，從n=1的個像素回到n=0的第二個像素

　　［c:2］ 表示在H方向，從n=1的行一個像素回到n=0的第二行個像素

　　［c:3］ 表示從N方向，從n=1的個通道一個像素回到n=0的第二個通道個像素

　　CHWN其物理表示為 000 032 001 321 。.. 003 323 004 324 。.. 。.. 019 339 020 。..。可以理解成先把一個batch中N幅圖像的個通道個像素排列起來，然后排第二個像素;再排第二個通道，第三個通道。..

　　數(shù)據(jù)在內存中的偏移地址

　　深度學習中涉及大量的數(shù)據(jù)計算，計算需要從內存中取出數(shù)據(jù)，因此需要計算出數(shù)據(jù)的偏移地址以便進行取數(shù)。有了上面的邏輯表示和物理表示，可以推導出4維邏輯表示（n，c，h，w）映射到一維內存中偏移地址的公式。

　　定義位置（n，c，h，w）表示第n個batch的第c通道的第h行的第w列，那么該位置在不同數(shù)據(jù)格式下，在內存中的偏移地址計算公式如下： NCHW： offset_nchw（n， c， h， w） = n * CHW + c * HW + h * W + w NHWC： offset_nhwc（n， c， h， w） = n * HWC + h * WC + w * C + c CHWN： offset_chwn（n， c， h， w） = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量，n、c、h、w為變量

　　在NCHW中，CHW=C*H*W，表示一個Batch，可以理解成一個BGR 3通道的圖片，表達的是一個立方體。HW=H*W，表示一個平面，可以理解成是BGR 3通道圖片的一個通道（灰度圖就是一個通道圖片）。W是一行，可以理解成一個通道上的一行。

　　以上圖為例，如果想計算出綠色圈，即341的位置（n=1，c=1， h=0， w=1）。我們需要先跳過n=0的數(shù)據(jù)（CHW），圖中箭頭1指向的藍色框區(qū)域;再跳過n=1的個通道（HW），圖中箭頭2指向藍色框區(qū)域;這時進入到了n=1的第二個通道，跳過h=0行（0*W）;跳過w個數(shù)到達偏移位置。

　　EdgeBoard為何使用NHWC

　　下面來分析EdgeBoard選擇NHWC數(shù)據(jù)格式的原因。

　　上圖表示卷積的計算過程。根據(jù)卷積的運算特點，相同位置窗口所有通道數(shù)與卷積的參數(shù)相乘后累加，可以有下面兩種計算方式：

　　先像素后通道：先把一個通道滑動窗口與卷積參數(shù)相乘后累加，再進行下一個通道，直到所有通道乘累加完成。比如次滑窗計算公式：

　　可以看出兩種方式計算的結果是一樣。

　　而對于NHWC格式，即先通道后像素，是把一個像素的所有通道的數(shù)據(jù)放在一起。這樣對應上圖個像素的3個通道值，第二個像素的3個通道值，第三個像素的3個通道值，它們在內存中的地址都是連續(xù)的，也就是說就可以把