眾所周知，并非所有進(jìn)程都能在CPU上高效運行。游戲和視頻處理需要專(zhuān)門(mén)的硬件——圖形處理器（GPU），信號處理則需要像數字信號處理器（DSP）等其它獨立的架構。人們一直在設計用于學(xué)習（learning）的專(zhuān)用硬件，例如，2016年3月與李世石對陣的AlphaGo計算機使用了由1920個(gè)CPU和280個(gè)GPU組成的分布式計算模塊。而隨著(zhù)英偉達發(fā)布新一代的Pascal GPU，人們也開(kāi)始對深度學(xué)習的軟件和硬件有了同等的關(guān)注。接下來(lái)，讓我們重點(diǎn)來(lái)看深度學(xué)習的硬件架構。

對深度學(xué)習硬件平臺的要求

要想明白我們需要怎樣的硬件，必須了解深度學(xué)習的工作原理。首先在表層上，我們有一個(gè)巨大的數據集，并選定了一種深度學(xué)習模型。每個(gè)模型都有一些內部參數需要調整，以便學(xué)習數據。而這種參數調整實(shí)際上可以歸結為優(yōu)化問(wèn)題，在調整這些參數時(shí)，就相當于在優(yōu)化特定的約束條件。 百度的硅谷人工智能實(shí)驗室（SVAIL）已經(jīng)為深度學(xué)習硬件提出了DeepBench基準，這一基準著(zhù)重衡量的是基本計算的硬件性能，而不是學(xué)習模型的表現。這種方法旨在找到使計算變慢或低效的瓶頸。 因此，重點(diǎn)在于設計一個(gè)對于深層神經(jīng)網(wǎng)絡(luò )訓練的基本操作執行效果最佳的架構。那么基本操作有哪些呢？現在的深度學(xué)習算法主要包括卷積神經(jīng)網(wǎng)絡(luò )（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN）?；谶@些算法，DeepBench提出以下四種基本運算：

矩陣相乘（Matrix MulTIplicaTIon）——幾乎所有的深度學(xué)習模型都包含這一運算，它的計算十分密集。

卷積（ConvoluTIon）——這是另一個(gè)常用的運算，占用了模型中大部分的每秒浮點(diǎn)運算（浮點(diǎn)／秒）。

循環(huán)層（Recurrent Layers ）——模型中的反饋層，并且基本上是前兩個(gè)運算的組合。

All Reduce——這是一個(gè)在優(yōu)化前對學(xué)習到的參數進(jìn)行傳遞或解析的運算序列。在跨硬件分布的深度學(xué)習網(wǎng)絡(luò )上執行同步優(yōu)化時(shí)（如AlphaGo的例子），這一操作尤其有效。

除此之外，深度學(xué)習的硬件加速器需要具備數據級別和流程化的并行性、多線(xiàn)程和高內存帶寬等特性。 另外，由于數據的訓練時(shí)間很長(cháng)，所以硬件架構必須低功耗。 因此，效能功耗比（Performance per Watt）是硬件架構的評估標準之一。

當前趨勢與未來(lái)走向 英偉達的GPU在深度學(xué)習硬件市場(chǎng)上一直處于領(lǐng)先地位。圖片：英偉達

英偉達以其大規模的并行GPU和專(zhuān)用GPU編程框架CUDA主導著(zhù)當前的深度學(xué)習市場(chǎng)。但是越來(lái)越多的公司開(kāi)發(fā)出了用于深度學(xué)習的加速硬件，比如谷歌的張量處理單元（TPU/Tensor Processing Unit）、英特爾的Xeon Phi Knight‘s Landing，以及高通的神經(jīng)網(wǎng)絡(luò )處理器（NNU/Neural Network Processor）。像Teradeep這樣的公司現在開(kāi)始使用FPGA（現場(chǎng)可編程門(mén)陣列），因為它們的能效比GPU的高出10倍。 FPGA更靈活、可擴展、并且效能功耗比更高。 但是對FPGA編程需要特定的硬件知識，因此近來(lái)也有對軟件層面的FPGA編程模型的開(kāi)發(fā)。

此外，一直以來(lái)廣為人所接受的理念是，適合所有模型的統一架構是不存在的，因為不同的模型需要不同的硬件處理架構。 而研究人員正在努力，希望FPGA的廣泛使用能夠推翻這一說(shuō)法。

大多數深度學(xué)習軟件框架（如TensorFlow、Torch、Theano、CNTK）是開(kāi)源的，而Facebook最近也開(kāi)放其 Big Sur 深度學(xué)習硬件平臺，因此在不久的將來(lái)，我們應該會(huì )看到更多深度學(xué)習的開(kāi)源硬件架構 。