在昨天凌晨于舊金山舉辦的首屆Qualcomm AI Day會議上，高通除了發(fā)布驍龍665、730 730G三款新系統(tǒng)芯片面向智能手機、平板電腦和其他移動設備
在昨天凌晨于舊金山舉辦的首屆Qualcomm AI Day會議上，高通除了發(fā)布驍龍665、730/730G三款新系統(tǒng)芯片面向智能手機、平板電腦和其他移動設備之外，還正式宣布了自家第一款專用人工智能處理器Qualcomm Cloud AI 100系列，專為數(shù)據(jù)中心推理計算使用。外媒評論稱，高通此舉無疑是向英偉達和英特爾“發(fā)起挑戰(zhàn)”。
高通進軍云端AI加速器市場
卷積神經網(wǎng)絡和其他人工智能(AI)技術在過去十年中對處理器領域的影響是不可避免的。幾乎所有處理器制造商、軟件供應商都渴望投資開發(fā)AI方面的新功能，并實現(xiàn)升級突破。
在這十年開始時，一個完全沒有存在的市場在過去幾年中成為研究和收入的中心，并且已經有一些處理器供應商已經建立了自己的市場地位。
人工智能的這個現(xiàn)代時代仍處于早期階段，市場尚未找到上限;數(shù)據(jù)中心繼續(xù)批量購買AI加速器，并且該技術的部署也越來越多地在消費者處理器中出現(xiàn)。在許多人認為仍在爭奪的市場中，全球的處理器標記正在試圖弄清楚它們如何成為一代中最大的新處理器市場之一的主導力量。簡而言之，人工智能“淘金熱”正在全面展開。
人工智能“淘金熱”吸引了科技界各個角落的關注。其范圍從GPU和CPU公司到FPGA公司，定制ASIC芯片等等。但在人工智能的所有這些方面，最有利可圖的市場是這個層次結構的頂端市場：數(shù)據(jù)中心。由于運營商希望購買大量的分立處理器，因此數(shù)據(jù)中心市場是擴展性的、昂貴的，并且仍在實現(xiàn)跨越式發(fā)展。
而現(xiàn)在，最后一位坐在數(shù)據(jù)中心AI市場旁邊的巨頭終于采取行動了——高通正以激進的方式進入人工智能加速器市場。高通公布了他們的第一款分立式專用AI處理器，即Qualcomm Cloud AI 100系列。該公司專為人工智能市場而設計，并以高通公司承諾成為一個廣泛的軟件堆棧為后盾，希望到2020年將自己打造成為人工智能加速器的主要供應商之一。
Cloud AI 100系列加速器基于7納米芯片工藝，將于2020年推出產品，樣片預計將在今年晚些時候向客戶公布。這款芯片的目標是根據(jù)數(shù)字化的語音或圖片數(shù)據(jù)流分析來制定決策。
高通高管基斯·克里辛(Keith Kressin)表示，這不是手機處理器的簡單改版。據(jù)外媒報道，高通聲稱Cloud AI 100的峰值性能是Snapdragon 855和Snapdragon 820的3-50倍，與傳統(tǒng)的FPGA相比，它的推理速度提高了約10倍。此外，Cloud AI 100的運算性能可以遠超100 TOPs，不過高通并未透露不同精度下的峰值。
Qualcomm Cloud AI 100架構：專用推理ASIC
高通正在為數(shù)據(jù)中心市場開發(fā)一系列AI推理加速器。雖然不是一個從上到下的計劃，但這些加速器將采用各種外形和TDP，以滿足數(shù)據(jù)中心運營商的需求。在這個市場中，高通公司希望憑借在市場上提供最高效的推理加速器而獲勝，其性能遠高于目前的GPU和FPGA領跑者。
首先，這些新部件將采用7納米工藝制造——可能是臺積電以性能為導向的7納米HPC工藝。該公司將提供多款芯片，但目前尚不清楚它們是否實際設計了多個處理器。而且，這是一個全新的設計，從頭開始;所以它并沒有說Snapdragon 855的所有AI體位都被放大了。
事實上，最后一點可能是最重要的。雖然高通公司今天沒有為加速器提供架構細節(jié)，但該公司已經明確表示這是一款AI推理加速器，僅此而已。它沒有被稱為AI訓練加速器，也沒有被稱為GPU。它只是被用于AI推理——有效地執(zhí)行預訓練的神經網(wǎng)絡。
高通公司的聲明非常強烈地指出基礎架構是人工智能推理ASIC——類似谷歌的TPU系列——而不是更靈活的處理器。當然遠非第一家專門為AI處理而構建ASIC的廠商，但其他AI ASIC要么專注于低端市場，要么留作內部使用(谷歌的TPU再次成為主要的例子)，高通公司正在談論將AI加速器出售給客戶以供數(shù)據(jù)中心使用。而且，相對于競爭對手而言，他們所談論的內容更像ASIC，而不是類似GPU的設計，每個人都期望在2020年從領先的英偉達(NVIDIA)和積極的新人英特爾中脫穎而出。
Qualcomm的Cloud AI 100處理器設計如此專注于AI推理，這對其性能潛力至關重要。在處理器設計范圍內，架構師可以靈活平衡效率;芯片越接近固定功能ASIC，它就越有效。正如GPU如何在CPU上實現(xiàn)AI性能的巨大飛躍一樣，高通希望在GPU上做同樣的事情。
當然，問題在于更具固定功能的AI ASIC正在放棄靈活性。無論是處理新框架，新處理流程還是全新神經網(wǎng)絡模型的能力還有待觀察。但高通公司將在這里進行一些重要的權衡，最重要的問題是這些是否是正確的權衡，以及整個市場是否已為數(shù)據(jù)中心規(guī)模的AI ASIC做好準備。
同時，高通公司必須解決的另一個技術問題是Cloud AI 100系列，這是他們第一個專用的AI處理器。不可否認，每個人都必須從某個地方開始，而在高通的情況下，他們希望將他們在人工智能方面的專業(yè)知識轉化為數(shù)據(jù)中心的人工智能。該公司的旗艦Snapdragon SoC已經成為一股不可忽視的力量，高通公司認為他們在高效設計和信號處理方面的經驗將使公司在這方面占據(jù)重要地位。
無論是公司的龐大規(guī)模，他們都能夠迅速提高產量。雖然這并沒有幫助他們對抗NVIDIA和英特爾這兩大競爭對手——這兩者都可以分別在臺積電及其內部晶圓廠擴大規(guī)模——但它使得高通公司在無數(shù)小型硅谷初創(chuàng)公司中也有明顯的優(yōu)勢，這些初創(chuàng)公司也在追求AI ASIC方面的突破。
為什么要競逐數(shù)據(jù)中心推理市場？
除了技術方面的考慮之外，今天宣布的另一個重要因素是高通公司追求AI推理加速器市場的原因。簡而言之，答案就是利潤和金錢。
對人工智能推理市場最終規(guī)模的預測差別很大，但高通公司認為到2025年數(shù)據(jù)中心推理加速器市場可能會達到170億美元。如果事實證明這是真的，那么它將代表一個相當大的市場。否則高通會錯過。一個可以完全與當前芯片制造業(yè)務相媲美的產品。
此處值得注意的是，這顯然是推理市場，而不是整個數(shù)據(jù)中心推理+訓練市場。這是一個重要的區(qū)別，因為雖然培訓也很重要，但培訓的計算要求與推理有很大不同。雖然可以使用相對低精度的數(shù)據(jù)類型——如INT8(有時更低)——執(zhí)行準確的推理，但目前大多數(shù)培訓需要FP16或更多。這需要一種非常不同類型的芯片，特別是當我們談論ASIC時，而不是像GPU那樣更通用的東西。
這也可以擴展到規(guī)模：雖然訓練神經網(wǎng)絡可能需要大量資源，但只需要完成一次。然后它可以多次復制到推理加速器的農場。因此，與培訓一樣重要的是，潛在客戶只需要比具有培訓功能的處理器更多的推理加速器。
與此同時，盡管該公司沒有明確表示，但很明顯高通公司正打算取消市場領導者NVIDIA，即使在這些早期，他們已經用AI處理器建立了一個小型帝國。目前，NVIDIA的Tesla T4、P4和P40加速器構成了數(shù)據(jù)中心AI推理處理器的支柱，數(shù)據(jù)中心收入整體上證明對NVIDIA來說非常有利可圖。因此，即使整個數(shù)據(jù)中心市場沒有像預期的那樣增長，它仍然會非常有利可圖。
高通還不得不提防來自英特爾的威脅，英特爾公開表達了他們自己的人工智能市場計劃。該公司有幾個不同的AI計劃，從低功耗Movidius加速器到最新的Cascade Lake Xeon可擴展CPU。然而，對于高通公司闖入的特定市場賽道而言，最大的威脅可能是英特爾即將推出的Xe GPU，這些GPU將來自該公司最近重建的GPU部門。與高通一樣，英特爾也在力爭趕超NVIDIA，因此人工智能推理市場正面臨著激烈的競爭與演化，沒有一個巨頭希望自己在這場角逐中落敗而歸。
沖刺終點線？
除了高通公司的雄心外，在接下來的12個月左右，公司的重點將是收獲和組建第一批客戶。要做到這一點，該公司必須表明它對Cloud AI 100系列所做的事情是認真的，它可以在硬件上提供，并且它可以與競爭對手的軟件生態(tài)系統(tǒng)的易用性相匹配。這一切都不容易，這就是為什么高通公司現(xiàn)在需要開始，遠遠超過商業(yè)貨運開始的時間。
雖然高通公司多年來一直對服務器和數(shù)據(jù)中心市場抱有各種各樣的夢想，但描述這些努力的最禮貌的方式可能是“過于雄心勃勃”。例如，高通公司的Centriq系列基于ARM的服務器CPU，該公司推出在2017年大張旗鼓地宣布，只有整個項目在一年內崩潰。除了Centriq的優(yōu)點外，高通公司仍然是一家主要針對芯片制造方面的移動處理器和調制解調器的公司。因此，為了讓數(shù)據(jù)中心運營商投資Cloud AI系列，高通公司不僅需要為第一代提供一個偉大的計劃，而且還要為未來幾代人制定計劃。
這里的結果是，在年輕的、不斷增長的推理加速器市場中，數(shù)據(jù)中心運營商更愿意嘗試新的處理器而不是CPU。因此，我們沒有理由相信Cloud AI 100系列無論如何都不能取得適度的成功。但高通公司要說服其他仍然謹慎的數(shù)據(jù)中心運營商，高通公司的產品值得投入如此多的資源。
與此平行的是等式的軟件方面。到目前為止，NVIDIA成功的很大一部分就是他們的人工智能軟件生態(tài)系統(tǒng)。這本身就是他們十年前的CUDA生態(tài)系統(tǒng)的擴展，到目前已經讓GPU競爭對手AMD陷入困境。高通方面的優(yōu)勢是，最流行的框架，運行周期和工具已經建立，TensorFlow、Caffe2和ONNX這些是它布局中的“大目標”。這就是為什么高通公司承諾提供廣泛的軟件堆棧，因為它可以做到這一點。但高通公司確實必須在這一方面加快速度，因為他們的軟件堆棧實際運行的程度可以決定整個項目的成敗。高通需要提供良好的硬件和良好的軟件才能在這里取得成功。
但至少目前，高通公司今天發(fā)布的公告仍是一個“預告片”，還有很長的路要走。該公司制定了一項雄心勃勃的計劃，旨在闖入日益增長的人工智能推理加速器市場，并提供與開放市場上其他任何產品不同的處理器。雖然這中間的過渡將會是一個挑戰(zhàn)，高通公司對推理加速器市場的需求卻只增不減。它是能夠為其開發(fā)處理器的能力。以及它們如何能夠避免陷入其先前服務器處理器計劃的那種失誤。
最重要的是，高通不會簡單地采用推理加速器市場：它們將不得不為它而戰(zhàn)。這是NVIDIA失去的市場，英特爾也在關注它，更不用說來自GPU廠商，F(xiàn)PGA供應商和其他ASIC廠商的所有小型廠商。任何和所有這些都可以在新興技術的年輕市場中快速上升和下降。因此，雖然它還差不多一年，但2020年正在迅速成為人工智能加速器市場的第一場大戰(zhàn)。
高通高管基斯·克里辛(Keith Kressin)表示，該公司將使用其在移動領域的技術專長，并借助其利用最新制造技術設計芯片的能力。而這款芯片的關鍵特征在于能耗效率。這個市場到2025年的規(guī)模預計可達170億美元。
