內存計算在人工智能預測中的巨大優勢

人工智能在海量數據面前擁有無可比擬的速度優勢，近年來計算機體系結構也發生了巨變，變得越來越難以預知和多樣。多樣化的發展也讓人工智能的準確性，性能和效率來到了選擇的十字路口。

目前最顯而易見的方式采用更多的計算機，或者是更多的內存單元，更快的處理器。然而，這種“粗暴”的方式，也遵循著邊際遞減原則，即使我們不限制采購設備的預算和使用各種高帶寬內存（HBM）和內存計算（PIM）技術，傳統結構的計算機仍舊不能滿足需要。但是現在有針對性的替代方案開始嶄露頭角，包括特定用途的加速器和其他專用內存計算技術。

目前市面上有幾種加速器架構在競爭，但是從本質上來說，內存計算才是最符合的計算機架構，不僅現階段的人工智能應用急需這種架構，在未來的也同樣需要，并且內存計算還在不斷的演變和進化。

人工智能涵蓋的業務場景激增，并且呈現多樣化發展

人工智能預測已經跨越了多種行業和場景，有些十分普及，例如普通的智能手機中搭載的面部識別等。然而人工智能發揮巨大作用的場景往往需要快速做出決策，而傳統計算機架構便有些力不從心了。所以，全新的計算機架構、設備和可靠性以及數據安全都是挑戰。

高頻交易是金融服務行業的一大特點，人工智能在這個行業迎來了前所未有的挑戰，自然語言處理（NLP）技術（NLP是語言學、計算機科學和人工智能的一個分支）可以從各種類型的文檔中提取數據，能夠幫助我們自動化批量處理任務，還能收集客戶信息，通過評估上下文中各種文本和語音數據來驅動業務邏輯從而建立更好的市場預測機制。

不僅是金融，人工智能還在工廠車間和其他工業化道路上前進，通過自動化流程優化供應鏈、產品開發和生產制造等方面，更有甚者通過深度學習讓機器自主進行操作。在某些情況下，工業用AI技術數據來源是工廠內物聯網和其他傳感器所捕獲的數據，隨著人工智能硬件的發展和半導體技術的進步，越來越多的場景需要人工智能，工廠內自動化和工藝技術的精進也需要AI技術的加持。

更進一步來講，人工智能同樣在現代交通和智能交通系統上扮演著關鍵的角色，AI處理并預測的數據可以為私人或者公共交通系統提供高效和可靠的指揮。對于行駛在道路上的車輛來說，AI在輔助駕駛或全自動駕駛上扮演著重要角色，如何捕獲交通信號，感知其他車輛行為，處理道路障礙等等復雜環境的駕駛行為都是不小的挑戰。

所以，上述的這些人工智能應用都在有著各自領域的特點，正是這種多樣性導致了更加多樣化的神經網絡結構，這些擁有各自特點的數據也蘊含著更多的不可預測和挑戰，使得未來的人工智能變得更加難以捉摸。

成本效益下的人工智能

在人工智能“野蠻”生長的時代，金融服務、制造和汽車等行業都在技術上探索其可行性，但是進入如今的加速期，技術可行但是成本效益和可移植拓展性才是考量的重點。

首先深度學習和機器學習的算法非常耗電，顯而易見的辦法是：利用高性能、最新最好的處理器和 DRAM，甚至 HBM，將更多的計算能力投入到這個問題上，這無疑會讓成本高昂，而且其邊際遞減效應也愈發明顯。CPU確實在人工智能中扮演著不可或缺的角色，尤其適合連續的算法和任務，這類任務通常需要獲取較小的數據并且按照一定的方式進行轉換。舉例來說，圖像識別、自動駕駛、無人機的同步定位和地圖繪制，或具有簡單 NLP 功能的家用設備等，但是更進一步的神經網絡（數據量大）卻讓CPU成為了瓶頸。

與此同時，GPU的發展已經從滿足PC游戲的圖形化處理走了出來，其浮點型運算能力十分適合大規模并行計算的負載，但是GPU同樣需要大量的電能，而如果計算量太大，內存反而是其最大的瓶頸。所以，增加內存可以提高整個系統的吞吐量，但是這種方法也有局限性，AI 負載的多樣化同樣加速了 DRAM 規范(DDR 和 LPDDR)的演變，如今演變出了HBM 和 PIM 技術。DRAM 仍然是最快和最容易理解的內存技術，低功耗 DRAM 很可能會在更長的時間內被應用于邊緣人工智能和自動駕駛技術。畢竟HBM是一種更高級的內存技術，現在還處于PIM的早期，因為最近的發展只是使它更容易集成到系統中，而不需要對軟件進行大量的更改，而要定義 PIM 的商業可行性，還有很多路要走。

人工智能帶來的挑戰不僅僅是數據量的激增，其專用加速器在內存、存儲器之間獲取數據的速度同樣也是挑戰。異構計算中系統可以輕松地訪問給定工作負載的計算單元、內存和存儲，并且近期提出的分解內存池的 Compute Express Link (CXL)規范，也引起了眾多工程師的極大興趣。

此外我們還要平衡精度、準確性和處理效率之間的關系，而這些也逐漸從技術至上的思想中演變成效率第一的評價指標。所以內存計算在權衡各種因素后是目前AI技術最適合的技術了。

內存計算是人工智能加速催化劑

內存計算技術不同于今天常見的內存和馮諾依曼結構，它們依賴于窄帶寬總線和大容量共享緩存；內存計算結構使用數量龐大的大規模并行處理器直接連接，使用專用的、優化過的內存以提高效率和帶寬。

傳統的馮·諾伊曼結構有外部 DRAM單元、緩存和專用通信線路，而內存計算方法則將處理結果直接連接到內存單元。在Untether AI 中我們使用了一個 RISC 處理器和多達512個處理單元，并且每個單元直接連接到自己的SRAM陣列中，通過將整個神經網絡放在芯片上，Untether AI 同時滿足了低延遲和高吞吐量，臨近放置提高了能量效率并減少了延遲，從而使得總的吞吐量得以提升。

Untether AI 的內存計算架構是一種“兩全其美”的方法，它混合了多指令、多數據(MIMD)和單指令、多數據(SIMD)處理，MIMD 允許511個內存組異步操作，而序列優化是通過 SIMD 實現的，每個內存組在一條指令上執行512個進程。Untether AI 的內存計算架構針對大規模推理工作負載進行了優化，通過使用整數運算單元，可以在降低成本的同時提高吞吐量，極大程度上滿足了自然語言處理，視覺導向的神經網絡等應用場景。

所以無論是Untether AI還是其他的內存計算技術，無一例外的給人類社會提供高性能、低功耗的AI技術，無論當今還是以后的神經網絡架構，內存計算技術必將綻放新的光彩。