隨著算力的高速提升和模型的演進(jìn)，我們見證了原本專屬于人類的感知、思考和行動能力逐漸向機(jī)器的轉(zhuǎn)移，而每一次能力轉(zhuǎn)移的拐點都將產(chǎn)生新的范式。比如20世紀(jì)末期，Google、百度等公司讓信息的生產(chǎn)和獲取成本從邊際成本轉(zhuǎn)向固定成本，開啟了互聯(lián)網(wǎng)時代的新范式。現(xiàn)在，OpenAI和大模型使模型產(chǎn)生的成本也走上了相同的道路，加速了“模型和行動無處不在”的新時代的到來，并由此重新定義了以智能視覺技術(shù)為代表的人機(jī)交互新模式。
在Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健看來，智能視覺技術(shù)之所以在新時代變得必不可少，并在智慧家居、智慧城市、零售和智能制造領(lǐng)域得到廣泛應(yīng)用，是因為機(jī)器系統(tǒng)必須通過視覺理解周圍環(huán)境，做出相應(yīng)的決策和行動，視覺信息為自動駕駛和機(jī)器人提供了關(guān)鍵的安全和避障能力，這是生死攸關(guān)問題。
其次，視覺對于人機(jī)交互也是至關(guān)重要的——未來的聊天/陪伴機(jī)器人需要高智商和高情商，而機(jī)器視覺可以通過捕捉人類的表情、手勢和動作，迅速理解人類的意圖和情感，改善AI與人類的溝通和合作。另外，模型優(yōu)化也可以借力智能視覺等感知技術(shù)，從現(xiàn)實生活中采集真實數(shù)據(jù)形成更準(zhǔn)確的模型，而不僅僅是依賴于文本描述和靜態(tài)圖像。
智能視覺系統(tǒng)接下來的三大技術(shù)發(fā)展趨勢同樣值得關(guān)注，包括：
云、邊、端的協(xié)同
由于視頻數(shù)據(jù)巨大的數(shù)據(jù)量，以及自動駕駛等應(yīng)用的實時性要求，智能視覺系統(tǒng)需要能夠?qū)⒂嬎愫蜎Q策任務(wù)分布在云、邊和終端設(shè)備上，并實現(xiàn)協(xié)同工作。
AI加持
未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像的分析和識別能力，并利用強(qiáng)化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場景和任務(wù)。畢竟，準(zhǔn)確和高質(zhì)量的圖像處理能力，能夠更好的幫助智能視覺系統(tǒng)實現(xiàn)更高效的特征提取、目標(biāo)跟蹤和檢測、圖像分析和理解、以及圖像的生成和合成。
算力支持
由于模型和算法日趨復(fù)雜，加之大規(guī)模圖像數(shù)據(jù)處理的實時性、高精度、高并發(fā)要求，智能視覺系統(tǒng)對強(qiáng)大計算資源和算力支持的依賴程度與日俱增。同時，智能視覺系統(tǒng)的廣泛應(yīng)用也引發(fā)了對隱私和安全性的關(guān)注，采用加密、匿名化等技術(shù)手段保護(hù)用戶的隱私，加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用，正成為顯著的趨勢。
強(qiáng)強(qiáng)聯(lián)手，只為中國市場
科技和應(yīng)用的演進(jìn)趨勢也投射到了智能視覺芯片架構(gòu)上。
過去幾年中，智能視覺芯片架構(gòu)同樣經(jīng)歷了一系列的演進(jìn)，從功能固定難以編程的DSP和ASK，到通用性強(qiáng)易編程的CPU架構(gòu)，到現(xiàn)在最先進(jìn)的綜合CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，逐步實現(xiàn)了低功耗、高性能和高度集成的特點，更加適用于智能手機(jī)、攝像頭、XR，機(jī)器人和物聯(lián)網(wǎng)設(shè)備等資源受限的邊緣設(shè)備，Arm攜手安謀科技最新發(fā)布的智能視覺參考設(shè)計正是這一趨勢的體現(xiàn)。
智能視覺芯片架構(gòu)的演進(jìn)
“全新參考設(shè)計的獨特之處在于，這是Arm首次將現(xiàn)有子系統(tǒng)IP與第三方IP整合，并由安謀科技預(yù)先集成和預(yù)先驗證，只面向中國市場與客戶的方案。”馬健說，這樣做的初衷，是很多客戶認(rèn)為中國IPC視覺系統(tǒng)已經(jīng)成為了紅海市場，Arm希望合作伙伴能夠更聚焦于自身的差異化設(shè)計，而不必去做重復(fù)性的基礎(chǔ)IP整合與基礎(chǔ)軟件的開發(fā)工作。
Arm智能視覺參考設(shè)計包括：
Arm Corstone™-1000：整合Cortex-A、Cortex-M處理器與內(nèi)建安全性，為不同應(yīng)用在受限的功耗范圍內(nèi)提供效率及高性能。
Arm Corstone-300：為機(jī)器學(xué)習(xí)工作負(fù)載提供“永遠(yuǎn)在線”的低功耗子系統(tǒng)。
Arm Mali™-C55圖像信號處理器(ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質(zhì)量。
來自安謀科技的第三方IP在視頻和機(jī)器學(xué)習(xí)能力方面提供更多選項：
“玲瓏”V5視頻處理器：支持緊湊的、多格式(例如H.264, H.265)且高效能的視頻編解碼處理。
“周易”NPU：為廣泛的機(jī)器學(xué)習(xí)用例提供高達(dá)4TOPS的性能表現(xiàn)，并且支持業(yè)界主流的AI規(guī)模框架，例如Tensorflow、Caffe、ONNX、Pytorch等。
“Arm智能視覺參考設(shè)計”結(jié)合Arm與安謀科技的相關(guān)IP，助力中國客戶加速視覺應(yīng)用設(shè)備開發(fā)
安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超表示，安謀科技目前已經(jīng)完成了兩代VPU產(chǎn)品的研發(fā)，增加了AVS2和AV1的格式，滿足行業(yè)對標(biāo)準(zhǔn)的需求。除了增加格式之外，V5、V7的HEVC編碼質(zhì)量提升了15%，對比 V5、V7，全新一代視頻處理器“玲瓏”V6、V8的H.264編碼質(zhì)量提升了10%，已經(jīng)全面達(dá)到并高于行業(yè)客戶對編碼質(zhì)量的要求。
面對多樣化的產(chǎn)品需求，“玲瓏”VPU不斷增強(qiáng)圖像的前后處理能力，增加了按任意比例縮放優(yōu)化的后處理，增加了OSD的前處理和YUV到RGB的后處理等。“玲瓏” VPU軟件可編程，因此，在硬件量產(chǎn)后仍然可以進(jìn)行優(yōu)化和迭代，并根據(jù)客戶的需求進(jìn)行升級。由于AFBC(Arm Frame Buffer Compression, Arm系統(tǒng)層面上的無損壓縮) 的支持，“玲瓏”VPU可以降低35%的帶寬。
“周易”NPU是靈活可配置的人工智能加速器，已經(jīng)在多家客戶落地量產(chǎn)，涵蓋汽車智能座艙、自動駕駛、智能物聯(lián)網(wǎng)、安防監(jiān)控等多個行業(yè)應(yīng)用。根據(jù)客戶和市場需求，“周易”NPU可配置出1-30TOPS的處理性能，在4TOPS的典型配置下，在16納米工藝上可實現(xiàn)3.3平方毫米面積。“周易”NPU 可以支持多種典型的深度學(xué)習(xí)框架，如Tensorflow、Caffe、Pytorch等，可以加速客戶應(yīng)用的部署，目前已經(jīng)針對100多種算子算法進(jìn)行了優(yōu)化適配，并表現(xiàn)出了出色性能，包括常見的CNN網(wǎng)絡(luò)以及Transformer網(wǎng)絡(luò)，并已經(jīng)完成了對 ChatGPT大模型的適配。
在公眾十分關(guān)心的安全和隱私保護(hù)方面，馬健強(qiáng)調(diào)稱，安全是物聯(lián)網(wǎng)的“必選項”，而不是“可選項”。當(dāng)前，Arm正在認(rèn)證標(biāo)準(zhǔn)、IP實踐、軟件賦能等多領(lǐng)域助力產(chǎn)業(yè)安全達(dá)標(biāo)。
在認(rèn)證標(biāo)準(zhǔn)方面，由Arm等公司牽頭構(gòu)建的PSA Certified項目對安全的信任根(RoT)的含義進(jìn)行了標(biāo)準(zhǔn)化，為原本非常分散的市場帶來了針對物聯(lián)網(wǎng)安全解決方案的整合。目前，包括70款芯片在內(nèi)的100余款產(chǎn)品均采用了這一標(biāo)準(zhǔn)，為全球物聯(lián)網(wǎng)開發(fā)者簡化了建立在RoT基礎(chǔ)上的物聯(lián)網(wǎng)安全開發(fā)。
在IP實踐方面，Arm通過包括適用于Cortex-A與Cortex-M的Arm TrustZone 等產(chǎn)品組合令最終客戶可以放心部署從云到端的物聯(lián)網(wǎng)應(yīng)用。作為建立PSA-RoT的起點之一，TrustZone可在同一芯片內(nèi)提供安全(可信)和非安全(不可信)區(qū)域，以保護(hù)敏感程序代碼和數(shù)據(jù)在CPU中的硬件強(qiáng)制隔離。此外，它還包括了指針認(rèn)證和分支目標(biāo)識別，這一全新架構(gòu)功能具備增強(qiáng)的軟件攻擊威脅緩解能力，有助于實現(xiàn)物聯(lián)網(wǎng)部署的安全基線PSA Certified Level 2。
在軟件賦能方面，Arm在提供硬件安全功能的同時，也為一些關(guān)鍵的開源軟件項目做出了貢獻(xiàn)，從而確保軟件開發(fā)者能夠輕松且一致地訪問和集成PSA Certified規(guī)定的關(guān)鍵基礎(chǔ)安全功能，這些功能也充分利用了TrustZone等類似功能。
此外，生態(tài)伙伴可借由Arm虛擬硬件(Arm Virtual Hardware, AVH)的形式獲取Arm 智能視覺參考設(shè)計的虛擬模型，助力軟件開發(fā)者在芯片完備前先著手開發(fā)并優(yōu)化代碼。該參考設(shè)計具備可信任的底層IP技術(shù)，在增強(qiáng)安全、可移植性與兼容性方面，已取得Arm SystemReady™ IR與PSA Certified Level 2等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。
“Arm智能視覺合作伙伴計劃”已獲十多家生態(tài)伙伴加入支持，協(xié)力加速中國智能視覺的創(chuàng)新應(yīng)用
Arm還同時宣布了“Arm智能視覺合作伙伴計劃”，該計劃匯集軟件、硬件、系統(tǒng)集成商伙伴，幫助設(shè)計者與開發(fā)者加速將其生產(chǎn)就緒的視覺應(yīng)用設(shè)備推向中國市場。加入該計劃的合作伙伴將與視覺應(yīng)用生態(tài)廠商緊密合作，共同優(yōu)化產(chǎn)品與開發(fā)者體驗，加速推向市場。目前已有十多家來自智能物聯(lián)網(wǎng)的芯片設(shè)計、系統(tǒng)集成、AI算法、開發(fā)平臺等國內(nèi)領(lǐng)先企業(yè)均已加入該項計劃。
