Arm發表Armv9新邊緣AI運算平台！已獲亞馬遜、西門子等企業採用

安謀（Arm）今日發表最新Armv9邊緣AI運算平台，搭載Arm最新款CPU Cortex-A320與相結合的Ethos-U85 NPU，可運行超過10億；上限至50億參數的大語言模型（LLM）。記者／孫敬 Archer Sun

IP矽智財大廠安謀（Arm）今日發表最新Armv9邊緣AI運算平台，搭載Arm最新款CPU Cortex-A320與相結合的Ethos-U85 NPU，可運行超過10億；上限至50億參數的大語言模型（LLM），目前馬遜網路服務公司（AWS）、西門子和瑞薩電子等企業宣布支援該平台。

Arm 主任應用工程師林宜均表示，Cortex-A320未來也將擴大應用於智慧工廠、智慧城市、智慧家庭、智慧零售、智慧門鎖、工業自動化等領域。

延伸閱讀：Uber雲端大躍進！ARM與x86並存 重塑未來運算格局

[caption id="attachment_166205" align="aligncenter" width="2560"]

左起：Arm物聯網事業部亞太區資深經理黃晏祥、應用工程總監徐達勇、主任應用工程師林宜均。（圖／孫敬拍攝）[/caption]

Cortex-A320效能、功耗表現均有顯著成長，邊緣AI在產業的應用攀升

這次Arm發表的Armv9邊緣AI運算平台，其核心Cortex-A320採用最新V9.2架構，機器學習效能比Cortex-A35提升10倍、CPU效能提高30%，功耗比同世代Cortex-A520降低50%，屬Cortex-A系列中最具節能的代表，相較於去年基於Cortex-M85的平台，新平台的機器學習效能提升了8倍。

整體來說，Cortex-A320在同樣Arm Ethous-U85的框架下，跟Arm自家M系列最高規格Cortex-M85運行AI時相比，打破原本因記憶體容量及傳輸頻寬限制，導致AI參數規模有限的問題。Arm應用工程總監徐達勇指出，Cortex-A320的出現打破了傳輸限制，象徵Arm從終端AI（Endpoint AI）跨向邊緣AI（Edge AI）產品線前進，而舊有的Cortex-A53、A35、M85也能相容升級至A320，並支援多種即時作業系統（Real Time OS），像是FreeRTOS、Zephyr，替開發者往邊緣AI發展帶來更多的選擇。

[caption id="attachment_166208" align="aligncenter" width="1920"]

Cortex-A320與Ethos-U85 NPU可運行超過10億參數以上的LLM模型。（圖／Arm）[/caption]

對於AI快速發展帶起的產業變革，Arm物聯網事業部亞太區資深經理黃晏祥觀察，約3到5年前，就已經發現不少邊緣AI的應用出現，舉凡智慧眼鏡的數位助理、智慧電鈴的人臉及性別辨識功能，並分享AI新創公司Plumerai和Arm合作推出的智慧電鈴功能，能即時辨識門外人員身分，同時寄送文字訊息告知使用者，免雲端資料傳輸的優勢，保障了隱私及低延遲問題。

[caption id="attachment_166207" align="aligncenter" width="1920"]

Plumerai和Arm合作案例「智慧電鈴」，便是使用Arm的邊緣AI平台。（圖／Arm）[/caption]

安全層級更上層樓！ArmV9擁多個先進安全功能

安全性方面，黃晏祥建議客戶升級至ArmV9架構，其提供防止被惡意竄改的指標驗證 （PAC）、提升流程安全性的分支目標識別（BTI），以及保護記憶體標籤擴充（MTE），且EL2層級虛擬化及資料格式可有效保障安全性，這也是高AI運算效能時代不容忽視的問題。

Kleidi AI實測可助大幅提升AI效能

Armv9平台已整合Arm Kleidi技術，這是一套針對 AI 框架開發人員的運算庫，無需開發人員額外操作，便能優化基於Arm CPU的AI和ML工作負載，目前已與常見的物聯網AI框架整合，如Llama.cpp、ExecuTorch跟LiteRT（透過XNNPACK），加速了Meta Llama 3和 Phi-3等關鍵模型的效能。

黃晏祥分享，據實測結果顯示，Cortex-A320搭配KleidiAI可帶來70%的效能提升。「我們目標朝向更貼近人們生活的應用前進，不論是環境還是醫療，未來這些都需要仰賴邊緣AI創造更好的生活。」

這篇文章 Arm發表Armv9新邊緣AI運算平台！已獲亞馬遜、西門子等企業採用 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。