Groq問世 ASIC趨勢無法擋

ASIC原本是大型ＣＳＰ業者為了降低成本而自行研發的客製化晶片，如今Nvidia在GTC 2026宣布正式導入以Groq的LPU（語言處理單元）的ASIC推論架構，引發業界震撼，這將會讓ASIC在ＡＩ領域有關鍵性的轉折。過去Nvidia總認為，研發更強的ＧＰＵ將能主導未來的ＡＩ世界，或許因為ＧＰＵ的研發成本高，並出現部分瓶頸，現在還得需要低功耗、低延遲等的需求，這恐怕是ＧＰＵ短期內難以做到的事。現在的ＡＩ應用將從訓練轉向推論（Inference）以實際落地。在這個背景下，ASIC有機會從邊緣角色，轉變為ＡＩ基礎設施的一部分。

Groq是一家專注於ＡＩ推論的ASIC公司，核心產品是語言處理單元（ＬＰＵ），專門針對大語言模型（ＬＬＭ）的推理速度進行優化，強調低延遲與高吞吐量。與純統ＧＰＵ相比，Groq是完全不同的設計理念。在資料流導向架構上，ＧＰＵ採用通用運算架構，需要頻繁從外部記憶體（HBM）存取資料，而Groq透過大量內建SRAM、靜態排程和管道化（Pipline）資料流，讓資料可以在晶片內部流動，明顯降低延遲。接著是SRAM取代HBM，降低對HBM依賴，避免記憶體瓶頸和提供極低延遲。這對ＬＬＭ推論中的token-by-token生成非常重要。

Groq是ASIC晶片

Groq這款晶片並不適用在模型訓練，而是專注在即時對話、ＡＩ代理、程式生成以及邊緣ＡＩ應用上。它是一款為ＡＩ應用而生的晶片，而不是為訓練而設計的晶片。隨著ＬＬＭ逐步成熟，市場關鍵指標也隨之改變。不再只是算力，而是延遲（Latency）、能耗和單位成本等問題。ＧＰＵ在上述指標下，相較ASIC晶片的成本、能耗都來得高，且延遲不夠低，在ＡＩ應用上ＧＰＵ就不符合成本需求。這也讓過去Nvidia的ＧＰＵ獨大格局遭到自我顛覆，得靠導入Groq ASIC晶片方式，讓Nvidia的ＡＩ架構補上推論的缺口。

先前本刊曾介紹過Vera Rubin架構中的六大晶片平台，包含Vera CPU、Rubin GPU、DPU、NVLink、ConnectX NIC和記憶體HBM。這些晶片分別掌管整個ＡＩ系統的控制、訓練、資料處理中心、高速互連、網路連結和記憶體等主要功能，代表Nvidia正從晶片供應商轉型為ＡＩ工廠架構提供者，Vera Rubin就是一座ＡＩ工廠。

現在出現一個問題，就是ＧＰＵ在進行資料叢集運作時，會需要向記憶體不斷地存取資料，這會造成記憶體有瓶頸並形成運作效率出現延遲現象。如果在ＡＩ應用端也採用這類ＧＰＵ時，將出現這類問題，並影響應用端的效率。再者，ＧＰＵ的價格較高，大型ＣＳＰ業者在他們的資料中心，在比較次要端或是應用端部分的運作，就採用自研ASIC晶片，降低建置成本是主要的理由。當Nvidia發現ＧＰＵ有上述瓶頸時，透過導入Groq ASIC晶片來解決，主要用在即時推論生成（Decode），形成混合運算架構。這個架構下，ＧＰＵ負責大規模運算，ASIC負責高效率執行。

降低建置成本

過去黃仁勳對於ASIC晶片的評論，大致認為運作效率不如自家ＧＰＵ來得強，雖然能降低成本，卻可能在算力上輸一截，結果可能適得其反並喪失客戶算力的商機。黃仁勳這樣講到現在都沒錯，的確ASIC晶片運作效率不如ＧＰＵ強，但如果擺在次要的運算中心，因為這個次要運算中心不需要非常強大的ＧＰＵ算力，還能降低成本。隨著邊緣運算需求在未來ＡＩ應用上會扮演重要的角色，而邊緣運算中心的主流就會是ASIC晶片。這樣的趨勢，加上Nvidia採用Groq的ASIC晶片後，很可能就讓ASIC晶片在ＡＩ架構上浮上檯面。（全文未完）

全文及圖表請見《先探投資週刊2397期精彩當期內文轉載》
◎封面故事：股利活水來了！高息股PK賽
◎特別企劃：重塑IP價值鏈 台廠新機會
◎國際趨勢：輝達砸錢並背書的兩檔幸運兒
◎中港直擊：紫金礦業周遊列國併天下
【最新活動看板】
◎【免費講座】智藥新紀元：揭密AI藥物開發平台新商模
◎【限量講座】與智者同行是最好的投資：2026投資高峰論壇
◎【先探講堂】莊爸飆股學習營－揭密主力思維，看懂大戶的佈局
◎加入先探i投資YouTube頻道會員！搶先觀看最新投資速報
◎先探﹝紙本雜誌有效訂戶﹞專屬影音服務！掌握最新投資訊息
◎下載財訊快報APP，每日重要財經訊息不漏接
◎跟著生技女王腳步，奠定生技產業基本功
◎生技女王投資勝經臉書粉絲團歡迎按讚追蹤
◎先探一年52期送【KUKKAR 韓國家】聚熱方形深炒鍋 乙個
◎先探一季13期送《馬斯克的X帝國：矽谷最瘋狂！一場價值440億美元的推特權力遊戲》乙本
◎三刊超值驚喜價：《先探》+《今周刊》+《財訊》半年期合購，限時熱賣中！