GPU和ASIC在AI上的優劣勢比較

GPU和ASIC

建議各位先閱讀和本文密切相關的貼文 ：《市場愈來愈大的特殊應用積體電路（ASIC），和美股和台股的相關上市企業》 ,《AI推理晶片和訓練晶片有何不同？》

AI晶片的發展趨勢

客製化的AI晶片種類

客製化的AI晶片種類，ASIC包含多類晶片，諸如TPU（Tensor Processing Unit，張量處理器）、LPU（語言處理器）、NPU（神經網路處理器）等。

推理是下一波需求的焦點

但如今的數據猶如模型訓練的化石燃料，終將是會耗盡的，這是大模型競賽從預訓練轉向推理的重要原因，近期前Open AI高管Ilya Sutskever公開演講談及這一點，其預計，下一代AI模型將是真正的AI Agent，且具備推理能力。 

巴克萊的另一份報告則預計，預計AI推理需求將佔通用人工智慧總運算需求的70%以上，甚至達到訓練運算需求的4.5倍。

專用與通用之爭

GPU和ASIC目前的優缺點都很明顯。GPU勝在通用，能運行許多演算法，且輝達CUDA生態成熟，具備易用性，缺點在於通用的GPU在算力和功耗上會有一定浪費。ASIC相對專用，針對特定演算法的設計使算力和功耗表現可能更優。以Groq的LPU為例，該公司稱LPU速度比輝達GPU快十倍，但價格和耗電量都僅為後者的十分之一。不過，越是專用的ASIC越難容忍太多演算法，原本在GPU上跑的大模型要遷移至ASIC上運作不一定容易，整體上易用性也低於GPU。

從使用場景來看，一名業內人士告訴記者，GPU仍要用在大量平行化通用用例中，在此之外的其他需求可以使用成本更低的ASIC，例如在推理端使用低功耗的AISC。麥肯錫的研究也認為，未來AI工作量主要轉向推理，到2030年，配備ASIC晶片的AI加速器將處理大多數AI工作負載。

但具體未來ASIC能拿下多大的AI晶片市場份額，可能仍有變數，這種變數來自GPU對ASIC晶片優點的吸收。安謀科技產品總監鮑敏祺向記者表示，GPU不一定會被其他晶片取代。GPU主要在AI雲端應用，GPU更容易接入openCLcuda或是SYCL這種軟體程式生態模式，具備便利性。而從能源效率角度來看，GPU會帶來更多的多執行緒上下文切換開銷，這些開銷不容忽視。由此看，未來在端側場景，GPU和其他晶片會逐步走向融合，而不是互相取代。就像輝達H100的TensorCore（張量處理單元）已經引入了更多Tensor專用的技術，晶片之間已經在取對方的長處逐步彌補自身的短處。

從這個層面來看，ASIC也需要考慮捨棄通用性的風險。GPU通用性的重要性確實如此，當Transformer改變，GPU將有優勢。以NPU為例，一方面，原本的DSA（特定領域架構）可能無法應對演算法流程變化，因此對一些向量運算需要考慮引入更多通用能力。另一方面，在具備通用運算能力的情況下，晶片則可能沒有針對特定運算類型進行最佳化，導致遇到效能瓶頸。因此設計時既要引入更多通用運算能力以適應演算法等的變化，又要平衡通用運算能力和執行特定任務的效能。

為何必需同時並用？

GPU和ASIC之爭更像是一場通用和專用陣營之爭，在AI最終定型之前，兩種晶片都不會完全取代對方，這場博弈也不一定以一輸一贏為結果。

尤其ChatGPT爆火以後，輝達GPU產品產量無法趕上客戶的大量需求，許多企業都是靠著伺服器CPU+ASIC的形式，來滿足使用者對於AI訓練和推理的算力需求。

這就顯示出ASIC在AI時代的角色。邁威爾的計算與客製化集團技術副總裁Mark Kuemerle觀察到：「關於這些資料中心客戶的有趣事實是，如果他們的系統中出現輕微的瓶頸點，問題會被放大1000倍甚至更多（因為它們部署在超大規模中）。」這樣的瓶頸點可能導致NIC卡住。現成的機器學習設備可能無法匹配工作負載或滿足靈活性或可程式性的需求。

AI晶片的市場

ASIC市場的大小

來看佔領新的市場。資料中心客製化晶片的潛在市場並不小，根據研究公司650 Group估計，資料中心客製化晶片市場2024年將成長至100億美元，到2025年將翻倍。

Needham分析師Charles Shi表示，2023年更廣泛的客製化晶片市值約為300億美元，約佔全球晶片年銷售額的5%。

GPU和ASIC在AI市佔率為3比1

花旗就表示：目前看來，GPU和ASIC在AI上的使用市佔率大約為3比1。花旗認為，輝達的GPU能透過CUDA支援軟體的重新編程，並適應不同的工作負載，是輝達的最大優勢。

隨著邁威爾和博通兩家晶片製造商的近期披露的業績大大超乎預期，投資者開始擔憂輝達的GPU是否會被客製化ASIC晶片所取代。

花旗重申「這兩種晶片將會共存」並預計到2028年，AI加速器的總市場規模（TAM）將達到3,800億美元，其中GPU將佔據主導地位，佔75%的份額，ASIC則將僅佔25%。

輝達的GPU能透過CUDA支援軟體的重新編程，並適應不同的工作負載，是輝達的最大優勢。花旗也表示，儘管ASIC單位組合的份額可能在2028年達到35%以上，但由於AI GPU更高的平均售價（ASP），ASIC的銷售份額可能被限制在約25%。

此外，輝達的CoWOS代工廠產能分配預計將從2024年的56%增長到2025年的60%，顯示出2025年GPU仍將保持強勁的增長勢頭。

廠商自研的AI晶片

科技巨擘都有自研的AI晶片

ASIC可以植入個別客戶所期望但GPU無法提供的功能───這是ASIC最大的優勢；更何況GPU的超級大用戶都是科技巨擘，預算不會是問題，他們普遍也不想讓輝達藉由GPU的供應掐住自己的喉嚨。目前，谷歌、亞馬遜、特斯拉和Meta都推出了ASIC晶片。

雲端廠商中，谷歌多年前就佈局TPU，其第六代TPU在2024年12月正式向客戶開放使用；Meta在2024年推出了專為AI訓練和推理設計的定制芯片MTIA v2；亞馬遜有Trainium 2.0，併計劃2025年發表Trainium 3.0；微軟則有自研的AI晶片Maia。
　　
因為不對外銷售晶片，這些雲廠商的AI晶片比較少受到市場關注。但實際上，這些雲廠商都早已經在自己的資料中心中部署ASIC晶片並著力擴大這些晶片的使用。

谷歌

谷歌2015年發表首款ASIC晶片TPU v1，2023年已經迭代到了v5。根據官方提供的數據，每個TPU v5在三維環形拓撲結構中，透過最高頻寬的晶片間互聯（ICI），以4,800 Gbps/chip 的速度將8,960 個晶片組合在一起，與TPU v4 相比， TPU v5的FLOPS 和高頻寬記憶體（HBM）分別提高了2 倍和3 倍。

對谷歌來說，要錢有錢，要技術有技術，要應用場景有應用場景，可以說是各大科技巨頭中在自研AI晶片這條路上走得最遠的，其他廠商目前還在源源不斷地為輝達帳戶收錢，但谷歌卻早已做好了兩手準備。

以谷歌為代表，Tech Insights資料顯示，2023年谷歌已悄悄成為全球第三大資料中心處理器設計公司，位列CPU霸主英特爾和GPU霸主輝達之後。谷歌內部工作負載運行TPU而不對外出售晶片。

亞馬遜

亞馬遜則向OpenAI的競爭對手Anthropic進行多次投資，加深與該公司的綁定。Anthropic就用了亞馬遜的Trainium。亞馬遜近日透露，建造給Anthropic使用的Rainier超級電腦集群計畫很快就會完成，亞馬遜還在建造更多產能以滿足其他客戶用Trainium的需求。

客製化晶片廠商博通、邁威爾的相關訂單就是來自這些雲端廠商。其中，谷歌 ，Meta的ASIC晶片與博通合作客製化。除了谷歌，摩根大通分析師預測，Meta有望成為下一個為博通帶來10億美元營收的ASIC客戶。亞馬遜則與晶片廠商邁威爾合作。

2024年12月初，亞馬遜AWS剛與邁威爾達成一項為期五年的協議，雙方擬擴大在AI和資料中心連接產品方面的合作，以便亞馬遜部署半導體產品組合和專用網路硬體。

其它廠商

除了谷歌、Meta、亞馬遜這些雲端廠商，OpenAI、蘋果也多次傳出與這類ASIC客製化晶片廠商合作的消息。近日蘋果便傳出正在開發AI伺服器晶片、正與博通合作開發該晶片網路技術的消息，OpenAI先前傳出已與博通合作數月建構AI推理晶片。

實際使用上的考量

效能

因為從效能來看，針對特定場景或應用所設計的ASIC晶片，會比輝達所賣的通用GPU更有優勢。以前一直使用GPU，也帶火了輝達等廠商的業績和股價，但後來大家發現，隨著機器學習、邊緣運算發展，演算法更加成熟穩定，自己完全有足夠的運算需求去分攤ASIC的成本。

功耗

一般而言，ASIC在AI運算中使用頻繁的矩陣運算等最核心的運算任務中，效率比通用加速器高50%以上，且功耗降低約30%。

以目前市場上使用最多的輝達的H100晶片來說，功耗高達700W，記憶體牆問題限制了其在推理場景的性價比。

功能

ASIC可以發揮GPU在人工智慧上所欠缺或較弱的功能，例如推理方面，但GPU正在推理方面急起直追，這方兩者的差距正在縮小。另一項ASIC的優點是可以植入個別客戶所期望但GPU無法提供的功能放進自己所設計的ASIC晶片裡。

軟體

CUDA現在已經近乎是壟斷，ASIC則無法享有軟體相容的優勢。由於每家客戶所設計出來的ASIC功能都不同，細節差異性很大，所以在程式設計上都必需重新設計，才能把程式移植到不同客戶所用的ASIC晶片上，這會是項杅大的工程。

關於Cuda，詳見㿝的另一篇貼文：《CUDA軟體如何強化輝達壟斷的護城河？》

高速傳輸

輝達統治AI訓練市場的王牌，除了晶片，還有CUDA和NV LINK，前者與晶片高度適配的軟體開發工具，後者則是能提供高速低延遲工作環境的專用網路協定。 

博通和邁威爾之所以能擊敗其他同業 ，成為AI晶片的ASIC設計的主要前兩大廠商，其中的一項關鍵是兩者都掌握了高速傳輸的技術。

部署

GPU有先發優勢，技術發展時間長，使用成本較低，相容性很高，已經過市場的驗證，所以在大量的部署上較有優勢；然而，最明顯的缺點是功耗高，而且效率較差。

ASIC因為面向特定用戶需求設計的客製化晶片，在吞吐量、功耗、算力水平等效率方面都享有優勢。

成本

花旗指出，市場上的ASIC單顆成本約為5,000美元，GPU成本單顆約在20,000~30,000美元之間。 然而，報告稱，GPU擁有更多高頻寬記憶體(HBM)、還能重新編程以適應不同的工作負載，而後者在輝達CUDA軟體工具的輔助下，乃是GPU及輝達的最大優勢。

主要廠商

GPU

輝達幾乎壟斷了全球90%以上的人工智慧所使用的GPU （關於輝達在人工智慧所使用的GPU上的壟斷，詳見我的的另一篇貼文：《輝達的壟斷原因和面對的挑戰》），而且這個數字在過去兩年已經由80%上升至現在的95%，未來可能還會再上升，特別是最新和最先進的GPU，輝達根本沒有敵手可言。

關於GPU，詳見我的的另一篇貼文：《圖形處理器（GPU）主要的廠商和用途》

ASIC

摩根大通估計，博通目前佔據了客製化晶片市場 55% 至 60% 的份額。邁威爾被認為是 ASIC 市場的第二大廠商，估計份額為 13% 至 15%。

Needham在2023年的統計：資料中心的客製化晶片的市場中有兩大巨頭：博通和邁威爾。在高階ASIC市場，博通以35％的市佔率，穩坐龍頭寶座，邁威爾以12％的市佔率居次。博通和邁威爾其實都認為隨著資料中心處理器變的多樣，會讓客製化晶片的模式重新煥發生機。

全球顧問公司麥肯錫報告特別指出，博通預計將以 55-60% 的份額主導市場。預計到 2030 年，大部分人工智慧工作負載將由 ASIC 處理。邁威爾正在迅速崛起，成為客製化 ASIC 市場第二大廠商，佔有 13-15% 的份額。

台灣，中國，和日本廠商則分食這兩大巨頭剩下的較小市場空間。這些公司中，世芯（AIChip）的成長最快，同期銷售額成長了約7 倍，已連續六年創新紀錄，營收、營利、淨利和每股盈餘皆創歷史新高，儘管近期該公司股價處於回調階段，但仍是中國台灣最高價的股票之一，已經是四年前股價的10 倍。

博通2024 Q3的財報

博通 2024 財年（截至 11 月 3 日）透過銷售客製化 AI 晶片和網路處理器創造了 122 億美元的收入。與該公司 2023 財年從 AI 晶片中創造的 38 億美元收入相比，這一收入增長了 220%，增幅驚人。

好消息是，博通預計其與人工智慧相關的潛在市場規模到2027 財年將增至600 億至900 億美元。 在這一機遇中的市場份額，並預計這將推動 2024 年 122 億美元的 AI 收入基礎強勁增長。

在業績上，2024財年，博通營收年增44%，達到創紀錄的516億美元。該財年，博通人工智慧營收年增220%，達到122億美元，推動公司的半導體營收達到創紀錄的301億美元。博通也展望2025財年第一季營收年增22%。

邁威爾2024 Q3的財報

根據邁威爾發布的2025財年第三季財報，因為該公司2025財年第三季（截至11月2日）的資料中心營收比去年同期成長了98%，達到11億美元。這一出色的成長抵消了公司其他業務部門的疲軟表現。該季度公司營收則為15.16億美元，同比增長7%，環比增長19%，

該公司稱環比增長幅度高於此前指引的中點，並預測下一季營收也將較上季成長19%。邁威爾表示，第三季的業績表現和對第四季業績表現強勁的預期主要是由客製化AI晶片專案推動的，這些專案已經開始量產，並預計2026財年需求還將保持強勁勢頭。

關於全球ASIC產業的發展，詳見我的的另一篇貼文：《市場愈來愈大的特殊應用積體電路（ASIC），和美股和台股的相關上市企業》

ASIC新創公司

雲端廠商自研大模型並透過投資綁定了一些大模型創業公司，與ASIC定制廠商合作的自研晶片用於這些大模型訓練和推理，不需要依賴外售。ASIC新創公司則不同，它們選擇了不同的晶片代工商，並需要自己尋找客戶。


其中，推出了晶圓級晶片的Cerebras將晶片交給台積電生產，Etched的Sohu晶片採用台積電4nm製程。採用近存運算架構的GroqLPU晶片對製程的要求沒有那麼高，用了GlobalFoundries的14nm製程。

這些ASIC新創公司正在全世界範圍內網羅客戶，從正加碼佈局AI的中東國家搜尋客戶成為一些ASIC創業公司的共同選擇。根據Cerebras公開的數據，2023年Cerebras淨銷售額近7,900萬美元，今年上半年達1.364億美元。2023年該公司來自阿布達比的G42公司的營收佔總營收83%，G42也承諾在明年購買價值14.3億美元的Cerebras產品和服務。

在沙烏地阿拉伯的AI峰會上也看到了Cerebras、Groq和另一家AI晶片新創公司SambaNova的身影。Cerebras當時與沙烏地阿美簽署了諒解備忘錄，沙烏地阿美計畫以Cerebras的產品訓練和部署大模型。

Groq則與沙烏地阿美的數位與科技子公司合作，計畫在沙烏地阿拉伯建造全球最大規模的推理資料中心，2024年底建成投運，初期包括1.9萬個Groq LPU，未來可望擴展至20萬個LPU。根據SymbaNova官網消息，該公司也與杜拜公司SolidusAI Tech合作，計畫為歐洲的高效能運算資料中心提供SymbaNova Cloud，並與在中東、南亞、歐洲、非洲地區開展業務的Canvass AI公司合作，向企業提供AI解決方案。

此外，根據企業官網消息，SymbaNova與美國阿貢國家實驗室合作。Groq則與針對美國和加拿大政府部門提供IT方案的廠商Carahsoft合作，並與能源領域的Earth Wind and Power合作，計劃在挪威建造AI計算中心。

為什麼博通能稱霸ASIC？

博通參與了許多公司的客製化晶片，為什麼各大公司都會看中博通呢？不只是晶片設
計的能力，博通有自己的「護城河」晶片間的通訊。

博通是SerDes（串行器/解串器）的通訊技術無可爭議的壟斷巨頭。SerDes介面透過在傳輸之前將低速並行數據轉換為高速串行數據，然後在接收端轉換回並行數據，目的在於允許數據從一個TPU高速移動到另一個TPU，提升訊號傳輸效率。在全球50GB/S的SerDes市場中，博通佔了76%的市場。

GPU和ASIC
credit: Ideogram

相關文章

重要聲明

  • 本站內容為作者個人意見，僅供參考，本人不對文章內容、資料之正確性、看法、與即時性負任何責任，讀者請務必自行判斷。
  • 對於讀者直接或間接依賴並參考本站資訊後，採取任何投資行為所導致之直接或間接損失，或因此產生之一切責任，本人均不負任何損害賠償及其他法律上之責任。

作者: Andy Lin

Stock Investment Books Published English Blog English Simple Bio English Website Facebook Twitter Account LinkedIn Account 股票投資著作書籍 中文部落格 中文簡歷 中文網站 臉書 推特帳號 領英帳號

error: Content is protected !!