AI推理晶片和訓練晶片有何不同？

什麼是AI推理？

AI推理是「用已訓練好的AI模型處理資料」 的過程，比如用訓練好的圖像辨識模型辨識照片、用語音模型轉寫語音。一旦模型部署完成，其演算法的邏輯（如 CNN 的捲積層、Transformer 的注意力機制）、計算流程（輸入輸出格式、精度需求）會長期固定，幾乎不需要調整。

AI晶片類型分類

就用途而言，AI晶片可以分為兩大類：AI訓練晶片和AI推理晶片。

就晶片架構而言，AI晶片可以分為兩大類：GPU和ASIC。這部份本部落格已經談了很多，詳情請參見我先前的文章：《圖形處理器（GPU）主要的廠商和用途》，《GPU和ASIC在AI上的優劣勢比較》，《市場愈來愈大的特殊應用積體電路（ASIC），和美股和台股的相關上市企業》

AI訓練晶片

AI 訓練市場

AI訓練晶片市場，幾乎沒有幾家競爭者，輝達一家就佔據了 AI 訓練市場 90% 以上份額，其 Blackwell 架構支援 1.8 兆參數模型訓練，且 NVLink 6 技術實現 72 卡集群無縫互聯。

超微(AMD)則是輝達之外，唯一在AI 訓練市場上有較大市佔的廠商，但市佔和輝達是處於不同的量級，不能拿來比較。英特爾的Gaudi，則在市場上幾乎沒有能見度，市佔不到1%。

AI推理晶片主要是ASIC晶片

AI推理由於牽涉到各家廠商設計時的獨特演算法，必需客製化。而客製化晶片其實就是ASIC晶片，因此AI推理晶片主要是ASIC晶片。

AI推理晶片市場

根據VerifiedMarketResearch的數據顯示，2023年AI推理晶片市場規模為158億美元，預計到2030年將達到906億美元，在2024-2030年預測期內的複合年增長率為22.6%。

ASIC的主要優勢

適用於推理

前面提過：AI推理由於牽涉到各家廠商設計時的獨特演算法，必需客製化；才能發揮演算法的效率和各家廠商獨門的功能，以符合自家的特殊需求。

這種客製化的晶片必需ASIC晶片才能辦到，言也是為何在大量採購通用型的GPU之外，各家廠商都需要自己另行開發屬於自己的ASIC晶片，才能發揮自己所需要的AI推理的功能的原因。

去除彈性使速度加快

「固定性」 是ASIC 的核心優勢 ——為單一任務定制硬體架構：可以直接將推理演算法的運算邏輯、資料路徑「固化」 到晶片中，去掉所有無關的通用運算單元（如 GPU 中用於訓練的動態調度模組、通用記憶體控制器），讓硬體資源 100% 服務於推理計算。

成本效率

推理場景對「能源效率比」（每瓦功耗能提供的算力）和 「成本」 的敏感度遠高於訓練，而 ASIC 在這兩方面具有碾壓性優勢。

能源效率比方面， GoogleTPU v5e TPU的能源效率比是英偉達H100 的 3 倍。

成本方面， AWS的Trainium 2 在推理任務中性價比比 H100 高 30%-40%，Google的TPUv5、亞馬遜的 Trainium2 單位算力成本僅為英偉達 H100 的 70% 和 60%。

一個大模型可能只需要幾十到幾百張訓練晶片（如 GPU），但推理階段可能需要數萬甚至數十萬張晶片（例如 ChatGPT 的推理集群規模是訓練集群的 10 倍以上）。因此ASIC 的 客製化的設計可以降低單晶片的成本。

ASIC的主要缺點

晶片設計太耗時

ASIC 的設計週期長達 1-2 年，而 AI 模型迭代速度極快（如大模型從 GPT-3 到 GPT-4 僅用 1 年）。若 ASIC 設計時錨定的模型過時（如 Transformer 取代 CNN），晶片可能直接失效。

ASIC較不適用於AI訓練

同理，ASIC在訓練任務的能力就相對弱一點。因為訓練任務演算法迭代快，需求靈活。 ASIC 若用於訓練，演算法更新時，晶片面臨失效風險，性價比低很多。

市場上主要的推理晶片

那些著名廠商開發了推理晶片？

幾乎你所熟知的每一家世界知名的科技大廠，包括蘋果，亞馬遜，字母，Meta，微軟，騰訊，字節跳動，阿里巴巴，OpenAI，都已佈署，正在佈署，或是正在委託晶片設計商開發推理晶片。

多為代工設計

在ASIC市場上，各家AI大廠多為軟體企業，不可能有大量的晶片設計人才，因此必需把晶片設計外包出去。

目前博通以55%～60%的份額位居第一，邁威爾以13%～15%的份額位居第二。

已經完成佈署的著名推理晶片

以下就是已經完成佈署的著名推理晶片的列表，並不包括正在設計中的推理晶片。

公司名稱	代表產品	架構	應用場景
谷歌	TPUV6等	ASIC	雲端推理、訓練
亞馬遜	Inferentia、Trainium等	ASIC	推理晶片Inferentia、訓練晶片Trainium
微軟	Maia 100等	ASIC	雲端推理、訓練
Meta	MTIA系列	ASIC	雲端推理、訓練
華為海思	昇騰910系列	ASIC	雲端推理、訓練
寒武紀	思元590等	ASIC	雲端推理、訓練

其它廠商

請注意：輝達，超微和英特爾的AI晶片也能拿來用於推理，只是效果不像把他們拿來用於訓練般地突出。

另外，還有一些小型的創公司，包括SambaNova、Cerebras Systems、Graphcore、Groq、Tenstorrent、Hailo、Mythic，KAIST的C-Transformer等。也都推出了AI晶片也能拿來用於推理，但其實出貨量都很小，不能和科技巨擘自行設計的AI推理晶片相比。

相關文章

• 《中國捨棄西方人工智慧晶片，決定走自己的路》
• 《《晶片戰爭（Chip War）》內容談了些什麼？》
• 《AI推理晶片和訓練晶片有何不同？》
• 《輝達投資人必讀的《黃仁勳傳（The Thinking Machine）》》
• 《Applied Digital如何賺錢？》
• 《擁有AI時代最重要軍火庫的CoreWeave如何賺錢？》
• 《深度求索（DeepSeek）對全球AI和股市所造成的衝擊》
• 《中國人工智慧的進展和頂尖的企業》
• 《2024年諾貝爾物理獎得主辛頓（Geoffrey Hinton）無意中幫助輝達從圖形晶片商突然變成人工智慧的霸主》
• 《圖形處理器（GPU）主要的廠商和用途》
• 《CUDA軟體如何強化輝達壟斷的護城河？》
• 《GPU和ASIC在AI上的優劣勢比較》
• 《市場愈來愈大的特殊應用積體電路（ASIC），和美股和台股的相關上市企業》
• 《博通（broadcom）股價長期持續表現優異的背後原因》
• 《博通（Broadcom）如何賺錢？經營方式的1項重大改變》
• 《低調悶聲賺大錢的邁威爾（美滿，Marvell）如何賺錢？》
• 《輝達的壟斷原因和面對的挑戰》
• 《再論輝達：人工智慧，資料中心，和繪圖的絕對領先者》
• 《輝達（nVidia） 如何賺錢？輝達改變了產業的遊戲規則 》
• 《為什麼輝達（nVidia）併購安謀（ARM）會失敗？》
• 《資料中心是仍在高速成長的半導體領域》
• 《目前獲利豐厚的五大人工智慧商》
• 《資本市場的人工智慧泡沫正在形成》
• 《人工智慧投資的陷井》
• 《美股主要的人工智慧上市公司》
• 《目前獲利豐厚的五大人工智慧商》
• 《生成式人工智慧新星OpenAI和爆紅的ChatGPT》
• 《帕蘭泰爾（Palantir）的價值究竟在哪裡？投資帕蘭泰爾的利弊？》
• 《Palantir（帕蘭泰爾）是一家什麼樣的企業？》

重要聲明

• 本站內容為作者個人意見，僅供參考，本人不對文章內容、資料之正確性、看法、與即時性負任何責任，讀者請務必自行判斷。
• 對於讀者直接或間接依賴並參考本站資訊後，採取任何投資行為所導致之直接或間接損失，或因此產生之一切責任，本人均不負任何損害賠償及其他法律上之責任。