輝達壟斷的原因和面對的挑戰

輝達

我的書中有關輝達的內容

我在最近的兩本書裡,都討論過輝達(美股代碼:NVDA)這家公司;包括了:

在《超級成長股投資法則》一書中:

  • 3-3節,第190-191頁

在《10倍股法則》一書中:

  • 1-1節,第23-24頁
  • 5-6,第242-246頁,整個小節的專門介紹這家公司
  • 6-2節,第282-285頁
  • 7-1節,第348-285頁

關於輝達的貼文

提醒您,對輝達不是很熟悉的投資人,建議請先讀一下我之前的以下幾篇關於輝達的重要貼文:

緣由

前些日子,巴倫周刊有篇文章,作者提出他的看法,認為在可見的未來,輝達將繼續主窂人工智慧晶片領域。我看過之後,覺得講得很有道理,和我個人的看法類似。因此今天這篇文章除了引用他的內容外,也會補充我個人的看法───列出為何輝達能可繼續它的霸業。

硬體效能的深入探討

兩大決定因素

運算能力和運算效率

需要注意的是,晶片的運算能力強和運算效率高是兩個概念。製程和電晶體的數量代表運算能力,而CUDA核心的數量,代表計算效率。

記憶體和頻寬

至於專供GPU使用的記憶體和資料頻寬,決定了GPU在運作時的效率。其中專供GPU使用的記憶體決定GPU同時能夠儲存的最大數據,而專供GPU使用的記憶體資料頻寬,則決定了專供GPU使用的記憶體和顯示卡之間的資料傳輸速度。 

三家公司主力產品

超微

超微此前主打的晶片是MI250X,發佈於2021年年底,採用7nm工藝,擁有582億個晶體管,專供GPU使用的記憶體128G,專供GPU使用的記憶體頻寬3.2768 TB/s,FP16峰值性能為369 TF,只有60個計算單元。 

英特爾

英特爾目前主打晶片Ponte Vecchio,同樣發佈於2021年,採用7nm工藝,宣稱晶體管數量達到1020億,是全世界晶體管數量最多的晶片。這款晶片專供GPU使用的記憶體128GB,專供GPU使用的記憶體頻寬3.2TB/s,FP16峰值效能184TF,運算單元102個。 

輝達

以輝達在2020年5月發布的A100 GPU為例,這款晶片採用7nm製程和Ampere架構,擁有540億個電晶體和6912個CUDA核心,最高可提供80GB的專供GPU使用的記憶體,以及2TB/s的全球超快專供GPU使用的記憶體頻寬。在大模型訓練和推理常用的FP16(半精度浮點運算)Tensor Core峰值效能可以達到312TF,使用稀疏計算的情況下,可以達到624TF。 

破除錯誤的認知

迷思

有兩個迷思,第一個迷思是,英特爾和超微這兩款晶片的發佈時間比A100都要晚一年,他們真正對標的對手,其實應該是英偉達在2022年初發布的H100,而現在英偉達的晶片已經更新到H200了。 

第二迷思在於,硬體指標並不完全等於晶片的整體能力,軟體生態是決定晶片效能和使用的第二個關鍵指標。 

軟體平台才決定一切

硬體沒有一個好的作業系統,對客戶來說仍然不是一款好的系統。而這裡需要提到的,就包括輝達的CUDA平台、NVLink和Tensor Core等軟體生態。 

CUDA平台就是輝達整體的核心,它可以提高晶片的平行運算能力;它可以透過程式碼,提高GPU的能源效率比,讓同樣的工作耗費更少的能源。 

此外,CUDA平台還支援廣泛的應用程式,包括科學運算、深度學習、機器學習、影像處理、視訊處理等等;而目前市面上大多數程式設計師已經深度依賴CUDA平台和開發工具。

CUDA帶來的生態障礙也類似這個道理,其他平台雖然也有自己的軟體生態,例如超微有自己的GCN 架構,英特爾有Xe架構,甚至為開發者提供類似「一鍵換機」遷移功能,但都很難與英偉達競爭。

NVLink

CUDA是護城河的一部分,其他的技術如NVLink也至關重要。 

作為大模型訓練的GPU,沒有一家企業會單獨使用一張GPU,每次都會使用至少幾百張卡,甚至上萬張卡一起建立計算集群。NVLink是一種連結技術,可實現GPU之間的高速、低延遲的互聯。如果沒有這種技術,整個晶片算力的叢集就無法實現1+1>3的效果,而且會增加GPU之間的通訊延遲,執行任務的效率會降低,晶片的功耗會增加,最終增加整個系統的運作成本。 

整體使用成本

大模型訓練其實是一件非常消耗能源的事情,假設每天約有1300萬獨立訪客使用ChatGPT,那每天的電費就需要5萬美元。而如果沒有NVLink,這筆成本還會指數上升。 

晶片某種程度上就像購車一樣,購車只是第一次成本,之後的油費、保養、保險才是成本的大頭。所以黃仁勳才說,「人工智慧系統最重要的不是硬體組成的成本,而是訓練和運用人工智慧的費用。」

所以,雖然超微、英特爾在某些晶片上把價格定得比輝達更低,但是從長期成本來考慮,具有更優軟體生態和協同、配套工具的英偉達晶片仍然是性價比最高的選擇。 

綜合來看,無論是從硬體效能,還是軟體生態;無論是從開發工具和部署工具,到長期使用的成本和可開發應用場景。對比同類競爭對手,輝達都屬於最有性價比,而且是遙遙領先。

會繼續主宰人工智慧晶片的理由

產品成熟且完整

輝達擁有最成熟的人工智慧技術產品。該公司花了十多年時間解決其軟體程式生態系統 CUDA 的軟體和驅動程式問題。這意味著該公司已經解決了其他經驗不足的供應商可能仍需要解決的技術問題。

平台的中立性

輝達是中立的硬體平台,和各雲端廠商的平台無關,因為雲端平台基本上都是軟體。客戶可以將輝達支援的工作負載從一個雲端平台轉移到另一個雲端平台,維持了必要移植時的靈活性。另一方面,亞馬遜或谷歌的競爭對手人工智慧晶片產品卻千方百計地將用戶鎖定在他們的雲端平台上;這種做法降低了轉向其他提供更便宜服務或更好技術的供應商的靈活性。

完整的軟體開發工具

開發人員之所以堅持使用輝達的產品,是因為其數十年的平台穩定性、巨大的市佔、可涵蓋許多產業的特定工具,以及向後相容性的聲譽。

輝達執行長黃仁勲表示:「所有在輝達之上構建的技術發明都是長年累積而成的。」

最佳的整體性能

然後是性能。當客戶評估該公司的軟體、系統硬體和網路硬體組合時,輝達仍然提供了最佳的整體能力。

輝達主要的挑戰

地緣政治

為了防止中國超越美國,美國不斷地加大圍堵中國的範圍,其中半導體禁運是重要的一環。而其中的人工智慧晶片,更是美國政府禁運的重點───而輝達是其中受創最深的企業,因為輝達有四分之一以上的營收來自中國。為了符合美國政府不斷強化的晶片禁運規定,輝達已經兩次被迫針對中國市場,推出功能降階版本的晶片,以符合美國的禁令。

美國的禁令只會愈來愈嚴格,輝達的惡夢不會停止,營收受影響的範圍只會愈來愈大。

2023年12月,美國商務部⻑雷蒙多(Gina Raimondo)警告,會隨時修改出⼝法令,務必要阻⽌中國利⽤美⽅技術發展人工智慧。

中國營收佔比高達40%

2023年12月,黃仁勳坦承,輝達確實在新加坡為中國客⼾提供服務。在新加坡設有分處的中國巨擘包括抖⾳⺟公司字節跳動(ByteDance)、騰訊控股、及阿⾥巴巴(Alibaba Group)才是輝達在新加坡主要的營收來源。根據主管機關公告,2023年第3季,新加坡對輝達的營收占比約為15%。

因此,若加上新加坡的15%,中國市場其實佔去輝達40%的公司總營收,這也是為何輝達願意一再破例,連兩次單為中國推出特製版本的產品,以規避美國商務部一再緊縮的法令。

產能供給

我在《資本市場的人工智慧泡沫正在形成》文中就提過,輝達的人工智慧晶片近兩年來都供不應求,這種甜蜜的負擔讓輝達的營收損失極其慘重。

創建最複雜的人工智慧系統,通常會用到數以萬顆的輝達最先進的GPU「H100」。美國《巴隆周刊》(Barron’s)專欄作家曾指出,輝達每顆H100晶片製造成本約3320美元(約新台幣10.56萬元),但單價高達2.5萬美元至3萬美元(約新台幣79.55萬至95.46萬元)。據分析師估算,輝達1年產能約120萬顆,但仍難以滿足需求。

尤於台積電產能受限,而且價格較高,重要的是輝達永遠不可能搶到台積電最新製程的首批客戶,因為蘋果的訂單量遠大於輝達。這逼得輝達必需找上三星,也有媒體臆測,英特爾代工事業部門所不願公佈的大型晶片客戶就是輝達。

競爭者四起

輝達的對手主要有以下三大類:

  • 第一種是超微,英特爾,和高通等傳統的晶片設計業者等老對手。
  • 第二種是近年才崛起的小型人工智慧晶片的設計商,包括Groq,Graphcore,Cerebras,Tenstorrent,KAIST的C-Transformer,寒武紀,地平線等。
  • 另一種是近年來自己設計出人工智慧晶的輝達的超大型客戶,他們都有深不見底的資源和人才,加上對輝達人工智慧晶片龐大的需求。這類對手包括了美國的微軟,字母,Meta,蘋果;或是中國的華為,阿里巴巴,百度,騰訊。基本上,這類對手開發工智慧晶片主要是自己使用,不會出售,至少到今天為止是如此。但華為例外, 本文下一小段會再提及,但關於華為,推薦各位參見我的專文無所不能的華為(Huawei)是如何賺錢的?詳細的介紹。

但不論是上面所列的那一種,這些對手「短期」,甚至「中期」之內,都不會成為夠份量或強大到能成為威脅輝達的對手。

讀者可以參見我先前的這一篇貼文:《美股主要的人工智慧上市公司》。但這部份不是今天的主題,有機會和時間的話,我會再寫篇專門的文章來深入討論這個主題。

華為

2023年12月6日,黃仁勳在訪問新加坡時首次表示:華為非常難對付,公司已經將華為列為「非常難對付」(very formidable)的人工智慧晶片的主要競爭對⼿之一。

2024年2月23日,輝達在向美國證券交易委員會提交的文件中首次將華為確定為包括人工智慧晶片在內的多個類別的頂級競爭對手。輝達表示,中國華為在供應人工智慧晶片方面存在競爭,例如GPU、CPU和網路晶片。 輝達還將華為定位為雲端服務公司,已經設計自己的硬體和軟體以改善人工智慧運算。

輝達在向美國證券交易委員會提交的同一份文件中,同時也指出的其他競爭對手包括英特爾、超微、博通和高通。 該晶片公司還確定了幾家大型雲端運算公司,例如亞馬遜和微軟。

超微

超微是輝達的老對手,但收效甚微。可是近年超微在各方面急起直追,超微如今已非當年的吳下阿蒙。這部份請參閱我的另一篇貼文《長年老二的超微(AMD)表現為何令人瞠目結舌?》。

引發反壟斷調查

由於輝達在圖形顯示和人工智慧晶片的強大市佔,目前已經引發各國政府的不安。截至今日為止,已知的就有法國,歐盟,中國對輝達開始進行反壟斷的調查。對輝達而言,這會是一條漫漫的長路。

結論

拜人工智慧和横空出世的ChatGPT的推波助瀾,輝達2023年一年所賺的錢,超過它上市以來的前25年的總和。

輝達的壟斷是真的,但別期望它的股價能再像過去幾年一樣,一年內能再上漲四五倍以上。

輝達
credit: Nvidia

相關文章

重要聲明

  • 本站內容為作者個人意見,僅供參考,本人不對文章內容、資料之正確性、看法、與即時性負任何責任,讀者請務必自行判斷。
  • 對於讀者直接或間接依賴並參考本站資訊後,採取任何投資行為所導致之直接或間接損失,或因此產生之一切責任,本人均不負任何損害賠償及其他法律上之責任。

在〈輝達壟斷的原因和面對的挑戰〉中有 6 則留言

  1. Andy老師好:
    輝達是間長期看好公司(跟特斯拉需要降價維持市占不可比擬),但目前卻不是好價格可以投資,確實要秉持有耐心的性格,等待好公司價格因為市場信心崩潰,價格回落來到合理價位,去年低點的價位因為資金跟恐懼本益比過高不敢投資,未來有機會就需要準備好閒錢等待了。

    1. Peter您好,
      目前真正從這波由人工智慧大模型(LLM)風潮中賺到錢的上市公司真的不多,硬體公司輝達,超微,博通算是很清楚不吹噓的實際巨額營收獲益者,以及一些較小的硬體廠商。但軟體商"目前”只有微軟一家。為何會如此呢?因為
      —基礎設施可以大規模化,也較容易靠機器工廠達成,所有的科技在普及時,都走相同的發展道路———這又證明了人工智慧的發展仍在很早的階段
      —人工智慧真正要貨幣化,而且對我們手常生活發生實際的改變必需靠軟體,但軟體牽涉到層面比硬體複雜太多了,我前陣子答應會寫一篇這方面的文章,主要是分析微軟為何可辦得到。搜集了不少資料,目前已寫好,會先發佈在這期smart雜誌上,一個月後會貼到我的部落格上。

  2. 同意Andy老師所言,有關「人工智慧真正要貨幣化,而且對我們手常生活發生實際的改變必需靠軟體…」個人補充淺見如下:
    1、所有的數位戰爭,都是生態系戰爭。
    2、AI競爭優勢不是模型,確實初期階段提供「鏟子」公司會是檯面代表,後續趨勢咸認會以下發展:
    (1)模型成本只會愈來愈低(Big Tech關心重點是賺雲端錢)
    (2)企業將陸續意識到競爭優勢是來自自己的內部獨門資料,而非模型本身
    (3)企業在乎重點是找出商業應用場景(即AI能否應用企業自己商業模式),及使用者體驗(組織內部生產力可否提升)。
    3、作為Big Tech代表中的微軟除已掌握先行者優勢外,並具備生態系與持續優化消費者/生產力體驗,管他LLM模型未來開源與否,海納百川,持續運用「平台」影響力,可預見未來仍會是贏家第一梯隊。

    註:至於輝達為何會是初期「鏟子」檯面代表公司,Andy老師上文所提出以CUDA為平台的生態系,恰正呼應黃仁勳所言:「買越多,越省錢」之綜效。

    1. 董事長您好,

      目前的AI產業發展,我個人一直認為處在剛開始,一如我在文中所言和事長的分析,科技要普及至每個人,光是硬體和基礎建設是不可能的,現在AI產業尚處在基礎建設的階段。有兩個子:
      —(1)始於1980年代的個人電腦,最初獲利的是英特爾,後期至今都在賺大錢的確是微軟,因為現在你可以用很多硬體擺脫英特爾,但你不可能擺脫微軟。
      —(2)就像1990年代世界各國始建設電信網路,因此當時早期獲利的是電信公司和晶片商,但整個通訊產業裡中後期獲利最大的是蘋果和字母,因為移動程式只有這兩個選擇。

      順道一提,這兩個例子裡的軟體,正好符合所謂的長尾效應,可以持續很久(持續性在股市很重要),這就是軟體的力量。

  3. 軟體較可以持續剛好是我投資AI軟體的邏輯。

    輝達目前太瘋狂了,顯卡才是男人的iPhone,AI目前感受不到。

    硬體通常景氣循環,即使凱文.凱利5000天後的世界預示可能不是那種回事,但我認為沒有這麼早,恐慌應當會再臨。

    2022輝達沒有到達我的買點,緊接著AI爆發,屬於我能力圈之外,現在根據能力圈相信它會循環。

    分析師喊天價是為了「倘若命中的名聲」,散戶最容易「錯把循環當成長」,就像2000年輝達蒸發那樣。

    1. Ruby您好,

      由您的留言裡,引發我的兩項看法:
      (1).GPU(此處指的是非AI的應用,也就是一般的顯卡,遊戲,專業顯示)等應用,的確較容易預測,不易有暴發式的大漲起和大落
      (2).輝達所處的半導體產業,是有明顯景氣循環的典型行業,現在我這麼說,絕大多數的人會聽不進去,各位只要去看一看過去廿年,輝達的股價波動圖,對比半導體的景氣循環圖,一定是一致的,這點我己追蹤二三十年,沒有例外,詳細的時間點,留給肯聽得進去用功的投資人,自己花點時間就可以獲得了,在此不再說明。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

error: Content is protected !!