辉达垄断的原因和面对的挑战

辉达

我的书中有关辉达的内容

我在最近的两本书里,都讨论过辉达(美股代码:NVDA)这家公司;包括了:

在《超级成长股投资法则》一书中:

  • 3-3节,第190-191页

在《10倍股法则》一书中:

  • 1-1节,第23-24页
  • 5-6,第242-246页,整个小节的专门介绍这家公司
  • 6-2节,第282-285页
  • 7-1节,第348-285页

关于辉达的贴文

提醒您,对辉达不是很熟悉的投资人,建议请先读一下我之前的以下几篇关于辉达的重要贴文:

缘由

前些日子,巴伦周刊有篇文章,作者提出他的看法,认为在可见的未来,辉达将继续主窂人工智能芯片领域。我看过之后,觉得讲得很有道理,和我个人的看法类似。因此今天这篇文章除了引用他的内容外,也会补充我个人的看法───列出为何辉达能可继续它的霸业。

硬件效能的深入探讨

两大决定因素

运算能力和运算效率

需要注意的是,芯片的运算能力强和运算效率高是两个概念。制程和电晶体的数量代表运算能力,而CUDA核心的数量,代表计算效率。

内存和频宽

至于专供GPU使用的内存和资料频宽,决定了GPU在运作时的效率。其中专供GPU使用的内存决定GPU同时能够储存的最大数据,而专供GPU使用的内存资料频宽,则决定了专供GPU使用的内存和显示卡之间的资料传输速度。 

三家公司主力产品

超微

超微此前主打的芯片是MI250X,发布于2021年年底,采用7nm工艺,拥有582亿个晶体管,专供GPU使用的内存128G,专供GPU使用的内存频宽3.2768 TB/s,FP16峰值性能为369 TF,只有60个计算单元。 

英特尔

英特尔目前主打芯片Ponte Vecchio,同样发布于2021年,采用7nm工艺,宣称晶体管数量达到1020亿,是全世界晶体管数量最多的芯片。这款芯片专供GPU使用的内存128GB,专供GPU使用的内存频宽3.2TB/s,FP16峰值效能184TF,运算单元102个。 

辉达

以辉达在2020年5月发布的A100 GPU为例,这款芯片采用7nm制程和Ampere架构,拥有540亿个电晶体和6912个CUDA核心,最高可提供80GB的专供GPU使用的内存,以及2TB/s的全球超快专供GPU使用的内存频宽。在大模型训练和推理常用的FP16(半精度浮点运算)Tensor Core峰值效能可以达到312TF,使用稀疏计算的情况下,可以达到624TF。 

破除错误的认知

迷思

有两个迷思,第一个迷思是,英特尔和超微这两款芯片的发布时间比A100都要晚一年,他们真正对标的对手,其实应该是英伟达在2022年初发布的H100,而现在英伟达的芯片已经更新到H200了。 

第二迷思在于,硬件指标并不完全等于芯片的整体能力,软件生态是决定芯片效能和使用的第二个关键指标。 

软件平台才决定一切

硬件没有一个好的作业系统,对客户来说仍然不是一款好的系统。而这里需要提到的,就包括辉达的CUDA平台、NVLink和Tensor Core等软件生态。 

CUDA平台就是辉达整体的核心,它可以提高芯片的平行运算能力;它可以透过程式码,提高GPU的能源效率比,让同样的工作耗费更少的能源。 

此外,CUDA平台还支援广泛的应用程式,包括科学运算、深度学习、机器学习、影像处理、视讯处理等等;而目前市面上大多数程式设计师已经深度依赖CUDA平台和开发工具。

CUDA带来的生态障碍也类似这个道理,其他平台虽然也有自己的软件生态,例如超微有自己的GCN 架构,英特尔有Xe架构,甚至为开发者提供类似“一键换机”迁移功能,但都很难与英伟达竞争。

NVLink

CUDA是护城河的一部分,其他的技术如NVLink也至关重要。 

作为大模型训练的GPU,没有一家企业会单独使用一张GPU,每次都会使用至少几百张卡,甚至上万张卡一起建立计算集群。NVLink是一种连结技术,可实现GPU之间的高速、低延迟的互联。如果没有这种技术,整个芯片算力的丛集就无法实现1+1>3的效果,而且会增加GPU之间的通讯延迟,执行任务的效率会降低,芯片的功耗会增加,最终增加整个系统的运作成本。 

整体使用成本

大模型训练其实是一件非常消耗能源的事情,假设每天约有1300万独立访客使用ChatGPT,那每天的电费就需要5万美元。而如果没有NVLink,这笔成本还会指数上升。 

芯片某种程度上就像购车一样,购车只是第一次成本,之后的油费、保养、保险才是成本的大头。所以黄仁勋才说,“人工智能系统最重要的不是硬件组成的成本,而是训练和运用人工智能的费用。”

所以,虽然超微、英特尔在某些芯片上把价格定得比辉达更低,但是从长期成本来考虑,具有更优软件生态和协同、配套工具的英伟达芯片仍然是性价比最高的选择。 

综合来看,无论是从硬件效能,还是软件生态;无论是从开发工具和部署工具,到长期使用的成本和可开发应用场景。对比同类竞争对手,辉达都属于最有性价比,而且是遥遥领先。

会继续主宰人工智能芯片的理由

产品成熟且完整

辉达拥有最成熟的人工智能技术产品。该公司花了十多年时间解决其软件程式生态系统 CUDA 的软件和驱动程式问题。这意味着该公司已经解决了其他经验不足的供应商可能仍需要解决的技术问题。

平台的中立性

辉达是中立的硬件平台,和各云端厂商的平台无关,因为云端平台基本上都是软件。客户可以将辉达支援的工作负载从一个云端平台转移到另一个云端平台,维持了必要移植时的灵活性。另一方面,亚马逊或谷歌的竞争对手人工智能芯片产品却千方百计地将用户锁定在他们的云端平台上;这种做法降低了转向其他提供更便宜服务或更好技术的供应商的灵活性。

完整的软件开发工具

开发人员之所以坚持使用辉达的产品,是因为其数十年的平台稳定性、巨大的市占、可涵盖许多产业的特定工具,以及向后相容性的声誉。

辉达执行长黄仁勲表示:“所有在辉达之上构建的技术发明都是长年累积而成的。”

最佳的整体性能

然后是性能。当客户评估该公司的软件、系统硬件和网络硬件组合时,辉达仍然提供了最佳的整体能力。

辉达主要的挑战

地缘政治

为了防止中国超越美国,美国不断地加大围堵中国的范围,其中半导体禁运是重要的一环。而其中的人工智能芯片,更是美国政府禁运的重点───而辉达是其中受创最深的企业,因为辉达有四分之一以上的营收来自中国。为了符合美国政府不断强化的芯片禁运规定,辉达已经两次被迫针对中国市场,推出功能降阶版本的芯片,以符合美国的禁令。

美国的禁令只会愈来愈严格,辉达的恶梦不会停止,营收受影响的范围只会愈来愈大。

2023年12月,美国商务部⻑雷蒙多(Gina Raimondo)警告,会随时修改出⼝法令,务必要阻⽌中国利⽤美⽅技术发展人工智能。

中国营收占比高达40%

2023年12月,黄仁勋坦承,辉达确实在新加坡为中国客⼾提供服务。在新加坡设有分处的中国巨擘包括抖⾳⺟公司字节跳动(ByteDance)、腾讯控股、及阿⾥巴巴(Alibaba Group)才是辉达在新加坡主要的营收来源。根据主管机关公告,2023年第3季,新加坡对辉达的营收占比约为15%。

因此,若加上新加坡的15%,中国市场其实占去辉达40%的公司总营收,这也是为何辉达愿意一再破例,连两次单为中国推出特制版本的产品,以规避美国商务部一再紧缩的法令。

产能供给

我在《资本市场的人工智能泡沫正在形成》文中就提过,辉达的人工智能芯片近两年来都供不应求,这种甜蜜的负担让辉达的营收损失极其惨重。

创建最复杂的人工智能系统,通常会用到数以万颗的辉达最先进的GPU“H100”。美国《巴隆周刊》(Barron’s)专栏作家曾指出,辉达每颗H100芯片制造成本约3320美元(约新台币10.56万元),但单价高达2.5万美元至3万美元(约新台币79.55万至95.46万元)。据分析师估算,辉达1年产能约120万颗,但仍难以满足需求。

尤于台积电产能受限,而且价格较高,重要的是辉达永远不可能抢到台积电最新制程的首批客户,因为苹果的订单量远大于辉达。这逼得辉达必需找上三星,也有媒体臆测,英特尔代工事业部门所不愿公布的大型芯片客户就是辉达。

竞争者四起

辉达的对手主要有以下三大类:

  • 第一种是超微,英特尔,和高通等传统的芯片设计业者等老对手。
  • 第二种是近年才崛起的小型人工智能芯片的设计商,包括Groq,Graphcore,Cerebras,Tenstorrent,KAIST的C-Transformer,寒武纪,地平线等。
  • 另一种是近年来自己设计出人工智能晶的辉达的超大型客户,他们都有深不见底的资源和人才,加上对辉达人工智能芯片庞大的需求。这类对手包括了美国的微软,字母,Meta,苹果;或是中国的华为,阿里巴巴,百度,腾讯。基本上,这类对手开发工智慧芯片主要是自己使用,不会出售,至少到今天为止是如此。但华为例外, 本文下一小段会再提及,但关于华为,推荐各位参见我的专文无所不能的华为(Huawei)是如何赚钱的?详细的介绍。

但不论是上面所列的那一种,这些对手“短期”,甚至“中期”之内,都不会成为够份量或强大到能成为威胁辉达的对手。

读者可以参见我先前的这一篇贴文:《美股主要的人工智能上市公司》。但这部份不是今天的主题,有机会和时间的话,我会再写篇专门的文章来深入讨论这个主题。

华为

2023年12月6日,黄仁勋在访问新加坡时首次表示:华为非常难对付,公司已经将华为列为“非常难对付”(very formidable)的人工智能芯片的主要竞争对⼿之一。

2024年2月23日,辉达在向美国证券交易委员会提交的文件中首次将华为确定为包括人工智能芯片在内的多个类别的顶级竞争对手。辉达表示,中国华为在供应人工智能芯片方面存在竞争,例如GPU、CPU和网络芯片。 辉达还将华为定位为云端服务公司,已经设计自己的硬件和软件以改善人工智能运算。

辉达在向美国证券交易委员会提交的同一份文件中,同时也指出的其他竞争对手包括英特尔、超微、博通和高通。 该芯片公司还确定了几家大型云端运算公司,例如亚马逊和微软。

超微

超微是辉达的老对手,但收效甚微。可是近年超微在各方面急起直追,超微如今已非当年的吴下阿蒙。这部份请参阅我的另一篇贴文《长年老二的超微(AMD)表现为何令人瞠目结舌?》。

引发反垄断调查

由于辉达在图形显示和人工智能芯片的强大市占,目前已经引发各国政府的不安。截至今日为止,已知的就有法国,欧盟,中国对辉达开始进行反垄断的调查。对辉达而言,这会是一条漫漫的长路。

结论

拜人工智能和横空出世的ChatGPT的推波助澜,辉达2023年一年所赚的钱,超过它上市以来的前25年的总和。

辉达的垄断是真的,但别期望它的股价能再像过去几年一样,一年内能再上涨四五倍以上。

辉达
credit: Nvidia

相关文章

重要声明

  • 本站内容为作者个人意见,仅供参考,本人不对文章内容、资料之正确性、看法、与即时性负任何责任,读者请务必自行判断。
  • 对于读者直接或间接依赖并参考本站资讯后,采取任何投资行为所导致之直接或间接损失,或因此产生之一切责任,本人均不负任何损害赔偿及其他法律上之责任。

在〈辉达垄断的原因和面对的挑战〉中有 6 则留言

  1. Andy老师好:
    辉达是间长期看好公司(跟特斯拉需要降价维持市占不可比拟),但目前却不是好价格可以投资,确实要秉持有耐心的性格,等待好公司价格因为市场信心崩溃,价格回落来到合理价位,去年低点的价位因为资金跟恐惧本益比过高不敢投资,未来有机会就需要准备好闲钱等待了。

    1. Peter您好,
      目前真正从这波由人工智能大模型(LLM)风潮中赚到钱的上市公司真的不多,硬件公司辉达,超微,博通算是很清楚不吹嘘的实际巨额营收获益者,以及一些较小的硬件厂商。但软件商"目前”只有微软一家。为何会如此呢?因为
      —基础设施可以大规模化,也较容易靠机器工厂达成,所有的科技在普及时,都走相同的发展道路———这又证明了人工智能的发展仍在很早的阶段
      —人工智能真正要货币化,而且对我们手常生活发生实际的改变必需靠软件,但软件牵涉到层面比硬件复杂太多了,我前阵子答应会写一篇这方面的文章,主要是分析微软为何可办得到。搜集了不少资料,目前已写好,会先发布在这期smart杂志上,一个月后会贴到我的部落格上。

  2. 同意Andy老师所言,有关“人工智能真正要货币化,而且对我们手常生活发生实际的改变必需靠软件…”个人补充浅见如下:
    1、所有的数位战争,都是生态系战争。
    2、AI竞争优势不是模型,确实初期阶段提供“铲子”公司会是台面代表,后续趋势咸认会以下发展:
    (1)模型成本只会愈来愈低(Big Tech关心重点是赚云端钱)
    (2)企业将陆续意识到竞争优势是来自自己的内部独门资料,而非模型本身
    (3)企业在乎重点是找出商业应用场景(即AI能否应用企业自己商业模式),及使用者体验(组织内部生产力可否提升)。
    3、作为Big Tech代表中的微软除已掌握先行者优势外,并具备生态系与持续优化消费者/生产力体验,管他LLM模型未来开源与否,海纳百川,持续运用“平台”影响力,可预见未来仍会是赢家第一梯队。

    注:至于辉达为何会是初期“铲子”台面代表公司,Andy老师上文所提出以CUDA为平台的生态系,恰正呼应黄仁勋所言:“买越多,越省钱”之综效。

    1. 董事长您好,

      目前的AI产业发展,我个人一直认为处在刚开始,一如我在文中所言和事长的分析,科技要普及至每个人,光是硬件和基础建设是不可能的,现在AI产业尚处在基础建设的阶段。有两个子:
      —(1)始于1980年代的个人电脑,最初获利的是英特尔,后期至今都在赚大钱的确是微软,因为现在你可以用很多硬件摆脱英特尔,但你不可能摆脱微软。
      —(2)就像1990年代世界各国始建设电信网络,因此当时早期获利的是电信公司和芯片商,但整个通讯产业里中后期获利最大的是苹果和字母,因为移动程式只有这两个选择。

      顺道一提,这两个例子里的软件,正好符合所谓的长尾效应,可以持续很久(持续性在股市很重要),这就是软件的力量。

  3. 软件较可以持续刚好是我投资AI软件的逻辑。

    辉达目前太疯狂了,显卡才是男人的iPhone,AI目前感受不到。

    硬件通常景气循环,即使凯文.凯利5000天后的世界预示可能不是那种回事,但我认为没有这么早,恐慌应当会再临。

    2022辉达没有到达我的买点,紧接着AI爆发,属于我能力圈之外,现在根据能力圈相信它会循环。

    分析师喊天价是为了“倘若命中的名声”,散户最容易“错把循环当成长”,就像2000年辉达蒸发那样。

    1. Ruby您好,

      由您的留言里,引发我的两项看法:
      (1).GPU(此处指的是非AI的应用,也就是一般的显卡,游戏,专业显示)等应用,的确较容易预测,不易有暴发式的大涨起和大落
      (2).辉达所处的半导体产业,是有明显景气循环的典型行业,现在我这么说,绝大多数的人会听不进去,各位只要去看一看过去廿年,辉达的股价波动图,对比半导体的景气循环图,一定是一致的,这点我己追踪二三十年,没有例外,详细的时间点,留给肯听得进去用功的投资人,自己花点时间就可以获得了,在此不再说明。

发布留言

发布留言必须填写的电子邮件地址不会公开。 必填字段标示为 *

error: Content is protected !!