报告:AI推动数据中心基础设施支出激增

作者:兰洋科技    浏览量:3503    时间:2023年10月08日    标签: AI人工智能 高性能计算 GPU服务器

在此领域,如果有一件事是绝对不受通货膨胀控制,而且在一定程度上也加剧了全球经济通货膨胀的压力,那就是生成式AI。实际上,根据我们目前了解的有限数据,全球范围内的服务器和存储支出似乎主要来自于AI基础设施支出,而用于其它工作负载的数据中心设备的基础支出甚至比年初还要疲弱。

坦率地说,核心服务器和存储市场正经历衰退,企业停止了投资,与此同时,超大规模云服务提供商正在充分利用去年底已购买的基础设施,但昂贵的AI系统支出却迅速增加。

这种“高性能计算”的迅速崛起一直是传统高性能计算仿真和建模社区一直梦寐以求的,但从未真正实现。令人遗憾的是,我们可以提出一个合理的观点,即从帮助人们创造或修复事物的角度来看,高性能计算比生成式AI更为实用。同时,人们普遍预期,生成式AI将在未来的某个时候,正如亚马逊首席执行官Andy Jassy经常提到的长期趋势一样,淘汰全球经济中的整个工作领域。

然而,没有人愿意深入探讨这一点。因此,我们将继续进行分析,并为我们的观点提供支持。

我们在大学物理课上学到,在解决问题之前最好先进行粗略估算,然后在解决问题的过程中不断修正。因此,让我们从今年夏天早些时候传闻开始,即Nvidia可能在2023年只能生产约50万块 Hopper H100 GPU

如果你假设Nvidia的合作伙伴平均每块售价3万美元,那么这些H100的销售额单独就将贡献150亿美元的收入,这些收入将计入像IDC这样的公司每个季度的收入统计中。如果你假设这50万块H100 GPU在2023年逐渐增加分配——第一季度增加18%,第二季度增加22%,第三季度增加27%,第四季度增加33%,这似乎是一个合理的估计——那么仅在2023年第二季度,这些GPU就带来了33亿美元的销售收入。现在,在系统级别上,如果平均每台机器配备了八块此类GPU,并且配置类似于Nvidia DGX H100的内存、闪存和网络接口,那么在系统级别上,基于H100的这些GPU装载系统销售额约为52亿美元。再加上其它来自Nvidia以及任何其它出售可用于大规模矩阵数学运算的设备的加速器,也许可以从AI繁荣中获得大约70亿美元的收入。

这是我们的粗略估算表,供您参考:

在这波生成式AI爆发之前,根据我们历史上的IDC数据,服务器的平均售价大约在7000美元左右,而且这还是在2021年初发生了相当大规模的机器学习AI周期、一些大型高性能计算安装以及IBM同时进行主机和Power Systems扩展的情况下。(这是IDC最后一次向公众发布季度服务器追踪数据。)

分析了IDC关于2023年第二季度数据中心基础设施支出的数据后,我们认为390亿美元中的大部分支出都是由AI系统驱动的。如果像我们上面估算的那样大约为70亿美元,那么只有320亿美元用于支持其它类型的工作负载的基础设施。尽管如此,截至2023年第二季度,所有服务器和存储基础设施的支出仅增长了1.3%,这远不及IDC在四月份报告的2023年第一季度的8.2%增长,我们在这里也有评论。在第一季度和第二季度之间出现了季度性增长,这是好事,从第一季度的358亿美元增长到第三季度2022年看到的407亿美元,并望着2022年第四季度的高峰,当时生成式AI革命正在蓬勃发展,支出达到了428亿美元。

以下是IDC在2021年发布的数据中心服务器存储模型的摘要数据,以消除其独立服务器和存储追踪器中的存储重复计数。对于超大规模云服务商和云构建者来说,存储只是一台紧凑的服务器CPU引擎和一个大型盒子中的大量磁盘或闪存存储。你怎么统计呢?是服务器还是存储?IDC两者都算,这意味着除了按照IDC当前的方法来同时计算一切之外,你无法将这两者处理在一起。

以下是使用这种新方法从2020年第一季度到2023年第二季度的云和非云基础设施支出的数据:

一如往常,我们用红色粗体斜体字表示我们的估算,以填补数据中的空白。

上周,我们刚刚结束了2023年的第三季度,因此还没有相关数据可用,而IDC需要一些时间来整合来自公开公司的所有财务数据并构建其数据中心支出模型。因此,我们可能要等到2024年1月之前才能看到第三季度的数据。

在今年第二季度,由超大规模云服务商和云构建者支出的共享云基础设施(再次强调,这指的是服务器和存储,而不包括网络)上涨了13.7%,达到179亿美元,但专用云基础设施的支出——这意味着运行在企业数据中心以及大型云的辅助设施中,这些辅助设施可以在共同托管设施或企业数据中心中运行——同比下降了略高于5%,达到67亿美元。在第一季度,专用云的支出下降了1.5%,达到58亿美元。连续两个季度的下降意味着衰退。

非云基础设施的支出,比如大型X86、Power或主机系统以及支持关系数据库、ERP、供应链管理、仓储管理和客户关系管理应用的SAN存储,下降了8.3%,达到144亿美元。同样,在这个非云领域存在季度性增长,这是好事,从2023年第一季度的138亿美元开始,但非云支出在第一季度下降了0.9%,在第二季度下降了8.3%,连续两个季度的下降意味着衰退。

问题在于,严重的GPU短缺意味着GenAI领域的最大玩家——微软、谷歌和AWS——正在获得Nvidia的优先分配,这反过来加速了云构建者对基础设施租赁的部署。只要存在短缺,情况将是如此。但根据报道,Nvidia有能力在2024年将H100 GPU单位的产能提升到150万到200万,也许短缺情况会减轻一些,价格会下降,服务器市场将趋于正常化。这在2018年和2019年服务器内存价格飙升后曾经发生过,当时DRAM价格翻了一番,也推高了服务器的平均售价。

要点在于,当您需要2万到2.5万个GPU来训练最先进的GenAI模型时,50万个单位仅相当于20到25个集群的数量。全球有20到25个企业有这个需求,考虑到训练这些模型需要数月的时间来处理数万亿的参数和数据token,这意味着也许可以让数百个组织共享这些基础设施。即使以这个规模达到200万个单位,也只有数百个客户共享这些基础设施,这可能无法满足GenAI的需求。

这可能意味着GPU的价格将继续保持高位,因此AI系统的价格将保持高位。

值得关注的是,第二季度服务器和存储出货量下降了23.2%,我们不清楚具体的机器数量,因为IDC没有提供。这是在2023年第一季度出货下降了11.4%之后的情况。两个季度的连续下降表明服务器和存储出货量陷入了衰退。

展望今年年底,IDC预测云基础设施支出将增长10.6%,达到1014亿美元;三个月前的早期预测认为全年增长率为7.3%。共享云部分预计将增长13.5%,达到720亿美元,而专用云部分将在2023年全年增长4.1%,达到294亿美元。非云服务器和存储支出将下降7.9%,降至585亿美元。我们认为云端的所有增长都将由AI服务器推动,而这又受到来自Nvidia和其竞争对手的GPU分配不断增加的推动。

从长远来看,IDC预测云基础设施支出将在2022年至2027年之间以年复合增长率11.3%的速度增长,最终达到1567亿美元,占总服务器和存储支出的69.4%。共享云将在2027年达到1097亿美元,年复合增长率为11.6%,而专用云将达到470亿美元,年复合增长率为10.7%。令人难以置信的是,根据IDC的预测,非云服务器和存储支出将在2022年至2027年之间上升,达到691亿美元,年复合增长率为1.7%。

本文标题:报告:AI推动数据中心基础设施支出激增

本文链接:https://www.blueocean-china.net/faq3/878.html
[版权声明]除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。

全国统一服务热线
15336679905
Copyright ©2019-2023 兰洋(宁波)科技有限公司 版权所有
ICP备案:浙ICP备2021021247号