大型数据中心浸没式液冷与风冷投资成本分析
液冷技术相较于传统的风冷有节能降耗等几个公认的优势。然而，投资成本被视为阻碍其部署的常见障碍。本文中，我们首先论证了在一个总容量为 2 兆瓦的数据中心，当机架功率密度为 10kW时，采用传统风冷与基于 IT 机箱的浸没式液冷相比，初始投资大致相等。由于液冷技术的主要优势在于可以高密度紧凑部署，因此，我们又在容量相同的数据中心，量化比较了按每机架 20kW和每机架 40kW 的方式部署液冷时的投资成本差异。结果显示，采用液冷比传统风冷分别节省了 10%和 14%的投资成本。
概述
IT 设备采用液冷并不是一件新鲜事物。它在市场上已存在了几十年。但是以往这种解决方案往往出现在较为小众的应用，比如高性能计算（HPC）和游戏PC主机。但是如今，一些重要趋势和驱动因素的出现，使液冷成为更多主流 IT 用户越来越青睐的制冷解决方案。
与传统的风冷相比，液冷有一些明显的优势。其中包括：
降低对水的需求——在水资源紧张的地区，当地市政部门不断给数据中心行业施加压力。液冷不像风冷需要使用大量的水进行蒸发冷却，通常可以实现 PUE 小于 1.2。
节省空间——液冷可显著减少 IT 系统的占用空间，从而使企业能在全球更多地点部署 IT 系统，包括亚洲等一些空间受限的地区。
节能——绿色网格（thegreengrid.org）发布的一份有关能源影响的报告显示，液冷能效的提升可实现 48%的能源节省。
然而，人们对液冷的投资成本了解有限，并且经常被视为阻碍其部署的常见障碍。在本文中，我们分析了一个总容量为 2 兆瓦的数据中心采用传统的风冷技术（风冷冷冻水机组）和液冷技术（基于 IT 机箱的浸没式液冷技术）的成本差异。我们将介绍不同功率密度下的液冷技术方案，以显示其对成本的影响。
图 1 显示了初投资分析的结果。分析表明，对于相同的功率密度（10kW/机架），风冷和液冷数据中心的投资成本大致相等。但是如前文所述，液冷还可以实现 IT 系统的压缩，从而可以节省初投资。与每机架 10kW 的传统数据中心相比，提升 2 倍功率密度（每机架 20kW）可使初投资可降低 10%。如果提升 4 倍功率密度（每机架 40kW），可节省高达 14%的投资成本。
▲图1 浸没式液冷和风冷初期投资成本分析
在下文中，我们将详细介绍所比较的架构，描述用于分析所使用的方法论、假设条件和数据，并采用瀑布图的方式逐项比较，指出成本差异的来源。
风冷架构
该投资成本分析的基准案例是一个使用风冷冷水机组的数据中心。该架构具有以下特点：
之所以选择此架构作为比较的基准，是因为它是一种性价比较高的设计，并且在中型和大型数据中心应用非常普遍。用于数据中心的各种制冷技术更详细地描述了这种架构及其他常见设计。图 2 是该架构的总体示意图。
▲图2 风冷架构示意图
液冷架构
在本分析中，我们选择了基于 IT 机箱的浸没式液冷，因为它适合于常见的数据中心机架架构，并且几乎所有热量都可以通过液体进行转移。图 3 是这种液冷方法的总体示意图。适用于数据中心和边缘应用的液冷技术一文中介绍了现有的几种架构以及它们之间的区别。
▲图3 基于IT机箱的浸没式液冷
基于 IT 机箱的浸没式液冷可极大地简化基础设施的架构，因为 IT 设备可以使用温水进行冷却。我们假设入口温度为 40°C（104°F），在许多气候条件下，这种温度可以采用 100%的自然冷却。图 4 是分析所使用架构的总体示意图。
▲图4 液冷架构示意图
在这种架构中，尽管大部分热量都是通过温水循环管路排出，但配电室仍需要辅助制冷，同时还需转移温水未能完全处理的 IT 设备热量。从而使环境中的空气温度保持在舒适的体感温度，并确保不超出设备正常工作的环境温度，比如电池和断路器。
相同密度下的投资成本分析
我们首先分析了一个单机架功率密度为 10kW，总容量为 2 兆瓦的数据中心，在采用风冷架构和液冷架构时的成本差异。表 1 列出了用于架构比较的主要假设。
表1 架构假设
服务器风扇能耗假设占服务器总能耗的 9%，这是相对保守的数值。实际测量的风扇能耗值为 15-20%，尤其是在 GPU 等高密度计算设备上。
在展示结果之前，我们需要说明两个重要的考虑因素，因为它们（1）会影响进行苹果对苹果的比较能力，以及（2）可以解释新兴液冷技术的成本假设。
每瓦数据中心成本的归一化——数据中心建设成本通常以每瓦 IT 容量多少钱来表示。例如，如果一个数据中心最多可以承载 2 兆瓦的 IT 负载，并且建造成本为 2,000 万美元，那么其成本为 10 美元/瓦。成本可能会因冗余度或架构的不同而有很大差异。
在比较风冷架构与液冷架构时，我们在计算每瓦 IT 成本时会遇到一个难题。对于相同的计算能力，液冷具有较低的总 IT 负载。因为相同的 IT 计算负载下，风冷服务器的内部 IT 风扇消耗的电力多于基于 IT 机箱的浸没式制冷模式下内部微型泵的能耗。为补偿这一点，我们将 IT 负载定义为“不含制冷的服务器容量”，并将其用作每瓦成本计算中的分母。这一点可参见我们的假设（表 1）以及风冷和基于 IT 机箱的浸没式制冷中的 IT 总设计容量。
基于 IT 机箱的浸没式液冷的成本假设——对于这种液冷架构，为了部署液冷，在 IT 设备中增加了相关技术和成本支出。为了便于分析，我们汇总了服务器以及机架内部产生的所有成本。这包括：绝缘液，微型泵，管道，热交换器，液冷散热器，防滴漏连接器，密封机箱和机架式分液器。请注意，对于机箱级浸没式液冷而言，可以节省风冷散热器和风扇的成本，因此本研究中的成本差异是假定的差值。基于机箱的浸没式液冷技术尚未完全成熟，因此从一次性的计算验证成本到未来优化供应链后的成本，二者可能差异很大。我们对这些成本进行了敏感性分析，估计最高为 1.10 美元/瓦左右，最低为 0.50美元/瓦左右。在本研究中，我们针对 10kW/机架选择了 0.77 美元/瓦的成本，这是一个在任何大规模部署中均可实现的保守值。请注意，如果密度从每机架 10kW 的基准升高，此值也将提高。我们的研究考虑了成本节省因素，例如在空间压缩时每 kW IT 的机架分液器和机箱数量会减少。
研究结果
许多有关液冷的成本研究都考虑了总拥有成本和成本压缩的一些因素。这样我们就很难了解哪些地方出现了初始成本的节省或成本的变化。本项研究仅针对初投资，首先研究了相同机架功率密度下的投资成本，然后比较了密度增加后的另外两种投资成本情况。
图 5 中的瀑布图显示了成本的主要类别及其变化。成本包括设备、安装、设计和项目成本。在 10kW 每机架的机架密度上，研究显示，100%机箱浸没式液冷数据中心的成本与传统风冷数据中心的成本大致相同。
▲图5 风冷与液冷数据中心每瓦成本差异（均为每机架 10kW）
冷冻水机组/冷冻水精密空调——节省 0.91 美元/瓦。这表示的是去掉风冷冷冻水机组和冷冻水精密空调（CRAH）。
液冷技术——成本增加了 0.77 美元/瓦。此额外成本是在服务器和机架方面的成本增加。如前所述，这包括密封机箱、绝缘液、液冷散热器、管道、微型泵、热交换器、防滴漏连接器和机架式分液器。
干冷却器和风冷型精密空调——成本增加 0.31 美元/瓦。这种架构可以在无压缩机的情况下将热量直接排至干冷器。增加成本的设备包括 N+1 冗余的干冷器，以及额外的风冷直膨式机房精密空调（CRAC），用于去除温水无法带走的热量。注意这里也可以使用其他架构，比如可以降低冷冻水机组的容量并使用冷冻水精密空调，这对于大型基础设施环境可以获得更多的收益。
更换泵和管道——成本增加 0.03 美元/瓦。这一小幅成本增加是对于液冷服务器由于冷却水（CW）管道更换为温水管道。额外增加的管道是因为需要将用于每排机柜的管道下沉到每个机柜并增加阀门。这部分成本的增加与管道保温成本的节省几乎持平。液冷的优点是许多管道不需要保温。在 40°C（104°F）的水温下，几乎不会产生冷凝结露。水泵系统为 N+1 冗余，水环路的设计用于部分机架的维护。
熟悉液冷系统的读者可能会注意到，我们没有提到“CDU”。冷却液分配单元（CDU）是一种将设施冷却系统（FCS）与技术冷却系统（TCS）分离的设备，后者是向机架供水。CDU 具有多种功能，例如：
确保送至机架的水具有正确的化学成分和清洁度标准。这对于许多冷板部署以及设施冷却系统质量较差的情况来说非常重要。
在混合设施中，通过连接到冷却水回路时，为机架提供温水回路。
保持比设施冷却系统更低的水压，这在多级管道系统中尤其重要。
CDU 类似于电气设计中的变压器，可将以上两个系统分开以实现多种目的。我们的架构中不包含冷却液分配单元 CDU，因为其布局是单层设计，水回路专用于液冷系统，而机箱浸没式换热器非常坚固耐用，可以接受市政用水的水质。根据经验，冷却液分配单元将增加每瓦 0.10 至 0.20 美元的投资成本。
减少 UPS 和开关设备的容量——节省 0.14 美元/瓦。无需安装冷水机系统和精密空调可以减少为制冷而配备的开关柜容量。此外，由于 IT 风扇被微型泵代替，IT 负载用电量略有降低，因此所需的 UPS 和电池也相应减少。
节省空间、机架和气流遏制系统——节省 0.10 美元/瓦。尽管没有压缩 IT 白区空间，但通过减少冷却系统的开关设备和 UPS 系统节省了设备安装空间。节省的费用还包括与空间相关的其他相关成本，如灭火器、照明等。此外，液冷不需要任何气流遏制系统，因此可以不考虑其投资成本。
压缩的影响
我们在概述部分提到，液冷的公认优势之一是能够压缩 IT 设备容量并节省空间。但是，除了节省空间外，这种压缩还可以减少 IT 机架和机架 PDU 的数量。在本节中，我们计算了使用 IT 机箱浸没式液冷时，提升 2 倍功率密度和提升 4 倍功率密度的数据中心的总投资成本，并将这些方案与我们之前所述的基准功率密度 10kW 每机架的风冷数据中心进行了比较。
以这种压缩为前提，表 2 列出了关于机架功率密度和机架数量的新假设。所有其他的假设与表 1 中的原始液冷方案相同。
表2 假设变量随压缩方案而变化
提升 2 倍功率密度后的研究结论
我们首先从提升 2 倍功率密度开始分析，这意味着液冷的每机架功率密度为 20kW，而风冷架构的密度为每机架 10kW。图 6 显示实现 10%的投资成本节省。
▲图 6 风冷数据中心与液冷数据中心的每瓦成本差异，液冷提升 2倍功率密度后（每机架 20kW）
冷水机/冷冻水精密空调——$节省 0.91 美元/瓦。节省的费用与每机架 10kW 的情况相同，并且去除了冷冻水机组和冷冻水精密空调单元。
液冷技术——成本增加 0.71 美元/瓦。与每机架 10kW 方案相比，成本增加的幅度较小。当提高机架密度时，由于需要的机架分液器减少，因此成本得到改善。
干冷器和风冷精密空调——成本增加 0.31 美元/瓦。这与每机架 10kW 时的情况相同，因为总 IT 负载和相关损耗相同。
更换泵和管道——节省 0.03 美元/瓦。尽管与风冷系统相比，每排机架都需要管道，但随着 IT 空间的缩小和机架功率密度 kW 值的提升，与每机架 10kW 方案相比，所需的管道和阀门减少。请注意，通常管道直径会随着密度的增加而增加，但管道之间的价格差并不像机架数量减少那样明显。
减少 UPS 和开关设备的容量——节省 0.14 美元/瓦。这与 10kW 方案相同，因为机架密度不会影响 UPS 和开关柜的容量。
节省空间、机架和气流遏制系统——节省 0.63 美元/瓦。节省的大量成本包括建筑围护结构的节省、机架和机架 PDU 数量的减少以及机架上用于支持布线的结构的减少。由于减少了 IT 空间，也节省了消防和照明相关成本。
提升 4 倍功率密度的研究结论
接下来我们比较一下提升 4 倍功率密度后的液冷架构的成本，即每机架 40kW，而风冷为每机架 10kW。随着功率密度的增加，投资成本的节省幅度也随之增加。图 7 显示实现 14%的投资支出节省。
▲图7 风冷数据中心与液冷数据中心的每瓦成本差异，液冷提升 4倍功率密度后（每机架 40kW）
通过进一步压缩实现的大部分节省来自两个领域。机架级液冷设备的成本更低，而 IT空间缩小也降低了相关成本。
冷水机/冷冻水精密空调——$节省 0.91 美元/瓦。节省的额度与每机架 10kW 和每机架20kW 的方案相同，并且去除了冷冻水机组和冷冻水精密空调装置。
液冷技术——成本增加 0.68 美元/瓦。与每机架 20kW 方案相比，成本增加的幅度较小。当增加机架功率密度时，此成本有所改善。需要的机架分液器减少，从而降低了这个类别的每瓦总成本。
干冷器和风冷精密空调——成本增加 0.31 美元/瓦。这与每机架 10kW 和每机架 20kW的情况相同，因为总 IT 负载和相关的损耗完全相同。
更换泵和管道——节省$ 0.04/瓦。与每机架 20kW 方案相比，节省幅度略有上升，因为 IT 空间的减少，因此需要供水的机架减少。
减少 UPS 和开关设备的容量——节省 0.14 美元/瓦。这与每机架 10kW 和每机架20kW 案例相同。
节省空间、机架和气流遏制系统——节省 0.90 美元/瓦。与 20kW/机架的设计相比，额外节省 0.27 美元/瓦。节省的大量成本包括建筑围护结构的节省、机架和机架 PDU 的减少以及机架上用于支持布线的结构的减少。由于 IT 空间的缩小，也节省了消防和照明相关的成本。
结论
液冷已经存在了很多年，但最近却被越来越多的主流数据中心应用所采用。尽管这种模式在节能方面优势明显，但有些人仍担心其投资成本。本文分析了在采用相同的机架密度时，部署基于 IT 机箱的浸没式液冷的投资成本与风冷系统大致相同，并且在将 IT 设备（以及机架）提升四倍功率密度时可以节省多达 14%的成本。
尽管基于 IT 机箱的浸没式液冷还不是一项成熟的技术，但这些成本优势预示着近期会出现大规模部署的趋势。随着液冷技术和制造效率的改进，可以预见，这种模式还会进一步节省成本。
附录
图纸
附录包含用作成本分析依据的总体平面图和管道图。由于页面太小，很难看清图纸的细节信息，如果您对原始图纸文件感兴趣，请随时与我们联系。
提供的平面图包括：
风冷系统平面图，每机架10kW
机箱浸没式液冷系统平面图，每机架10kW
机箱浸没式液冷系统平面图，每机架20kW
机箱浸没式液冷系统平面图，每机架40kW
提供的管道图包括：
风冷系统管道图，每机架10kW–第16 页
机箱浸没式液冷系统管道图，每机架10kW
机箱浸没式液冷系统管道图，每机架20kW
机箱浸没式液冷系统管道图，每机架40kW
风冷系统平面图，每机架10kW
机箱浸没式液冷系统平面图，每机架10kW
机箱浸没式液冷系统平面图，每机架20kW
机箱浸没式液冷系统平面图，每机架40kW
风冷系统管道图，每机架10kW
机箱浸没式液冷系统管道图，每机架10kW
机箱浸没式液冷系统管道图，每机架20kW
机箱浸没式液冷系统管道图，每机架40kW
本文标题：大型数据中心浸没式液冷与风冷投资成本分析
本文链接：https://www.blueocean-china.net/faq3/246.html [版权声明]除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。
