新型一体化电源系统在万卡智算中心的应用分析

微信扫码，打开到小程序

邮电设计技术/2024/10 —————————— 收稿日期：2024-09-02 0 前言 随着数字化转型的深入推进，智算中心的规模持 续增大，其重要性日益增加。作为新一代数据中心的 典型代表，智算中心不仅要求高算力、低延迟，还高度 重视能源效率和智能化管理水平 ［1］。然而，传统电源 系统存在独立配置、分散管理、维护复杂、成本较高等 诸多不足，难以满足智算中心对电源系统的高标准要 求。因此，新型高效的一体化电源系统成为提升智算 中心性能的关键因素。该系统通过集成多种能源供 应方式，实现了资源的高效利用和管理，为智算中心 的供电提供了新的解决方案。 新型一体化电源系统集成电源转换、监控和管理 等功能于一体，通过智能化技术，能够显著提升能源 效率，降低运维成本。该系统通过取消传统系统架构 间大量电缆连接，不仅节约了大量材料和空间占用， 还降低了碳排放，成为智算中心电源系统升级的重要 方向。 1 万卡智算中心电力需求特点 智算中心的电力成本在运营成本中占据了很大 的比例。以昇腾 910B 组成的集群为例，一个一万卡 关键词： 智算中心；新型一体化电源；绿色发展；电源系统 doi：10.12045/j.issn.1007-3043.2024.10.005 文章编号：1007-3043（2024）10-0023-04 中图分类号：E968 文献标识码：A 开放科学（资源服务）标识码（OSID）： 摘 要： 智算中心对电源要求极高，而传统电源系统存在能效低、维护复杂、占用空间大 等问题。新型一体化电源系统作为一种集成了多种电力设备于一体的电源解 决方案，凭借其在系统集成性、稳定性和安全性方面的优势，能够满足智算中心 中的电源需求。探讨了新型一体化电源系统在智算中心的应用前景，通过理论 与案例分析研究，评估其在提高能源利用效率、简化运维流程、优化空间布局等 方面的优势。 Abstract： The intelligent computing center has extremely high requirements for power supply，while traditional power supply systems have problems such as low energy efficiency，complex maintenance，and large space occupation. As a power supply solution integrating many kinds of power equipment，the new integrated power supply system can meet the power needs of intelligent computing centers because of its advantages in system integration，stability and security. It explores the application prospect of the new integrated power supply system in the intelligent computing center，and evaluates its advantages in improving energy efficiency，simplifying operation and maintenance processes，and optimizing spatial layout through theoretical analysis and case studies. Keywords： Intelligent computing center ；New integrated power supply system；Green development；Power supply system 新型一体化电源 系统在万卡智算中心的应用分析 Application Analysis of New Integrated Power Supply System in Intelligent Computing Center with Over 10 000 GPUs 田 军 1，刘军星 2，李 宁 3，姜晓君 2（1. 中国联通滨州分公司，山东 滨州 256600；2. 中讯邮电咨询设计院有限公司，北京 100048；3. 中国联合网络通信集团有限公司，北京 100033） Tian Jun1，Liu Junxing2，Li Ning3，Jiang Xiaojun 2（1. China Unicom Binzhou Branch，Binzhou 256600，China；2. China Information Tech⁃ nology Designing & Consulting Institute Co.，Ltd.，Beijing 100048，China；3. China United Network Communications Group Co.，Ltd.，Beijing 100033，China） 田 军，刘军星，李 宁，姜晓君 新型一体化电源系统在万卡智算中心的应用分析 本期专题 Monthly Topic 引用格式：田军，刘军星，李宁，等. 新型一体化电源系统在万卡智算中心的应用分析［J］. 邮电设计技术，2024（10）：23-26. 23 2024/10/DTPT GPU 集群的额定功率约为 9 800 kW，年耗电量约为 8 585 万 kWh，电费成本约为 6 010 万元（假设电价为 0.7 元/kWh）。随着需求的不断增加，这一成本将进一 步上升。 智算中心还面临稳定的电力供应、控制电力成本 和减少碳足迹之间的矛盾，需要在设计和运营过程中 找到平衡点 ［2］。为了实现这一目标，采用高效的能源 管理和优化方案变得至关重要，这些方案可降低能 耗、提高能效，并能够实现远程监控和智能管理，从而 提高系统的响应速度和维护效率。 因智算设备具有高能耗、高密度等特点，智算机 房需要具备高效制冷、弹性扩展、敏捷部署、绿色低碳 等特征，并实现智能化运维管理。 随着智算中心的快速建设，GPU 功率持续提升， 单个智算中心的规模不断增大，这导致庞大的电力需 求，使得节能减碳成为急需解决的问题。为此，国家 发改委等部门联合印发的降碳低碳专项文件将数据 中心（包括智算中心）列为新的重点用能行业 ［3］。 因此，智算中心的高功耗、高散热要求以及云计 算业务的不间断性和协同性等，对供电系统配置提出 了更高的要求。 2 新型一体化电源系统架构与设计 在建设万卡智算中心时，需要考虑电源系统在集 成性、稳定性、可靠保护机制以及对智算中心整体安 全策略方面的影响。新型一体化电源系统具有集成 度高和智能化的特点，不仅提升了系统的性能和可靠 性，还缩短了工程交付周期，实现快速部署的目标。 此外，该系统也应用绿色能源技术，有助于实现低碳 乃至零碳算力和可持续发展。 新型一体化电源系统采用模块化集成架构，将中 压模组、变压模组、SVG+APF 模组、UPS 不间断电源、 高压直流（HVDC）、馈电模组等模块进行一体式布局 和安装，配置集中监控，形成了一套集约高效、智能化 的预制式成套电力设备。 在智算中心建设中，一体化电源系统需采用高密 度集成设计，以应对高功率需求和散热问题 ［4-5］。在追 求技术创新与性能优化的同时，电源系统的容错性和 可靠性同样不容忽视。因此，一体化电源系统需要具 备冗余配置、智能监控和快速故障切换的技术策略， 以应对智算中心的各种突发情况。新型一体化电源 系统模型如图1所示。 随着电力电子技术、储能技术、智能控制技术的 快速发展，一体化电源系统的技术成熟度显著提升。 未来，随着市场对高效、智能、绿色电源系统需求的持 续增长，一体化电源系统市场将迎来更广阔的发展空 间。 3 新型一体化电源系统在智算中心的优势 3.1 优化供电架构，提升空间利用率 一体化电源系统通过模块化设计，减少供电级 数，缩短供电链路，面对智算中心高密机柜的需求，电 力系统也需要提升功率密度，增加空间利用率。图 2 所示为传统配电系统布局和一体化电源系统布局比 较。 相较于传统配电系统布局，新型一体化电源系统 减少了传统供电系统中的转换环节，从而缩短供电链 路。这不仅减少了电能损耗，还提高了系统的整体效 率和响应速度。模块化的设计允许在有限的空间内 集成更多功能，从而提升电力系统的功率密度。这对 于智算中心而言尤为重要，因为高密度机柜对电力系 统的功率密度提出了更高要求。此外，模块化设计减 少了设备的物理尺寸，且支持垂直和水平的灵活布 局，使得电力系统能够更有效地利用智算中心有限的 空间资源，为其他关键设施腾出宝贵的空间。 3.2 预制化封装，母排内置，缩短工期 柜体间及柜内全部采用预制母排连接，优化母排 图1 新型一体化电源系统模型 图2 传统配电系统布局（左）和一体化电源系统布局（右） 节约面积 节约面积 田 军，刘军星，李 宁，姜晓君 新型一体化电源系统在万卡智算中心的应用分析 本期专题 Monthly Topic 24 邮电设计技术/2024/10 布线，避免了传统配电柜电缆连接引起的电缆上下翻 折、走线架布线及多根电缆集中布线造成的热效应问 题。同时，母排使用“鱼形排”插接技术，方便拆装维 护（见图3）。 预制化生产方式缩短了设备的现场施工周期，将 传统配电设备的安装调试周期从 15 天缩减至 5 天，推 动了智算中心的快速建设与部署。 3.3 智能运维与管理 通过一体化电源监控与二次布线插接，集中监控 系统中可具备全系统电参数采集和计算预置能力，实 现能耗数字化管理、配电系统图、告警管理、选择性保 护校验、关键点温度测量、故障录波、运维知识库、健 康度评估等功能。它能够实时监控和判断各类型设 备的电参数和告警信息，并将这些数据上传至集中监 控平台。 其中，设备健康度评估功能，可以从系统级（维护 情况、报警消缺、运行模式、功能指标）、设备级（设备 资产信息、负荷率、低压断路器磨损率、电能质量、选 择性保护校验）和部件级（母排温度、蓄电池状态）等 多个维度分析设备的运行情况，帮助用户运维检修， 保障设备健康运行。 3.4 短路稳定性验证和上下级选择性保护 在智算中心供电安全及可靠性方面，新型一体化 电源系统重视短路稳定性安全验证分析和上下级选 择性保护 ［5］。中国联通自主研发的一体化电源设备在 出厂前均使用 ETAP 仿真计算软件进行短路计算，并 完成了上下游断路器的继电保护配合，使得设备无论 是在 UPS 主回路、静态旁路还是维修旁路运行状态 下，均能够实现上下游保护，完成选择性匹配。 为了确保新型一体化电源在不同运行状态下的 系统安全性，通常在设计时进行短路阻抗和短路情况 计算。根据《电力工程电气设计手册》中的短路动稳 定校验计算方法，对导体短路时产生的机械应力进行 计算。通过合理的设计和预制化实现手段，可以确保 供电系统的连续性和可靠性，从而提高整体的安全性 和效率。这对于智算中心等关键场景尤为重要，因为 这些场景对供电系统的稳定性和可靠性有着极高的 要求。 4 新型一体化电源系统在万卡智算中心的实施 智算中心规模大，智算服务器设备数量多。这些 设备中既包含智算设备和通算设备。智算设备单设 备功率较大，主要包含智算服务器和智算网络设备； 通算设备主要包含云平台使用的服务器、通算网络设 备、安全设备等。 以昇腾 910B 组成的万卡规模为例，表 1 详细列出 了智算部分与通算部分所需的负荷。 通算设备主要包括云平台（包含云底座、计算节 点、存储节点）、温存储、网络设备和安全设备，智算设 备主要包括智算服务器、热存储和智算网络。随着智 算设备机柜功率的提高，配电开关和线缆规格也相应 地提高。因此，在布置电源系统时，需要根据智算设 备的特点选择更加合理的空间，以优化供电路径，减 少线缆损耗，从而降低建设成本。 如图 4 所示，传统的电力室通常会布置在数据机 房的一侧，且 2个电力室互为主备。在智算机房中，因 用电量增加，电力设备数量和占用空间也随之增加， 这导致传统的单侧布置方式的输出线缆增多，使路由 规划面临挑战。因此，智算机房的布局可采用在机房 两侧布置电力室的形式。 以某智算中心的建设项目为例，该中心在标准层 将电力室布置于智算机房的两侧，互为主备的 2 个电 力室供电路由不交叉，从而降低了路由规划的难度。 此外，项目采用新型一体化电源系统，减少了电力室 的占地面积，有助于智算中心在平面布局上达到最佳 表1 智算部分及通算部分所需的负荷 类型 昇腾 规模 万卡 功率（通算部分）/kW 1 676.8 功率（智算部分）/kW 8 127.1 总功率/kW 9 803.9 图3 母排连接及柜体工艺优化 一体化电源预制母排连接 传统电缆连接 图4 传统通算机房电力室布置 电力室-A1 一体化电源 一体化电源 一体化电源 联络 电力室-A2 一体化电源 一体化电源 一体化电源 电 池 室 A1 电 池 室 A2 田 军，刘军星，李 宁，姜晓君 新型一体化电源系统在万卡智算中心的应用分析 本期专题 Monthly Topic 25 2024/10/DTPT 的功率利用率和空间利用率，同时也有利于不同功率 的机柜与不同类型和数量的安装设备组合配比。智 算机房电力室布置如图5所示。 在电力室向智算机房供电的过程中，采用了智能 小母线技术取代传统列头柜的方式，为机柜提供电 力。这使得安装部署非常快速，通常部署时间为 10~ 15 天，而传统列头柜加线缆模式的典型工期为 40~50 天，且工序繁琐。此外，智能小母线采用模块化设计， 能够提升空间利用率，使智算机房的布局更加紧凑高 效。机房智能小母线插接箱布置如图6所示。 5 新型一体化电源系统的展望和建议 新型一体化电源系统的设计理念是增强电源的 通用性、可靠性、智能性和高效性。然而，在智算中心 的实际应用中，该系统也面临一系列挑战。首先是系 统的复杂性，其集成了多种技术和功能，这对运维人 员的技术水平要求较高，需要对他们进行专门的培 训。其次是系统的稳定性和安全性也是必须考量的 因素，由于智算中心对电力供应的依赖性极高，任何 电源系统的故障都可能导致严重的后果。 为了应对这些挑战，可以采取一系列措施。首 先，建立标准化的组态模型和开放式的接口，以提升 设备之间的兼容性和互操作性，从而简化系统的管理 和维护工作。其次，通过优化设计与采用先进的设备 和技术来降低系统的能耗，进而提高环保性能。总 之，通过采取有效的措施和技术策略，可以推动新型 一体化电源在智算中心的成功应用。 万卡智算中心的建设不仅是技术发展的需求，也 是国家战略布局的重要组成部分，对于促进社会经济 发展、提升国家竞争力具有重要意义。在智算中心的 建设和运营中，新型一体化电源系统凭借其集成化与 智能化特性，成为了提升能源效率与系统稳定性的关 键。它通过将 UPS、配电系统、监控系统等组件进行一 体化设计，不仅极大地节省了空间，还通过智能管理 平台实现了电力状态的实时监控与自动调整，有效保 障了电力供应的连续性和可靠性，助力智算中心实现 绿色低碳目标。 新型一体化电源系统的灵活扩展能力和冗余设 计，不仅满足了智算中心随业务增长的电力需求。同 时，该系统还通过安全防护机制确保在电力危机时， 能够迅速作出响应。通过降低运维成本、提高能源利 用效率，以及避免业务中断带来的损失，一体化电源 系统在长期运营中展现出显著的成本效益，是智算中 心高效、安全运行的坚实后盾。 参考文献： ［1］ 程旭 . 基于云计算时代的数据中心建设与发展［J］. 通讯世界， 2017（24）：130. ［2］ 孙杰贤 .《智能计算中心规划建设指南》解读［J］. 中国信息化， 2020（12）：17-18. ［3］ 王恩东 . 智算中心成为新基建的基本条件与智慧时代动力源［J］. 中国工业和信息化，2020（4）：44-50. ［4］ 黄彬，王洪，王和，等 . 新一代智能模块化电力电源系统的应用与 研究［J］. 供用电，2017，34（10）：88-92. ［5］ 杨瑛洁，何健，闫健，等 . 新型一体化电源设备创新技术应用研究 ［J］. 邮电设计技术，2023（12）：12-15. ［9］ 吕劲松 . 交直流一体化电源系统优化措施［J］. 光源与照明，2021 （1）：100-101. ［10］ 陈建 . 数据中心供电安全能力提升［J］. 通信电源技术，2019（S1）： 57-61. ［10］陈建.数据中心供电安全能力提升［J］.通信电源技术，2019，36 图5 智算机房电力室布置 电力室A1 一体化电源 一体化电源 一体化电源 联络 电力室B1 一体化电源 一体化电源 一体化电源 电 池 室 A1 电 池 室 B1 电力室A2 一体化电源 一体化电源 一体化电源 电力室B2 一体化电源 一体化电源 一体化电源 电 池 室 A2 电 池 室 B2 联络 图6 机房智能小母线插接箱布置 作者简介： 田军，高级工程师，硕士，主要从事双碳节能、基础设施、算力等专业研究与建设管理工 作；刘军星，工程师，学士，获得美国PMP认证资格，主要从事数据中心电源相关技术研 究及标准制定工作；李宁，高级工程师，硕士，主要从事信息通信基础设施业务网络规划 工作；姜晓君，高级工程师，硕士，主要从事通信电源、电气工程相关咨询设计工作。 田 军，刘军星，李 宁，姜晓君 新型一体化电源系统在万卡智算中心的应用分析 本期专题 Monthly Topic 26