智算中心机房气流组织设计及CFD模拟研究

微信扫码，打开到小程序

2025/03/DTPT —————————— 收稿日期：2025-01-23 0 前言 随着物联网、人工智能等技术的加速发展，算力 逐渐成为数字经济时代的核心生产力。截至 2024年 9 月，我国算力总规模达 246 EFLOPS（指每秒进行百亿 亿次浮点运算的能力），算力总规模居世界前列。 2023年 10月工信部等六部委联合发布的《算力基础设 施高质量发展行动计划》指出，到 2025 年我国算力总 规模将超过 300 EFLOPS，智能算力占比达到 35%。算 力的提升使芯片功耗迅速增加和单机柜功率密度提 升，这给机房的冷却方式带来更严苛的考验。电子元 器件的失效率随着温度的升高呈指数式上升 ［1］，因此 机房内合理的空调配置及气流组织显得尤为重要。 《数据中心设计规范》（GB50174-2017） ［2］指出，在设计 数据中心时，CFD 气流模拟方法对主机房气流组织进 行验证，可以事先发现问题，减少局部热点的发生，保 证设计质量。 本文以呼和浩特地区某智算中心机房为例，通过 对智算中心机房内气流组织及 CFD 模拟结果进行分 析，提出将存量机房改造为智算中心机房的措施，为 关键词： 智算中心；气流组织；CFD；空调系统 doi：10.12045/j.issn.1007-3043.2025.03.017 文章编号：1007-3043（2025）03-0088-05 中图分类号：TU83 文献标识码：A 开放科学（资源服务）标识码（OSID）： 摘 要： 在将传统数据中心改造为智算中心机房时，面临高功率机柜散热的挑战。由于 液冷方式对基础设施要求高、实施难度大，难以满足快速交付需求，因此采用增 加列间空调、扩大冷热通道间距等方法改造存量机房成为必要选择。通过气流 组织分析及 CFD 模拟研究，提出了将存量机房改造为智算中心机房的有效措 施。 Abstract： When transforming the traditional data center into an intelligent computing center room，it faces the challenge of high power cabinet cooling. Due to the high infrastructure requirements and implementation difficulties of liquid cooling methods，it is difficult to meet the demand for rapid delivery. Therefore，it is necessary to adopt methods such as increasing air conditioners between columns，expanding the space between cold and hot channels to transform the existing machine rooms. Based on the analysis of air distribution and CFD simulation research，effective measures are proposed to transform the inventory computer room into the intelligent computing center computer room. Keywords： Intelligent computing center；Air distribution；CFD；Air conditioning system 智算中心机房气流组织设计及 CFD模拟研究 Air Distribution Design and CFD Simulation Research in Intelligent Computing Center Room 何 健 1，景 淼 1，王 颖 2（1. 联通数字科技有限公司，北京 100085；2. 北京电信规划设计院有限公司，北京 100048） He Jian1，Jing Miao1，Wang Ying2（1. China Unicom Digital Technology Co.，Ltd.，Beijing 100085，China；2. Beijing Telecom Planning & Designing Institute Co.，Ltd.，Beijing 100048，China） 何 健，景 淼，王 颖 智算中心机房气流组织设计及CFD模拟研究 综 合 General 引用格式：何健，景淼，王颖. 智算中心机房气流组织设计及CFD模拟研究［J］. 邮电设计技术，2025（3）：88-92. 88 行业报告资源群 1. 进群福利：进群即领万份行业研究、管理方案及其他学 习资源，直接打包下载 2. 每日分享：6份行研精选报告、3个行业主题 3. 报告查找：群里直接咨询，免费协助查找 4. 严禁广告：仅限行业报告交流，禁止一切无关信息 知识星球 行业与管理资源 专业知识社群：每月分享8000+份行业研究报告、商业计划、 市场研究、企业运营及咨询管理方案等，涵盖科技、金融、 教育、互联网、房地产、生物制药、医疗健康等；已成为投 资、产业研究、企业运营、价值传播等工作助手。 微信扫码，长期有效 微信扫码，行研无忧 免责申明： 1. 本资料来源于网络公开渠道，版权归属版权方； 2. 本资料仅限会员学习使用，如他用请联系版权方； 3. 会员费用作为信息收集整理及运营之必须费用； 4. 如侵犯您的合法权益，请联系客服微信将及时删除 邮电设计技术/2025/03 今后智算中心机房设计提供一定的参考。 1 项目概况 呼和浩特地区某数据机房面积约为 300 m 2，层高 为 5.4 m，原机房内安装有 106 个 8 kW 机架，采用列间 空调（显冷量为 41 kW，冷冻水供回水温度为 12 ℃/ 18 ℃），20 用 4 备。气流组织为列间空调水平送风、后 回风，冷通道封闭，冷、热通道尺寸均为 1 200 mm。改 造前机房平面图如图1所示。 通过增加行间空调、锁机柜等方式，进行机房改 造。改造后机房内可安装 GPU 服务器机柜、交换机机 柜及配套设备。安装设备的功耗如表 1所示。机柜布 置如图2所示。 在空调形式不变的基础上，通过增加列间空调、 锁机柜并优化列间空调布局的方式，来满足高功耗设 备的部署需求。改造后智算中心机房的室内设计参 数和空调配置如表 2所示。改造后智算中心机房平面 图如图3所示。 如图 1、图 3 所示，本项目增加 8 台列间空调，新增 的列间空调与原有列间空调参数相同，显冷量为 41 kW，送风量为 12 200 m 3/h，实际工程中需根据空调送 风量校核送回风温差。 图1 改造前数据机房平面图 表1 智算中心机房机柜配置 数据机房 列间空调 冷通道 冷通道 冷通道 冷通道 图2 智算中心机房机柜布置图（灰色部分示意列间空调） 其 余 交 换 机 计算 Spine 12.1 kW 锁 机 柜 10.4 kW 锁 机 柜 10.9 kW 锁 机 柜 空 余 机 柜 10.9 kW 锁 机 柜 锁 机 柜 锁 机 柜 空 余 机 柜 计算 Spine 锁 机 柜 锁 机 柜 锁 机 柜 锁 机 柜 锁 机 柜 锁 机 柜 空 余 机 柜 空 余 机 柜 计算 Spine 锁 机 柜 空 余 机 柜 锁 机 柜 锁 机 柜 计算 Spine 锁 机 柜 锁 机 柜 锁 机 柜 其 余 交 换 机 其 余 交 换 机 锁 机 柜 锁 机 柜 锁 机 柜 空 余 机 柜 1柜 2柜 3柜 4柜 5柜 6柜 7柜 8柜 9柜 10柜 11柜 12柜 13柜 13柜 12柜 11柜 10柜 9柜 8柜 7柜 6柜 5柜 4柜 3柜 2柜 1柜 1列 2列 3列 4列 5列 6列 7列 8列 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 10.4 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 12.1 kW 10.9 kW 10.9 kW 10.9 kW 10.9 kW 10.9 kW 10.9 kW 10.9 kW 10.9 kW 10.9 kW 12.1 kW 12.1 kW 机柜类型 GPU服务器机柜 计算spine交换机机柜 其余交换机机柜 锁机柜 预留发展机柜 合计 单机柜功耗/kW 10.4 10.9 12.1 12.0 6.0 0.0 8.0 - 数量/个 21 11 32 4 3 21 6 98 图中颜色 黄色 橙色 红色 绿色 蓝绿色 深蓝色 浅蓝色 - 注：本文服务器功耗均基于华为昇腾910B芯片。 何 健，景 淼，王 颖 智算中心机房气流组织设计及CFD模拟研究 综 合 General 89 2025/03/DTPT ∆t = Q ρCG × 3 600 （1） 式中，G 为空调送风量（m 3/h），Q 为显冷量（kW），ρ 为空气密度（kg/m 3），C 为空气定压比热容（kJ/kg·℃）， ∆t为送回风温差（℃）。根据式（1）的计算结果，本项目 中的空调系统能够确保机柜的送回风温差维持在 10℃，这符合智算中心机房的设计参数要求。 2 气流组织设计 由于本项目属于改造工程，原机房采用冷通道封 闭。以节约投资，对原机房改动最小，满足快速交付 为原则，改造后仍采用冷通道封闭。冷通道封闭是采 用物理措施将冷却空气进行封闭隔离，冷空气进入机 柜冷却服务器后，由热通道排出升温后的热空气，再 通过空调设备回风口吸入完成一次循环 ［3］。本项目的 智算中心机房气流组织形式如图4所示。 列间空调也可以采用热通道封闭方式，冷、热通 道封闭的对比如表 3所示。热通道封闭是采用物理措 施将排出机柜的热空气进行封闭隔离，通过空调设备 回风口吸入热空气冷却后，再冷却服务器 ［4］。 当采用热通道封闭方式时，工作人员一般在冷通 道活动，提高机房温度对人员舒适度影响不大，易于 被接受；当采用冷通道封闭方式时，工作人员一般在 热通道活动，机房温度提高较大时，会使人体不适感 增强，难于被接受。在热通道封闭的情况下，空调系 统的送风温度要高于冷通道封闭时的送风温度。送 风温度越低，空调冷源的能耗则越高。因此，提高机 房温度能够有效降低数据中心总能耗。当热通道封 闭时，相比冷通道封闭的状态，冷空气所占用的空间 更大，这使得系统具备更高的抵御冷却失效的能力， 并且故障响应时间也相对延长 ［5］。 3 机房模型建立 在机房中进行气流组织模拟时，选择合适的数值 模型是非常关键的 ［6-10］。本项目对数值模型进行了如 下简化。 a）假设机房墙壁是绝热的。 b）求解计算采用标准的k—ε湍流模型。 c）空气设置为非理想气体。 d）空调送风温度为23 ℃。 本项目智算中心机房模型如图 5所示。为了验证 不同位置空调故障对智算中心机房内温度的影响，后 文将针对不同位置的空调故障进行分析，找出在最不 利工况下机房内的温度情况。 图5 智算中心机房模型 表3 冷、热通道封闭（列间空调）对比 对比项目 运维人员舒适度 空调能效 故障响应时间 冷通道封闭 较差 较低 较短 热通道封闭 良好 较高 较长 表2 智算中心机房室内设计参数及空调配置 功能区 域 智算中 心机房 空调 形式 列间 空调 供回水 温度/℃ 12/18 冷通道送 风温度/℃ 23 冷通道相 对湿度/% 40~60 送回风 温差/℃ 10 空调配置 空调32台，24 用8备配置 图3 改造后智算中心机房平面图 图4 智算中心机房气流组织形式 智算中心机房 列间空调 冷通道 冷通道 冷通道 冷通道 活动地板 地面 机架 冷通道 热通道 列间 空调 冷通道 （封闭） 机架 何 健，景 淼，王 颖 智算中心机房气流组织设计及CFD模拟研究 综 合 General 90 邮电设计技术/2025/03 4 模拟结果分析 4.1 流场分析 智算中心机房的气流组织模拟结果流线如图 6、 图 7 所示。在图 6、图 7 中，备用列间空调虽然关机，但 由于其内部存在一定的缝隙，仍会有部分冷通道内的 冷空气从备用空调处泄露到热通道，造成热通道局部 温度降低。但冷通道内冷空气温度分布依然保持均 匀，这是由于列间空调采用水平送风方式。该方式可 有效解决冷热气流短路的问题，保障服务器机柜温度 均匀，降低局部热点。因此，对于单机柜功耗≥8 kW 的 机柜，建议采用列间空调。 4.2 温度分析 机房内距地板 0.2 m、1.0 m、2.0 m处的温度分布分 别如图 8、图 9、图 10 所示。在距地板 0.2 m 处，机房内 的冷热通道温度分布较为均匀。其中，冷通道内的最 低温度为 23 ℃，热通道内的最高温度为 40.1 ℃，机房 内的平均温度为 28.3 ℃。如图 8 所示，冷通道内平均 温度约为23 ℃，热通道内平均温度约为33 ℃。 在距地板1.0 m处，机房内的冷热通道温度分布较 为均匀。其中，冷通道内的最低温度为 23 ℃，热通道 内的最高温度为41.8 ℃，机房内的平均温度为29.2 ℃。 如图 9所示，冷通道内的平均温度约为 23.1 ℃，热通道 内的平均温度约为34 ℃。 在距地板2.0 m处，机房内的冷热通道温度分布较 为均匀。其中，冷通道内的最低温度为 23 ℃，热通道 内的最高温度为43.9 ℃，机房内的平均温度为29.6 ℃。 如图 10 所示，冷通道内的平均温度约为 23 ℃，热通道 内的平均温度约为 34 ℃。列头部分的温度较高，这是 由于列间空调的部署方式导致向列头部分传送的冷量 较小，但这不会对机房整体的运行状况构成影响 在距地板 0.2 m、1.0 m、2.0 m 处，冷通道内的平均 温度分别为 23 ℃、23.1 ℃、23 ℃，差异极小，这是由列 间空调的送风特点所决定的，风机成列布置，采用水平 图9 距地板1.0 m处温度分布 温度（℃） 20 26.3 32.5 38.8 45 35.2℃ 35.8℃ 23℃ 34.7℃ 23℃ 34.6℃ 23℃ 23.1℃ 图8 距地板0.2 m处温度分布 图6 智算中心机房流线平面图 图7 智算中心机房流线剖面图 温度（℃） 20 26.3 32.5 38.8 45 温度（℃） 20 26.3 32.5 38.8 45 34.4℃ 温度（℃） 20 26.3 32.5 38.8 45 33.5 ℃ 23℃ 30.9℃ 23℃ 33.9℃ 23℃ 23.1℃ 何 健，景 淼，王 颖 智算中心机房气流组织设计及CFD模拟研究 综 合 General 图10 距地板2.0 m处温度分布 温度（℃） 20 26.3 32.5 38.8 45 34.3℃ 34.5℃ 23℃ 33.5℃ 23℃ 34.8℃ 23℃ 23℃ 33.9℃ 33.4℃ 34.2℃ 91 2025/03/DTPT 送风方式，使冷量传递更为均匀。热通道内由于热空 气密度较低，距地板不同高度上的温度分布情况也有 所区别。在距地板 0.2 m、1.0 m、2.0 m 处，热通道内的 平均温度分别为 33 ℃、34 ℃、34 ℃。随着距地板高度 的增加，热通道内的温度也随之升高，其温度分布也 越发趋向均匀。 5 实际运行与模拟结果对比 本项目按照图 3所示的方案进行了改造，改造后， 在冷、热通道内增加了温湿度测点。这些测点布置在 距离地面 1.0 m，距离机柜侧 0.6 m 处，测点具体位置如 图 11 所示。湿度传感器信号由动环实时采集。实际 运行与模拟结果数据对比如表4所示。 由表 4 可以看出，实际运行与模拟结果数据基本 一致，但热通道最高温度相差较大。这主要是由于实 际运行中，冷通道的封闭效果无法达到 CFD 模拟中所 假设的100%完全封闭状态。 6 结语 随着智能算力规模的持续快速增长，智算中心的 建设布局亟需加速，这对数据中心的规划设计、制冷 供电和绿色低碳提出了更高的要求，促使通用数据中 心向高效、灵活、智能、低碳的智算中心转型升级。本 文通过对呼和浩特地区某智算中心机房进行分析，得 出如下结论。 a）在将存量机房改造为智算中心机房时，需结合 现状条件、改造难度和经济技术的对比分析，制定合 理的改造方案，以便快速响应客户需求。 b）若 6 kW<单机柜功耗≤20 kW，可采用列间空 调。但随着单机柜功耗的增加，列间空调布置密度也 随之增加，导致出架率降低和成本提高。对于将存量 机房改造为智算中心机房的情况，可以通过增加列间 空调数量、优化列间空调布局、锁机柜、适当加大冷热 通道间距等方式，在牺牲一定空间的前提下，满足高 功耗设备的部署需求。 c）对于有改造条件的存量机房，建议采用热通道 封闭方式。相较于冷通道封闭，热通道封闭在提升维 护人员舒适度和节能效果方面表现更佳。 d）对于单机柜功耗>20 kW 的机柜，传统风冷技 术已难以满足高功率机柜的部署需求，液冷散热已成 为制冷技术升级的选择。 参考文献： ［1］ 陶文铨，靳姝琦，李楠，等 . 数据中心机房气流组织仿真技术探讨 ［J］. 邮电设计技术，2022（12）：1-8. ［2］ 中华人民共和国住房和城乡建设部 . 数据中心设计规范：GB 50174-2017［S］. 北京：中国计划出版社，2017. ［3］ 张旭，崔涛 . 冷通道封闭技术在数据中心节能中的应用［J］. 电子 世界，2021（23）：190-191. ［4］ 陈文辉 . 热通道封闭在数据中心应用分析［J］. 洁净与空调技术， 2020（1）：1