【规格】模块化数据中心架构的规格

微信扫码，打开到小程序

模块化数据中心架构的规格 版本 2 作者 Neil Rasmussen 第 160 号白皮书 如今数据中心行业的共识是模块化、可扩展数据中心设 计将会取代传统数据中心设计。模块化可扩展设计的优 势包括：降低总拥有成本、提高灵活性、缩短部署时间 以及提高效率等。但“模块化”这一术语，和模块化架 构在何时何处适用，以及如何确定模块化架构的规格 等，都还没有明确的定义。 本白皮书为模块化数据中心架构提供了一个框架，介绍 了数据中心电源、制冷和物理基础设施实施模块化的多 种途径，并说明了各种方法适用和有效的应用环境。 摘要 > 施耐德电气旗下 的白皮书现收录于施耐德电气白皮书资料库 由施耐德电气数据中心科研中心发表 DCSC@Schneider-Electric.com 模块化数据中心架构的规格 施耐德电气 — 数据中心科研中心 版本 2 2 模块化笼统地定义为一种利用较小的子系统构建大型系统的技术，明确定义各子系统之间接口的 规则。模块化还具有简单的组件安装或更换方法。理论上，“即插即用” 的模块化组件只需进 行简单调试就能投入运行。 知名咨询公司高德纳（Gartner）最近发布的多份报告显示一个趋势，就是 “前两代数据中心设 计已无法满足当前和未来需求。新数据中心不应该再是静态的结构，而是一个能够随着服务器和 存储基础设施改变而不断发展的动态有机体”。有鉴于此，高德纳公司（Gartner）建议新数据 中心应“采用灵活的、模块化、虚拟化设计原则 1”。 主要的数据中心设备供应商和整体解决方案供应商都有在宣传其模块化解决方案的优势。但目前 对于“模块化”的定义仍很模糊，它可以应用于 UPS 这样的单一设备，也能应用于整栋数据中 心建筑中。以集装箱式数据中心为例，数据中心本身就可看作是一个模块。 数据中心运营人员面临着大量含混不清的，用于定义模块化的术语，包括区域（pods）、集装箱 （container）、集群（clusters）、分区（zones）、机柜行（rows）、机房（rooms）、坞 （busses）等。 很明显，数据中心模块化不是指某种特定的理想化设计方案。而是指一种能够衍生出多种不同类 型设计的方法。此外，虽然我们说某些数据中心要比其它数据中心“更具模块化”，但并没有阐 明数据中心从哪里开始模块化。 选择了模块化方法后，还必须考虑将数据中心按模块化分割的程度，即颗粒度。数据中心的某个 子系统是应该由三个模块还是三十个模块组成？模块化的实施会产生一定成本，因此最大限度地 全盘模块化并非总是最有效的做法。 权威调查咨询机构 Tier 1 Research2 最近的分析确信模块化为数据中心带来优势。但同时指出， 只有当模块进行工业化和标准化生产，从而降低成本、加快供应链流程时，模块化对整个行业的 影响才能最大化。 在本白皮书中，我们将详细说明模块化的意义，并定义用于描述和说明与数据中心物理基础设施 （包括空间、电源和制冷等）模块化相关的术语。与 IT 基础设施或 IT 硬件相关的模块化不属于 本文讨论范围。文中将采用图解方式介绍模块化架构，并探讨标准化和工业化模块化的可行性。 我们将阐述如何才能让数据中心模块化更有效、规范地使用，以及如何应用于不同场景的方法。 模块化对所有数据中心运营商都具有吸引力，这是因为它能同时解决一系列的问题。几乎所有类 型的数据中心，无论规模大小或可用性高低，都能够从模块化中获益。表 1 列出了一部分模块化 设计能够成功解决的问题。 值得注意的是，并非当前业内所有模块化概念都能有效提供表 1 列出的优势。本文所描述的模块 化架构的定义和框架是用来解释上表中所描述的问题。 1 “将数据中心作为有机体：不可借鉴过去的未来发展”，Rakesh Kumar 和 Phillip Dawson，美国知名咨 询公司高德纳（Gartner） 2 “数据中心 2.0：产业革命”，Jason Schafer，Tier 1 Research/451 集团，2011 年 9 月 简介 模块化能够 解决的问题 模块化数据中心架构的规格 施耐德电气 — 数据中心科研中心 版本 2 3 问题 模块化如何应对这类问题 投资成本利用率低下 模块化方法能实现基础设施按需部署，而不是在前期一次 性部署。 设计和安装周期时间长 模块化数据中心采用预设计和预生产的系统，缩短了设计 和安装时间。 质量 采用预设计和预生产的设计，能够减少缺陷。 功率密度设计错误 采用模块化设计，可在部署时再进行功率密度等决策，而 不必提前数年就作出此类决策。 管理系统的编译和配置 非常复杂 模块化设计使用标准化管理工具，具有更多开箱即用的特 性，减少每次项目都进行编程。 容错性 模块化设计一般包括添加 N+1 冗余，支持容错和并行维护 的能力。 符合标准要求 模块化设计可预先验证，遵从安全、能效、兼容性、安防 等标准，无需逐个评估，避免出现不符合标准的意外情 况。 简化运营人员培训 标准化的数据中心设计方案可以简化培训。 能效 造成数据中心效率低下的首要原因就是容量设计过大。可 扩展模块化数据中心设计通过按需规划容量，避免了这个 问题。其它许多导致效率低的问题也可以通过采用预设计 和标准化的方式得以解决。 为了描述和说明数据中心的模块化，很有必要了解模块化是如何应用的。本白皮书用来描述数据 中心模块化架构的三要素为： • 设备模块化：设备由模块化组件构成。 • 子系统模块化：一个功能模块，由多种设备或同样类型模块构成。 • 模块关联：所部署的各子系统模块之间的关系，同时确定如何实现冗余、容量和功率满足 要求并实现可扩展功能。 虽然模块化数据中心的供应商和其他推动者对这三个组成要素都有提及，然而上面提到的第三个 要素，即模块关联，是模块化架构开发最不成熟的一个方面，但却是最有潜力提供改善数据中心 性能和提升业务的机会。 下面分别详细介绍这三个组成要素。 模块化架构 的组成要素 表 1 如何通过实施模块化解决 数据中心相关问题 模块化数据中心架构的规格 施耐德电气 — 数据中心科研中心 版本 2 4 设备模块化 区分数据中心模块化架构和数据中心模块化设备是十分重要的。 数据中心内的设备模块化趋势由来已久，包括服务器，存储设备，网络设备和 UPS 系统。最 近，机房空气处理单元和配电系统也开始模块化。设备模块化的优势众所周知，包括便于维护、 可重复配置、供货迅速、便于容量扩展、缩短采购周期等。这些模块化设备的使用，是模块化数 据中心架构的一个重要组成部分。但是，数据中心使用了模块化设备，并不意味着采用了本白皮 书中定义的数据中心模块化的架构。 设备模块化举例：如图 1 所示的模块化 UPS 和模块化 PDU。 模块化 UPS 和电池组 模块化配电 子系统模块化 数据中心的功能模块（或称子系统），如 UPS、机房空调和冷水机组等，可以为单个机组，也 可以为多个设备（或模块）同时运行分担负荷。例如，通过以下任一设备组合，都能满足 1MW UPS 需求： • 1 个 1 MW UPS • 4 个 250 kW UPS • 10 个 100 kW UPS • 1000 个 1 kW UPS 每台 UPS 设备可以具备“设备模块化”，也可不具备。但 UPS 子系统模块化与否，是看它是否 由多个 UPS 设备构成。子系统模块化普遍存在于大型数据中心是因为 PDU 和 CRAC 等子系统 通常都是由多台设备组成的。 容错性、并行维护和可搬运性是推动子系统模块化的三大要素。容错性是指当某个模块发生故障 时，子系统仍能运行且不引起负载中断。并行维护是指在不中断负载运行情况下，对其中一个模 块进行离线测试或维护。数据中心设施设备中可搬运性突显了模块化的意义，特别是当某个模块 小到能够很容易通过客梯搬运、由卡车运输，并能顺利通过门廊、在室内地板上移动时，就更是 如此。这些因素促使数据中心设计从庞大的单一子系统，向由多个模块构成的子系统转变，尤其 是当系统在室内部署时。 尽管对数据中心的许多设备类型来说子系统模块化很普遍，但这些子系统使用的很多设备并未实 现理想的模块化“即插即用”式的安装。例如，在数据中心添加一个 60kW 机房空气处理单元， 图 1 设备模块化示例：模块化 UPS 和模块化 PDU 模块化数据中心架构的规格 施耐德电气 — 数据中心科研中心 版本 2 5 仍需要开展大量的规划、设计、管道铺设、控制编程和试运行工作。为实现子系统“即插即 用”，设备供应商仍继续致力于改进产品和简化使用流程。 和设备模块化一样，子系统模块化通常是模块化数据中心设计的重要组成部分，但其本身并不意 味着数据中心采用了模块化架构。真正的模块化架构设计必须确定不同子系统间通过何种方式部 署在一起。 模块关联 当部署一个 IT 单元，需要综合考虑物理空间、供电、制冷、网络、消防和照明。因此，数据中 心跨子系统的模块关联，是模块化数据中心架构的一个重要概念。 原则上，一整套平衡的、集成了各子系统的模块化数据中心应按具有标准容量单元的方式部署。 很明显，这才能是模块化数据中心架构。所有相互关联的数据中心子系统都将连接到一个模块， 构成微型数据中心。这些已经完成的独立的微型数据中心能够随时在现场部署。这可以称得上是 最“纯粹”的模块化数据中心架构。但由于以下原因，这听着很简单的理念，目前还无法付诸实 施： • 将每个数据中心模块作为一个独立数据中心管理，还不太现实 • 某些子系统在大规模部署时比模块化部署要来得更为经济高效 • 在多个模块上部署冗余比在单个模块中部署冗余成本更低、更高效 • 单个数据中心模块都拥有独立的电源和制冷容量，会因搁浅容量造成浪费 • 模块越小灵活性越高，但发电机和冷水机组等许多设备型号越小，效率就越低 尽管将所有子系统集成为完整独立的数据中心模块是不太现实的作法，但模块化数据中心架构必 然存在某种方式对各子系统分组，以便能够合理地、一致性地完成数据中心的部署。模块关联是 数据中心架构的一个属性，定义了各子系统之间是如何相互关联的。 举例说明模块关联。先考虑设备机柜和机柜配电条以按最简单的 1:1 比例部署。其次部署配电柜 和机柜，该例中可以定义 1 个配电柜支持 20 个机柜。继而继续定义其它关系，如 1 个发电机支 持 500 个机柜、1 个机房空气处理单元支持 40 个机柜，和 1 个数据采集系统支持 200 个机柜等 等。我们将这些部署规则称为各子系统间的模块关联。这些关联可以是简单的部署规则，也可是 预先设计和预先生产的滑轨式、集装箱型或“成套”部署。 在传统数据中心确定其总容量的整体设计中，如冷水机组总容量、平面布局、机房空调容量 等 ，各子系统间的关联关系非常含糊。往往不考虑任何模块化架构，一开始就制订完整的设计 方案，数据中心通常会按照最大设计参数建设。在数据中心的早期运行阶段，为延缓投资，常常 会忽略某些设备。例如，为 5 个柴油发电机组设计、采用 N+1 配置的系统，可能部署了适用于 5 个柴油发电机组的开关柜、基础配套设施和支撑结构，但在开始时仅安装 3 个柴油发电机组。该 例中数据中心发电机组子系统采用了模块化，获得了部分模块化优势，但因为各子系统间不具备 任何正式关联，因此并非是模块化数据中心架构。 基于上文定义的设备模块化、子系统模块化和模块关联这三个组成要素，现在我们能够定义模块 化数据中心架构以及现实中如何实施。 一个高效的模块化数据中心架构具有以下特性： • 定义一系列模块，作为部署数据中心的基础。 • 定义由相互关联的子系统组成的最具操作性的模块，尽量降低部署复杂度。 • 包含有定义好的规则、实施方法和组成设备，规定好按数据中心成长计划的模块化部署方 式。 模块化架构的 定义 模块化数据中心架构的规格 施耐德电气 — 数据中心科研中心 版本 2 6 • 经过工程化设计的系统，能最大限度减少了部署模块所需的规划、安装、配置和预先调试 工作。 • 提前定义了容量、效率、密度、重量等所部署系统的特性，无需进一步分析。 • 在权衡简洁性、成本和适当规模之后，确定模块大小或称之为“颗粒度“。 • 能够出色支撑未来可用性（冗余性）和功率密度相关的升级或变更。 • 作为一个开放架构，能够支持跨厂商的基础设施产品和设备。 需要重点强调的是，以上提到的模块化数据中心架构不仅包含有设备清单，而是还需要提供大量 的系统工程设计与测试项目。虽然可单独为某个数据中心开发和定义模块化架构，但如果行业可 定义标准的模块化架构，则模块化架构会更实用、高效。如果数据中心采用已有标准的模块化架 构，那么就能大幅节省工程、定义、规划和测试成本（和时间）。随着越来越多的数据中心使用 标准架构，整个行业都将降低成本、提高质量。 尽管数据中心容量单元的概念听起来简单，实际上这些单元可部署于多个层次。举极端的例子： 我们可考虑为每个 IT 设备部署一个独立数据中心容量单元，或微型独立数据中心；与之相反的 极端情况是，完全预制 40 MW IT 容量的数据中心大楼作为一个单元。在定义模块化架构时，仅 讨论前面所述的模块化架构三要素，设备、子系统和模块关联还是不够的；我们还必须强调该模 块应用在哪个层次上。为了清晰地描述所讨论的数据中心模块单元，我们定义下列标准的分层结 构： 数据中心设施，包括 若干 IT 机房，包括 若干 IT 区域 3 ，包括 若干 IT 机柜，包括 若干 IT 设备 根据这一数据中心定义，可以认为这五个层次中的任何一个都可以由具有一定的 IT 容量的单元 模块配置而成。模块化架构的数据中心由若干可在 IT 设备、IT 机柜、IT 模块、IT 机房乃至整个 数据中心设施层面的模块组成，这些模块具有一定的 IT 容量（关联的模块化子系统）。可以说 模块化应用的例子存在于任何数据中心的每个层面上。 上述分层结构使用了传统数据中心的术语，但也可以有效描述非传统的设计方案。比如“设施” 这一术语可以用来代表摆放有若干集装箱式数据中心模块开放场地，“机房”这一术语可以代表 集装箱或若干互联的集装箱群。 很明显，存在无限多种方式定义模块化数据中心架构。世界上每个数据中心都可认为是某种模块 化架构。且可能都是独一无二的但并非是最佳的。因为只有当数据中心的模块化架构实现标准化 后，其大部分的重要优势才会显现出来。 基于对上述多种可能性的了解，分析造成数据中心运营人员需要不同模块化架构的问题所在，以 及思考是否有可能通过少量标准化架构来满足大多数需求。既而可以定义一种描述模块化数据中 心的标准方法，为如何更好地根据实际需求应用模块化提供基本指导准则。 3 IT 区域常用于指一组部署在一起的 IT 机柜，一般为一行或两行，常常共用一些常用见的础设施组件，如 空气、PDU、穿孔地板砖、接线板、路由器等。在极少情况下，它也有本文中所说的 IT 机房的含义，但在 本白皮书中它没有此含义。 模块化数据中心架构的规格 施耐德电气 — 数据中心科研中心 版本 2 7 理想状态下，一个完美模块化数据中心架构应该适用于所有应用环境。但是，数据中心运营人员 的需求千差万别，催生了对不同架构的需求，这其中包括： • 实际存在的数据中心规模差异 • 成长计划差异 • 可用性要求差异 • 用户偏好和场地限制差异 因此任何可能推荐的模块化数据中心架构都必须满足这些事实。在介绍具体的模块化架构前，将 首先阐述上面四种需求对架构产生的影响。 数据中心规模对模块化架构的影响 数据中心容量以瓦