【方案】新一代企业数据中心网络架构设计方案

微信扫码，打开到小程序

© 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential Unified DC by Weihang 1 新一代企业数据中心网络架构设计方案 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 2 议题 § 新一代数据中心的发展趋 势 § 新一代数据中心的网络架 构 § 新一代数据中心路线与实 践 “ 互联网 +” 给 企 业 数 据 中 心 网 络 架 构 带 来 挑 战 大数据智能决策 企业业务产品创新 跨界多元竞争 业务量爆发增长 资源弹性和高效性 多元应用适应性 部署的敏捷性 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 4 现有企业数据中心所普遍采用的架构 §  §  2009 年工行使用 Nexus 7000/5000/2000 建立的银行经典模式——“工行架构模型” 成为 几乎所有企业的参照模式： Extranet 接入 1 Extranet 接入 2 安全控制 安全控制 安全控制 安全控制 Extranet1 Extranet2 主机 生产 业务 B 安全控制 安全控制 生产 业务 A 前置 3 安全控制 前置 1 安全控制 前置 2 安全控制 安全控制 办公 业务 安全控制 网管 1 网 管 2 安全控制 广 域 网 区 核心骨干网 分行 2 分行 1 主网银 备网银 安全控制 安全控制 Internet Internet 高速交换核心 安全控制 灾备中心 安全控制 … … … Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 5 现有金融数据中心所普遍采用的架构 §  §  2009 年工行使用 Nexus 7000/5000/2000 建立的银行经典模式——“工行架构模型” 成为 几乎所有金融企业的参照模式： Extranet 接入 1 Extranet 接入 2 安全控制 安全控制 安全控制 安全控制 Extranet1 Extranet2 主机 生产 业务 B 安全控制 安全控制 生产 业务 A 前置 3 安全控制 前置 1 安全控制 前置 2 安全控制 安全控制 办公 业务 安全控制 网管 1 网 管 2 安全控制 广 域 网 区 核心骨干网 分行 2 分行 1 主网银 备网银 安全控制 安全控制 Internet Internet 高速交换核心 安全控制 灾备中心 安全控制 … … … Extranet 接入 1 Extr 接入 2 安全控 制 安全控制 anet 安全控制 安全控制 Extranet 1 Extranet2 主机 生产 业务 B 安全控制 安全控制 生产 业务 A 前置 3 安全控制 前置 1 控制 安 全 前置 2 安全控 制 安全控制 办公 业务 安全控制 网管 1 网 管 2 安全控制 广 域 网 区 核心骨 分行 分行 1 主网银 备网银 安全控制 安全控制 Internet Internet 高速交换核心 安全控制 安全控 制 … … 传统硬件为中心架构的问题： 片面提高硬件性能却忽视资源灵活性和效率 应用系统及服务 服务器的基础架构 存储的基础架构 网络基础架构 干网 通讯的应用 2 基础设施灾备中 心 ( 电 力 , 冷却 , 布线 , 及物 理安全 ) 现有的基础架构 相互难以配合的服务 不一致的安全策略 相互矛盾的优化方案 不一致的业务永续 / 容灾计 划 资源利用率低 物理资源无法复用 重复人力物力投入 缺乏灵活性 僵化隔离的基础架 构 任何变动牵涉复杂 效率 15 〜～ 25 ％ -- Gartner 电力、制冷 40 ％ -- IDC 部署新业务平均 8 周 -- CIO Survey 传统虚拟化软件厂商的问题： 重视资源融合虚拟化却忽视应用体验（质量和管理） Ò No SQL MPP Databases Hadoop 79% Source: Gartner http://www.gartner.com/id=2210316 Multi- Hypervisor Physical Machine Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 8 传统自动化和 SDN 控制器网络的问题： 只关注网络自身的自动化，却忽视应用策略的沟通 应用人员 应⽤用分 层 应⽤用逻辑关 系 应⽤用服务质 量 应⽤用安全要 求 基础架构团队 Topology Subnet/VLAN Router Protocol L4-7 Servs § 两个团队，两个语言 应⽤用需求到基础架构部署周期⻓长，变更慢 基础架构对应⽤用需求不可⻅见，⽆无法优化和可视 化 ? 多元应用适应性 部署的敏捷性 传统虚拟平台厂商 传统网络硬件厂商 企业数据中心的发展趋势 以传应统用为方中案心无的法基础解架决构基：础 App 架 lic 构 ati 的 on 新 Cen 挑 tri 战 c Infrastructure 业务自动 化 部署的敏捷性 Compute Compute Storage Storage Services Services L2, L3 传统自动化 / 控制器厂商 Programmable Automation 优 化 应 多元应用适应 资源融 合 资源的弹性高效 Compute Compute Storage Storage Services Services Spine Switch es L2 , L3 Leaf Switch es NG Fabric 资源弹性和高效性 • 打破资源竖井 • • 按需弹性扩展 • 零接触自动化配置 • 基企于业应业用务产 策品略创管新控 用 • 为多元应用优化 跨界• 多应元竞用争健康状态可大 视数据智能决策 自业由务灵爆活 发组增网长 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 10 议题 § 新一代数据中心的发展趋 势 § 新一代数据中心的网络架 构 § 新一代数据中心路线与实 践 如何构建以应用为中心的基础架构 资源的弹性高效 Compute Compute Storage Storage Services Services Spine Switches L2 , L3 Leaf Switches NG Fabric 资源融合 • 打破资源竖井 • 自由灵活组网 • 按需弹性扩展 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 12 1 接 2 安全控制 Extranet 接入 安全控制 Extranet 入 安全控制 安全控制 Extranet1 Extranet2 主机 安全控制 生产 前置 3 安全控制 前置 1 安全控制 前置 2 安全控制 安全控制 办公 域 区 广 网 心骨干网 核 分行 2 备网银 安全控制 安全控制 Internet Internet 灾备中心 安全控制 高 速 换 核 网管 1 网管 2 传统数据中心的业务分区竖井 VLAN 1~10 L3 L2 安全控制 主网银 VLAN 11~20 VLAN 21~30 分行 1 § 传统的分区式网络架构导致资源竖井 限制了 Oracle RAC 、 HACMP 等的集群化并行处理 限制了 VMware 、 Hyper-V 等虚拟环境需要自由灵活的虚机调度范 围 限制了同部门服务器跨区延展（跨区的 VLAN 延展） 限制了 FCoE 等存储融合所需的低延迟、高吞吐、纯二层交换环境 § 传统的分区扩展的方案导致严重问题 生产 业务 环路 业务 A B 不稳 定 无安负 全控载 制 均 衡 不能横向扩展 脑 裂业务 安全控制 安全控制 安全控 制 三层 路 由问题 广播洪泛，导致不可交扩展、差 心 错率高、不稳定 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 13 NG Fabric 形成动态可横向扩展的资源融合架构 环路 不稳定 无负载均衡 脑裂 不能横向扩展 三层路 由问题 广播 洪 泛 ，导致不可扩展、差 错率高、 不稳定 NG Fabric § NG Fabric 借助全新的 Overlay 技术，消除传统扩展弊病 • 增强型的 TRILL （ FabricPath/DFA ） • 增强型的 VXLAN （ VXLAN/EVPN ， ACI Fabric ） § 解放了网络分区的形态，节点小型化、分布扁平化（ “ 胖 POD” ） • 动态平滑横向扩展： Pay as You Grow • 节点分布式、小型化：更细颗粒度的扩展 • 高可用、高性能、低延迟 • 简化管理 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 14 1 接 2 安全控制 Extranet 接入 安全控制 Extranet 入 安全控制 安全控制 Extranet1 Extranet2 主机 生产 业务 B 安全控制 安全控制 生产 业务 A 前置 3 安全控制 前置 1 安全控制 前置 2 安全控制 安全控制 办公 业务 安全控制 域 区 广 网 心骨干网 核 分行 2 备网银 安全控制 安全控制 Internet Internet 灾备中心 安全控制 高 速 心 交换 核 安全控制 网管 1 网管 2 安全控制 传统数据中心的业务分区竖井 VLAN 1~10 L3 L2 安全控制 主网银 VLAN 11~20 VLAN 21~30 分行 1 § 传统的分区式网络架构导致资源竖井 限制了 Oracle RAC 、 HACMP 等的集群化并行处理 限制了 VMware 、 Hyper-V 等虚拟环境需要自由灵活的虚机调度范 围 限制了同部门服务器跨区延展（跨区的 VLAN 延展） 限制了 FCoE 等存储融合所需的低延迟、高吞吐、纯二层交换环境 § 传统的分区扩展的方案导致严重问题 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 15 传统设计为何做不到真正的资源融合 传统生成树 传统 VXLAN 传统 VXLAN ，传统二层多路径 （ TRILL… ） 环路 不稳定 无负载均衡 根本无法扩展 不能横向扩展 不稳定 脑裂 组播洪泛 难于管理 传统跨机箱捆绑 单播洪泛，二层广播 VXLAN/VLAN 网 关 设计困难，难于维护 16 WAN/Core § 边缘终结所有的主机二层协议：包括 MAC 学习 , ARP, IGMP, LLDP, DHCP…… § 内部严格的故障隔离： Fabric 内没有生成树、 ARP 广播、未知单播洪泛等 等， 象传统的路由网络一样可扩展 § VLAN Anywhere ：任何服务器可在任意 VLAN ， VLAN 可延展到全网 § Gateway Anywhere ：任意位置都可做任意 VLAN 路由，同一 VLAN 网关一 致 § Routing Anywhere ：无论 VLAN 内还是 VLAN 之间都以类似三层路由的方 式通信 需要全新一代的 Fabric 技术： NG Fabric GW IP: 10.1.1.1 GW MAC: 0011:2222:3333 增强型的 VXLAN 高可用性 动态接入 象三层路由网络一样的扩展和隔离性，实现统一的二层 / 三层转 发 Cisco NG Fabric 带来优 势 灵活拓扑 增强型的 TRILL 横向扩展 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 17 NG Fabric 形成动态可横向扩展的资源融合架构 § NG Fabric 借助全新的 Overlay 技术，消除传统扩展弊病 • 增强型的 TRILL （ FabricPath/DFA ） • 增强型的 VXLAN （ VXLAN/EVPN ， ACI Fabric ） § 解放了网络分区的形态，节点小型化、分布扁平化（ “ 胖 POD” ） • 动态平滑横向扩展： Pay as You Grow • 节点分布式、小型化：更细颗粒度的扩展 • 高可用、高性能、低延迟 • 简化管理 环路 不稳定 无负载均衡 不能横向扩展 脑裂 网关问题 广播 洪 泛 ，导致不可扩展、差 错率高、 不稳定 NG Fabric 18 适于各类数据中心规模，按需增长 2 Spines 4 Spines 6 Spines 8 Spines 12 Spines 16 Spines 2,304 3:1 Ports 4,608 3:1 Ports 9,216 4:1 Ports 9,216 3:1 Ports 18,432 4:1 Ports 18,432 3:1 Ports 48 ToRs 96 ToRs 192 ToRs 192 ToRs 384 ToRs 384 ToRs 16 uplinks per ToR 16 uplinks per ToR 12 uplinks per ToR 16 uplinks per ToR 12 uplinks per ToR 16 uplinks per ToR 50 Switches 100 Switches 198 Switches 198 Switches 396 Switches 4400 Switches 当前可扩展规模 32 Spine 768 Leaf 传统数据中心资源整合的瓶颈 数据网络、高性能计算网络、存储网络 各相独立 LAN SAN B SAN A Gateway Data Center SAN High Performance Computing HPC Data Center LAN Acces s Layer Server Server SSeServerevrverer r SSeServer evrverer r SSeServer evrverer r SSeServer evrverer r SSeServer evrverer r SSeServer evrverer r SSeServer evrverer r FC FC Ethernet Ethernet SSerevre vrer SeSrveerrve rSSerevSreve rervrer SeSrveerrve rSSerevSrev erervrer SeSrveerrve rSSerevSreve rervrer SeSrveerrve rSSerevSreve rervrer SeSrveerrve rSSerevSreve rervrer SeSrveerrve rSSerevSreve rervrer SeSrveerrve rSSerevSreve rervrer Optical Cables MDS 9500 Catalyst 6500 SFS7000 Cat4900 MDS9200 § 耗费大量功率 § 线路结构复杂 ，难于管理、扩 展 § 资源没有整合 ，无法实现复用 统一交换实现计算、存储的资源整合 Unified Fabric—— 统一交换平台 HPC 、 LAN 、 SAN 合 一 10GE DCE / FCoE ccess A ayer Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server L Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Server Ethernet Copper 10GE 40GE 100GE DCE/FCoE . . . N. ex. us . 5 000 Nexus 7000 SAN B§ 绿色数据中心 § 易于管理维护升 级 § 最大程度的资源整 合 ，为虚拟化、自动化 打下基础 Unified DC by Weihang © 2012 Cisco Systems, Inc. All rights reserved. Cisco Confidential 21 计算资源和存储资源的自由融合 § Dynamic FCoE （ FCoE over NG Fabric ） 在 NG Fabric 上冗余且负载均衡的传播 FC 存储数 据 存储接⼊入灵活：⽀支持 FC 、 FCoE 、 iSCSI…… A/B 双独⽴立转发平⾯面，冗余且差错隔 FCoE Fibre Channel Multiproto