优质均衡建设解决方 案 县域教育信息 化 COUNTY EDUCATION INFORMATIZATION QUALITY AND BALANCED CONSTRUCTION SOLUTIONS 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号 军哥系统集成号

......................................................................................171 4.3.9 负载均衡........................................................................................176 4.3.10 大限度保障数据安全性和可用性。逻辑架构如下： 私有云平台 分布式存储系统是整个云平台架构不可或缺的核心组件，通过 分布式存储集群体系结构提供基础存储资源，并支持在线水平扩容，同时融合 智能存储集群、多副本机制、数据条带化、数据重均衡、故障数据重建、数据 清洗、自动精简配置及快照等技术，为虚拟化存储提供高性能、高可靠、高扩 展、易管理及数据安全性保障，全方面提升存储虚拟化及云平台的服务质量。 3.3.3.2 存储资源池规划 SDN。网络资源池可以为应用提供功能至 少包括：  基于租户概念的网络分配  软件防火墙  软件路由器 采用网络虚拟化 VXLAN 协议进行设计，包含虚拟网络和物理网络的设计， 包括软件路由器、软件交换机、软件负载均衡、软件防火墙、物理网络架构、 网络部署、网络容量规划等设计内容，边界为数据中心核心物理交换机的内网 网络接口到物理机或虚拟机的网络接口。 3.3.4.1 整体架构设计 在本次项目中我们将采用

智算网建 设演进划分为打造底座、构建系统、完善生态 3 个阶段，并给出 了新技术发展及创新方向，为金融机构开展 AI 大模型智算网络 规划及建设提供参考。 关键词：大模型训练、智算网络、负载均衡、流控技术、拥 塞管理 IV 目 录 一、研究背景 ................................................. 1 （一）AI 大模型发展趋势及挑战 二是高可用互联挑战。由于AI并行训练通信具备不规整的特 征，即单流通信量大，ECMP选路不均衡，极易导致网络出现局部 堵点，从而导致训练效率下降。以GPT3-175B大模型千卡并行训 练为例，训练期间网络中同时存在的流数目千条以内，ECMP选路 方式下，高负载链路利用率：低负载链路利用率达7:1，即流量 无法有效hash，高负载链路堵点概率极大。因此对网络负载均衡 4 调优、无损传输等提出了更高要求。同时大模型的训练和推理也 一是以英伟达、华为为代表的AI芯片提供商通过网络和计算 联合调优，有效避免通信拥塞。英伟达在AI以太互联解决方案中， 通过Spectrum交换机和BlueField网卡的协同，完成逐包均衡以 缓解流量拥塞。华为提出网络级逐流负载均衡，通过网络控制器 的全局视角获取全网拓扑，与端侧配合获得计算任务信息，通过 对流量的主动干预、主动调度，从而达到近乎满吞吐的目标。此 外，英伟达在超节点组网中引入了超高速互联通信机制。以英伟

基于分布式数据库的交管数据查询索引处理方案..................................41 2.6 交管数据处理集群的可靠性与负载均衡设计................................................42 2.6.1 负载均衡处理机的单点失效容错处理....................................................42 .46 2.7 计算与存储集群的可靠性与负载均衡设计....................................................47 2.7.1 计算与存储集群 Master 单点失效容错处理...........................................47 2.7.2 计算与存储集群的负载均衡处理..................... ................................60 2.8 查询统计计算可靠性与负载均衡设计...........................................................62 2.8.1 基于 Zookeeper 的单点失效和负载均衡设计........................................62 2.9 系统安全性设计

.................................................................................199 4.3.1.3.5 数据重均衡................................................................................................... ..................273 4.3.9 负载均衡......................................................................................................................274 4.3.9.1 负载均衡概述.............................. ....................................................................................278 4.3.9.5 负载均衡隔离性................................................................................................

将业务流拆分到不同“报文容器”转发，提供逐 “报文容器”负载均衡机制，提升带宽利用率 从被动拥塞控制，到基于“授权请求和响应机 制”的主动流控，最大限度避免网络拥塞产生 全局视野的转发调度机制，实现集中式管 理 运维、分布式控制转发，提高网络可用 性 当前：逐流负载，链路利用率低、发生拥塞被动降速 未来：逐报文容器转发，链路负载均衡，全局调度，避免拥塞 Spine Spine Spine 转发的一种核心转发机制，该机制下以太网报文根据最终设备或者设备出端口被逻辑分 配 并组装成”逻辑等长”的虚拟报文容器，并以该”容器”为最小单元在交换网络中传输 基于确定长度的容器转发 提升多链路均衡性 报 文 容 器 1 早期 链路速率低 长短包转发差异性大 切 Cell Cell1 Cell2 Cell3 报文容器 将来链路速率高 总转发带宽增 大 Cell 相应增大 组容器 vs • 逐流负载均衡 → 高时延 甚至 丢包 • 容器负载均衡 → 长尾时延低，网络利用率高 低时延 100 0 流量负载 （ % ） 报文 时延 非均匀到达模型下 时延 vs 负载 负载均衡和重排序 负载均衡方式 轮询 随机 基于拥塞感知 • 每个转发节点根据自身负载情况对 PKTC 进行负载均衡，且同 PKTC 内的报文转发路径相同，高精度负载均衡 方 式，消除网络微突发，获得转发低延迟

等级保护 2.0 拓扑图案例 整体技术体系架构 产品清单 下一代防火墙 数据库审计 负载均衡 感知平台 + （检测探针） 上网行为管理 SSL VPN 信服云眼 / 信服云盾 日志审计系统 漏洞扫描系统 主机杀毒 运维堡垒主机 云平台安全建设拓扑图 法院等级保护 高校等级保护 广播电视等级保护 监狱等级保护 医院等级保护解决方案 医院整体拓扑图 内网终端接入域 核心业务域（三级系统域） 乡镇、社区卫生中心 外联域 财务 系统 FTP 内网核心域 HIS 系统 EMR 系统 LIS 系统 HIP 系统 PACS 系统 OA 系统 手麻 检测 探针 负载 均衡 内网运维管理域 安全感知平台 运维堡垒主机 补丁分发系统 日志审计系统 防病毒服务器 漏洞扫描系统 内网前置 网闸 外网前置 机（下一代防火墙）机 机（下一代防火墙）机 业务内网 外网运维管理域 日志审计系统 运维堡垒主机 补丁分发系统 漏洞扫描系统 防病毒服务器 外网核心域 对外服务器域 下一代防火墙 （增强级） 负载均衡 门户网站 于安全服务 于防御 + 安全与家职守 对外业务安全于监测、于防护 对外服务器域 亏联网域 办公外网 终端接入域 预约挂号系 统 APP 平台 下一代防火墙 （基础级）

.......................................................................... 24 5.3.1 层次化负载均衡：整网规划，局部调优，多粒度负载均衡......................... 24 5.3.2 拥塞控制：算法无关，迅捷智能........................................ Wide Area Network 高性能广域网 IFA Inband Flow Analyzer 带内流分析器 IGLB Intelligence Global Load Balance 全局负载均衡 IGP Internal Gateway Protocol 内部网关协议 INT Inband Network Telemetry 带内网络遥测 IOAM In situ Operations 塞控制及故障恢复机制。 2）抖动方面：现有拥塞控制技术如DCQCN等，主要面向丢包和吞吐，对于控制抖动 的考虑较少，需要更精准的拥塞及流控机制。另一方面，针对大模型训练产生的大象流，网 络负载均衡粒度过粗也会导致网络抖动难以管控。 3）吞吐方面：高吞吐设计是一个复杂的系统工程，涉及机内外和软硬件的精细协同， 单项指标的提升无法有效提高吞吐率，还可能导致此消彼长效应，丢包、时延、吞吐往往会

前基于网络传送的方案仍存在不足，百兆专线耗时长，而万兆专线 /OTN 专线成本高，亟需对网络进行升级，提供更为高效且具性价比 的数据入算服务。 为了实现海量数据的高效流转，网络需要具备网络级负载均衡能 力，全面提升整网的有效吞吐量，打造高运力网络，为数据高效传送 提供坚实基础。同时，网络需要具备高度的弹性与敏捷性，基于任务 式服务为企业按需提供弹性带宽，满足短时间内大批量数据传输的需 求。 无损传输能力，避免出现拥塞、丢包。同时， 网络还需通过租户级切片保障业务间的有效隔离，在保障业务 SLA 要求的同时，避免业务之间故障相互影响。 综上，云边协同训推场景对算力城域网的需求是：具备网络级负 载均衡和RDMA无损传输能力，保证在用户吞吐不下降的同时，TTFT 和 TPOT 劣化低于 5%；具备端到端租户级业务隔离能力，有效保障 多租户 SLA。 3.2.5.推理下发需求 推理应用的规模 等数据传输协议的统一承载。 （3）算网赋能，使能商业  引入弹性带宽、超高通量、广域无损等新技术，支撑存算分离 拉远训练、跨集群协同训练等创新业务和服务。  基于大象流自动识别与智能调度，实现网络级智能负载均衡， 达到全网资源利用率最优，提升投资收益比。  通过算力业务应用感知和流级精细化调度，支撑差异化算网产 品和服务的商业创新。 （4）智能运维、安全可靠  实现高精仿真，消除因配置差错导致的网络事故。

虚拟机。 第 9 页 共 157 页 云平台总体架构如图 本次采用成熟先进的SDN+VxLAN技术，实现云平台的 “云+网+端”的云网一体化管理和运 维，通过核心网络旁挂VPN、网络链路负载均衡等相关网络设备，以及边界防火墙、日志审计、 数据库审计等安全设备，实现动态的网络资源调配和隔离。 IAAS层：基于OpenStack+kubernetes双引擎架构，本次搭建的XX学院云平台计算资源池、 NAS和SAN等架构的存储解决方案，全面支持SCSI、FC，iSCSI，NFS、CIFS等存储协议，对外可 提供块存储、文件存储和对象存储服务。网络资源池是对网络设备的虚拟化，可对外提供虚拟 交换机、弹性负载均衡和虚拟路由器。这些虚拟化设备通过开放的基于OpenStack的云平台管 理平台进行管理调度，对外提供计算（NOVA）、网络(NEUTRON)和存储（Cinder）服务，打造 新型的基础设施资源。 的高性能的技术，采用 CVK能够像管理物理处理器一样地管理核心。  对称多处理器 虚拟化软件虚拟对称多处理技术(Virtual SMP) 可以使单个虚拟机同时使用多个物理处 理器，并能够在处理器之间均衡负载。必须具有虚拟 SMP，才能打开多处理器虚拟机电源。一 些关键业务，比如数据库类应用（Microsoft SQL、Oracle、IBM DB2、SAP）和商业、科研应 用，在开发的的时候会充