算网一体技术方案

微信扫码，打开到小程序

算网一体技术 100 年前 点亮 电力 现在 催生 算力 ChatGPT 等大模型的火爆 ，让算力越来越受 关 注，“海量数据 + 大算力 + 大模型”成为未来 人工智能发展标配 算力已成为数字经济核心驱动 ， 直接影响数字经济发展的速度 ，决定社会智能的发展高 度 ① 算力成为数字经济核心生产要素 ②算力直接带动数字产业化发展 ③ AIGC 使公众对算力的认知不断提 升 计算机等设备制造 其他制造业 批发零售业 互联网、软件和信息服务 金融业 能源供应 科研和技术服务 住宿餐饮业 文教卫生与社会服务 环境和公共设施管理 算力规模平均每增长一个百分点 ，带动数字 经 济增长 0.4 个百分点、 GDP 增长 0.2 个百分 点 算力是数字经济核心生产力 直接带动产 出 间接带动产 出 0 0.5 1 1.5 算 水 电 网 ” 2 中国某著名企业充分把握算力时代发展脉络 ， 以网强算提出“算力网络”全新理念 ， 两年多 来持续 开拓创新 ， 全力推进算力网络发展 ， 在业界取得了广泛共识 ， 引起了巨大反响 算力网络是以算为中心、 网为根基，网、云、数、 智、安、边、端、链 ABCDNETS) 等深 度 融合、提供一体化服务 的新型信息基础设施。 中国某著名企业提出“算力网络”新理念 发布新理念 发布中国某著 名企业 《算力网络白皮 书》和发展倡议 事长提 出 " 算力网络 概念与愿景 — 中国某著名企业《算力网络白 皮书》 2021.11 2021.8 中国某著名企业从算网基础设施构建、 业务融合创新、 创新技术引领等多方面系统化推进 算力网络 建设和发展 物理空间、 逻辑空间、 异构空间、 多 主 体算力融通 “4+N+31+X” 布局 ， 1000 边缘节点 打造 20ms 、 5ms 、 1ms 三级时延 圈 SRv6/G-SRv6 打造统一算网底座 实现算网高效协同 ， 支持 CHBN 业 务融合发展 ，打造算网全新生态 产品算力化和算力产品化 发布算网服务 1.0 构筑算网大脑 实现创新技术引领 ，打造原创技 术策源地 三横两纵体系架构 三十二个核心技术形成技术体系 构建试验网 CFITI ，打造科学装 置 主线一 面向算网基础设施构建 主线三 面向创新技术引领 主线二 面向业务融合创新 推动算力网络体系化发展 4 2021-2023 融合服务：产品融合、确定性服务 统一运营：统一入口、统一平台 智能编排 算网融合 “ 算网一体”是中国某著名企业算力网络发展的 深化 算力网络的发展经过三个阶段的发展 ， 逐渐深 化 一站服务：一站开通算网服务 协同运营：云网运营双入口拉通 一体服务：多层次智简无感服务 模式创新： 多方算力可信交易 十四五阶段 2025 发展阶段：融合统一 起步阶段：泛在协 十五五阶段及更长期 一体内生 基础设施 运营服务 编排管理 算网一体 协同编排 智慧内生 网随算动 跨越阶段： 2024-2025 同 5 算网一体是算力网络发展的目标阶段 ，是计算和网络两大学科深度融合形成的新型技术簇 ，是融合贯通多要 素的一体化服务 ，是实现算力网络即取即用社会级服务愿景的重要途径 —— 中国某著名企业《《算网一体网络架构与技术体系展望白皮 书》 OTN/OXC OTN/OXC 分布式算力（端） OTN/OXC 分布式算力（边） 分布式算力（中心） 分布式算力（中心） 分布式算力（边） 分布式算力（网） 统一 IP 算网底座 以网强算构 建算网共生 一体化新型 信息基础设 施 ， 实现融 合贯通多要 素的一体化 服务 算网一体的驱动力 科学计算 算网一体化 设施新基础 AI 大模型应用 产业数字化智能化升级 绿色 低碳 算网一体 服务新需求 算网一体化 算力泛在 展新约束 网络极致 网一体化 全光底座 分布式算力（端） 分布式算力（网） 算 发 联合感知 算力信息 CPU 利 用 率 异构算力 算力规模 4. 算网数字孪生 基于网络大模型的算网数字孪生构建可视、 可管、可控的算网基础设施 7 算网一体通过“联合感知”“混合控制”“极致互联”构建面向智能化时代的数字基础设施 3. 广域 RDMA 突破 RDMA 长距传输瓶颈， 实现广域高性能互联 1. 算力路由 创新互联网架构协议 ，基于算网资 源 联合感知实现动态融合决策选 路 2. 在网计算 网络内生算力 ，基于集中式控制 ，实现 计算任务跨云、网、边、端分布式协同 CSP4 CSP2 支撑 作用 算网一体总体设计 • ISP ：网络服务提供者； CSP ：算力服务提供 者 网络信息 拓扑信息 拥塞状态 SLA 指 标 极致互联 集中式控制 任务分解与 调配 ISP2 CSP1 关键技术 节点 3 CSP3 ISP1 混合控制 节点 1 节点 2 分布式控制 前提 消费侧 节点 4 批量 100 个客户端通过 http 连续访问服务端程序 解决思路 在路由中引入计算信息 ，进行联合调度 , （ 1 ）感知：路由系统感知计算资源 （ 2 ）路由：综合网络和计算信息寻址选路 形成算力感知网络 CAN 的核心方向 - 算力路 由 问题本质 计算和网络是独立系统 ，算的负载和网的 拥 塞信息没有产生关联 算： 降低负载、计算资源预留 ... 2018 年开始研究算网融合技术 ，面向云边协同和边边协同的“性能反转”等问题 ，提出在路由域引入计算信息进行联合调度 - 计算负载高及网络队 列 深的条件下 ，边缘响 应 平均时延及尾时延 远大 于中心云 - 算的负载状态以及网 的 拥塞情况均是问题来 源 发现问题 云边以及边边调度之间出现“性能反转” 通过仿真发现在路由中引入算力信息在低、 中、 重载情况下均有一定的优化效 果 1 、算力路由 (1/4) 造成大量计算资源 的闲置 增加网络建设、运 维成本 网： 增加带宽、配置专 线 ... 边缘节点 边缘节点 中心云 范围 • 基础工作 ：问题声明、场景、需求、技术分析等 • 总体架构：定义、组网、功能模块等 • 其他基础工作：计算指标的分析、控制面和数据面的定义、 基于现有协议的实现、潜在新协议需求的分析 里程碑 / 计划 • 2023 年 7 月 ，采纳问题声明、场景、需求、技术分析等 基 础文稿 • 2024 年 7 月 ，采纳架构文稿 • 2025 年 11 月 ，提交架构文稿至 RFC 发布序列 历经 4 年 ， 中国某著名企业在 IETF 发起成立算力路由工作组 (CATS,puting-Aware Traffic Steering) 并担任主席 ，是 IETF 路由域近 10 年由中国高校 / 公司牵头成立的两个工作组 之一 CATS 面向 AR/VR 、车联网等新型多节点部署服务的场景 ，考虑网络边缘节点如何引导服务 的 客户端和提供服务的站点之间的流量的问题， 制定算力路由的场景、需求、架构标准 1 、算力路由 (2/4) 9 CATS- control center ： • CATSputing information Base(C-CIB) ：维护细粒度的计算信息 • CATS Network Metric information Base(C-NIB): 维护细粒度的网络信息 • CATS Path Calculation Unit(C-PCE): 计算最合适的网络路径和选择服务节点 • CATS-SBI interface: CATS-control center 与 CATS-Router 的接口 Ingress CATS-Router ： • CATS Traffic Classifier(C-TC): 区分是否是 CATS 流量 ，决定服务节点 • CATS Path Selector (C-PS) ：选择网络转发路径 Egress CATS-Router ： • CATS Network Metric Agent(C-NMA): 收集和分发网络指标 • CATS Service Metric Agent(C-SMA): 收集和分发服务和计算指标 CATS 已经召开二次会议 ， 目前已经完成场景和需求立项 ，聚焦在架构、需求、计算指标定义等工 作 1 、算力路由 CATS （ 3/4 ） CATS 核心组件 CATS 架构 10 . 完成算网控制器和算力路由网关原型样机开发， 构建业内首个集中式算力路由验证系统 . 推进广东珠海现网试点验证 ，验证业务承载量提升 30% 以上 ，算网综合资源利用率提升 32% 以上 阶段 II 端到端算力路由系统验证 . 开展规模性部署的 CATS 技术方案验证 . 开展 CA-BGP 等新型协议的验证测试 . 分布式算力路由样机已进入平台测试阶 段 算力路由系统根据网络部署情况 ，支持集中式、分布式、混合式等多种组网方案。 从集中式组网方案开始 ，分阶段逐步开展算力路由实验验证 《面向算网一体的算力路由技术攻关和标准突破》方案成功入选 2023 届未来网络领先创新科技成果 11 CA-BGP 算力路由 网关 5 CA-BGP 算力路由 网关 算力路由 网关 算力路由 网关 《算网一体技术体系关键技术创 新案例》荣获 CCSA TC6102022 年度“最佳实践案例” 《算力感知和算力路由构建算 网一体化调度》荣获工信部 2022 年 ICT 优秀案例“卓越科 技创新奖” 《算力感知和路由方案》通信 世界全媒体“ 2023 年度算力 应用案例十大标杆” 1 、算力路由 (4/4 ） 云管理平台 Tel BGP SRv6 Policy BGP-FS Netconf 阶段 I 集中式方 案 总体测试方案 算网控制器 3 集中式算网一体感知 分布式算力路由样机 4 集中式多策略调度 1 分布式算力感知 2 分布式网络感知 算力路由网关 -LS emetry 算网一体感知协 议 CA-BGP- LS 算网控制器 算力路由转发 5 算力路由 网关 Restful 云资源池 云资源池 集中式： 分布式： CA-BGP 4 4 3 1 1 5 5 4 2 3 应用 APP 应用 APP 用户 CA-BGP BGP 2 4 4 4 ECMP 等网络侧调度策略无法适应智算网络差异 化的流量特性 ，造成网络链路负载严重不均衡 MPI 集合通信的实现方式并未和物理网络联 动设计 ，网络中存在大量冗余信息 通信开销已成为分布式 AI 模型训练的性能瓶颈， 严重制约系统规模扩 展 现有的网络侧及端侧解决方案仍面临负载不均衡、难以动态调度等 问题 • Tensorflow 在 128 训练 InceptionV3 模型（参数量 2000 多 万） ，节点间通信时间已接近系统总处理时间的 50% • GPT-3 模型已增长至 1750 亿参数 ，训练预估需要 5000 张 GPU 卡， 通信瓶颈问题将被进一步放大 通信复杂度： 0(og) 0() 大模型训练常用的梯度聚合算法 ② Server Server Server 2 、 在网计算 （ 1/4 ） 以在网计算实现 MPI 接口广播及规约操作为例， 说明在网计算对 AI 模型训练系统性能提 升 问题根源及现有方案的不足 MPI_Broadcast() 组播 MPI_Reduce() 规约 在网计算 主要优势 通信复杂度： 0og) 模 型 参 数 总 量 线速处理 缩短传输路径 网内处理 ，实现 Sub-RTT 通信 大模型训练的模型同步与数据同步算法 流量压缩 交换机 Tbps 处理能 力 在网聚合 ，数据消冗与求和 背景问题 Client Client 发送 Switch ③ 接收 计算时间 通信时间 12 12 100% 发送 接收 0% ① 产业实践 在网聚合 IB based MPI-Bcast SIM ’22 面向 AI 训练场景 ，多 基于 NP 交换机实 级交换机参与 PS 参数 现 PS 参数聚合 ， 基 向量聚合 ，基于 IP 协 于 UDP 协议设 计 议设计 ATP Header Trio-ML Header 挑战 竖井式 现有在网计算设计面向单一场景 ，在 协议设计、硬件实现等方面不通用 封闭化 基于 Infin i Band 网络协议栈及专用 网络硬件实现在网计算 ，成本昂贵 开发不友好 应用程序开发模式和网络开发模 式不匹配 ，开发者学习门槛高 在网计算在学术和产业上已经有一定的研究基础 ，仍然面临竖井式、封闭化、开发不友好等挑 战 2 、 在网计算 （ 2/4 ） 基于 FPGA 和商用 交换机实现传输 层 透明的参数在 网聚 合 基于 IB 交换机的 硬 件组播能力 ， 实现 MPI_Bcast 基于 IB 智能网 卡 和 IB 交换机 ， 实 现在网聚合 学术研究 NetReduce 在网聚合 在网组播 HPC ’16 ASPLOS ’23 IPDPS ’04 NSDI ’21 SHARP Trio ATP AI 训练 / 推理 同步 / 异步控制 统一通用的在网计算通信库、实现分布式应用逻辑与物理通信高效映射， 重构应用计算、开发模式 中国某著名企业提出在网计算 NACA 架构（ Network Assistedputing Acceleration ）， 通过重塑应用处理和开发模式 ，实现系统加速 ，提升算网 资源利用率 在网计算 通信库 高性能互联 异构网元 发布在网计算 (NACA) 技 术 白皮书 2 、 在网计算 （ 3/4 ） Omni-Path INC 拓扑感知 DC 交换机 Slingshot INC 可靠传输 Infin iband INC 标识转发 边缘汇聚 交换机 分布式 应用 园区网关 NACA 架 构 端侧适配器 RoCE 多对一通信 多对多通信 一对多通信 大数据 HPC 架构 AlexNet VGG19 VGG16 VGG11 ResNet15 2 ResNet10 1 ResNet50 BytePS 330 110 120 130 110 155 250 Horovo d 500 130 150 210 100 148 235 在网计 算 540 155 175 215 115 165 265 测试基准： GPU 型号： 2080 单位：图片数 / 秒 训练提速： 相比参数服务器架构 BytePS ，通信密集型任务 最 高可提升 60% 以上 带宽优化： 相比 RAR 架构 Horovod ， 降低智算集群网络带 宽 占用约 1 倍左右 • 在网计算继承了集中式的 PS 架构 ，网络高速处理能力克服了 PS 侧的通信瓶颈 • 相比环形结构 RAR ，在网计算某省市带宽资源 ，且处理性能方面仍有提升 以分布式机器学习模型训练为典型应用场景 ， 中国某著名企业推进在网计算的验 证和标准 2 、 在网计算 （ 4/4 ） 标准推进：在 CCSA TC3 WG3 牵头完成首个在网计算行标立项 分布式模型训练在网计算系统架构创新 中国某著名企业 CFITI 试验网 创新验证 PS 架构 参数服务器聚合 RAR 架构 循环参数聚合 带宽资源占用高 通信效率低 GPU 节点 N 在网聚合 GPU 节点 2 GPU 节点 3 GPU 节点 1 GPU 节点 N GPU 节点 N GPU 节点 1 GPU 节点 3 GPU 节点 3 GPU 节点 2 GPU 节点 2 GPU 节点 1 • 自动驾驶 • 影视制作 • 科学计算 • 云迁移 • 多云灾备 • 多云协同计算 • ... 16 自动驾驶训练数据 上云 单车日产数据几 TB 至十几 TB ， 完成 L3 训练预计产生 8EB 数据 ， L4 训 练预计产生 20EB 数据 综艺原始素材上云 综艺原始素材总量一年达 500PB ， 10TB~100TB 量级 / 日 / 节目 基因测序数据上云 国内某基因企业基因测序数据年数据 100PB ， TB~100TB 量级 / 次 FAST 观测数据上云 FAST 每年 200+ 以上观测项目 ，产生数据 15PB 左右 ， TB~PB 量 级 / 次 2025 年中国数据量将达到 48.6ZB ，其中适合东数西算的温、 冷数据占比 95% 为保证数据的安全存储以及有效管理 ， 某省市场规模不断扩大 ， 2019 年达到了 32 亿元 ， 2023 年达到了 51 亿元 ， 年复合增长率约为 12.4% 海量数据跨广域网传输的场景越来越多 ，数据异地上云、云间迁移等场景的数据规模越来越 大 • 东数西 存 • 东数西 训