技术在全球范围内的商用推广，通信网络的规模和复杂性急剧 增长。近年来，全球通信网络中的重大故障事件也屡屡发生，给运营商和用户带 来了严重的影响。根据互联网公开数据和行业报告不完全统计，在 2021 年至 2024 年期间，全球通信行业发生了超过 66 起重大网络事故，影响范围广、恢复时间长、 经济损失严重。如何提高网络设备的容错性、提升整网抗信令风暴的鲁棒性以及 故障自愈的高效性是 6G 网络必须优先考虑和解决的问题。 图 图 1 2021年至2024年4/5G商用事故统计 事故诱因复杂，以网络故障和动网操作为主。4G/5G网络的故障呈现出软硬结 合、内外因交织的复合性特点。其中，网络故障占比约50%，通常由网络自身设 计缺陷或容灾不足引起网络中断，包括硬件故障、网络云故障、核心网故障、传 输承载故障等。其次，动网操作占比约38%，通常由人为的网络维护操作、或升 级调试等行为引发网络功能异常、甚至信令风暴和大面积服务中断。 4/5G智能终端永远在线的设计，导致短时间内反复重试引发过载。 语音和数据业务会同时受影响。占比约88%，因语音和数据业务强耦合设计， 一方面语音业务都是基于IMS承载的，当数据业务发生故障，语音业务也将遭受 牵连；另一方面因为终端的语音优先策略，当语音业务故障时会释放数据连接。 事故诱因 事故现象 业务影响 中断时长 3 业务中断时间长。88%的事故中断时长超过2个小时，50%的事故中断时长超过 5个小时，主要

战，这些挑战涉及日常运维、主动预防以及故障恢 图1.1 混合云现代化运维顶层设计参考架构 运维体系 现代化 统一化 运维体系 运维体系升级 IT架构演进升级 平台运维现代化 极简性 运维体验 极简信息汇聚 极简运维操作 极简管理决策 预见性 风险治理 风险预防管理 变更风控管理 混沌工程演练 确定性 故障恢复 可用性指标构建 全链路可观测 故障感知与快恢 云网定位定界 应用运维 应用数据治理 运维故障分析 安全运维现代化 无死角 安全管控 用户授权可控制 作业过程可信赖 合规遵从高等级 体系化 租户安全 云原生安全 全栈端到端安全 智能安全管控 混合云现代化运维设计参考架构 数字资产&运维能力迭代 云运维团队组建 运维团队管理流程经验 运维人才培养机制 运维团队能力沉淀 运维专家经验知识库 运维脚本、故障模式库 智能客服 运维资产智能转型 复等方方面面，华为在每个领域都提出了运维现代 化改进的方案：极简性的运维体验应对政企混合云 运维投入人力有限的场景，保证混合云运维效率； 预见性风险治理帮助政企客户实现风险的提前感知 与预防；确定性故障恢复则给出了在云与业务耦合 度日益加深的背景下的最佳答案。 应用运维现代化 当前，越来越多的用户将关注点从云与设备运维转 向应用的运维，尤其是承载着经济乃至国计民生的 05 核心应用的运维受到运维管理者额外的重视。将应

，并依据该状态发展趋势和可能的故障模式 ，预先制定维修计划 ，确定机器应该修 理的时间、 内容、方式。预测性维护可以为企业带来以下效益： ☐ 降低维保成本 ☐ 延长设备寿命 ☐ 提高设备使用率 ☐ 减少库存成本 ☐ 提升生产安全 维护触发点 固定周期，不考虑设备实际 状态，可能带来过度维护 必要时，预留足够应对时间 给一线人员在故障前做出应对 维护方式 根据零部件的平均损坏率进行维护， 遵从操作手册（凭经验） 有计划无目标 事后维护 故障发生后 最昂贵的维护 事后维修比事前预防的成本高约 50% 以 上 状态监测 健康评估 异常监测 故障预测 故障诊断 维修决策 图形 1 解决方案 解决思路 将数据和知识库进行深入融合，构建 AI 模型库： 如整合设备传感器数据与知识库中的故障案例，预测 剩余使用寿命（如“轴承预计 AI+ 设备管理（预测性维护） 基于设备运行状态——实时监测与数据分析的主动维护策略：  持续采集设备运行参数（如振动、温度、电流等）；  利用机器学习或物理模型预测设备劣化趋势；  在故障发生前，精准定位风险点并制定干预计划。 全面设备管理体系的三类方式比较 模式 特点 事后维护 " 不坏不修，坏了才修 " ，缺乏事前准备，易导致停工时间延长并扰乱生产计划。 预防性维护 按照

.......... 91 5.3.3 客户故障处理流程......................................................................................................................................... 92 5.3.4 故障受理..................... ..... 92 5.3.5 故障处理......................................................................................................................................................... 93 5.3.6 故障解决.............. 断扩展的需求，必须追求系统的开放性和灵活性。 （4） 高可靠性 在考虑技术先进性和开放性的同时，还应从系统结构、技术措施、设备性能、系统管理、 厂商技术支持及维修能力等方面着手，确保系统运行的可靠性和稳定性，达到最合适的平均无 故障时间。 （5） 实用性和经济性 系统建设应始终贯彻面向应用，注重实效的方针，坚持实用、经济的原则。 （6） 安全性和保密性 在系统设计中，既考虑信息资源的充分共享，更要注意信息的保护和隔离，因此系统应分

障，数据库运维的可靠性与效率，直接决定了业务价值的实现能力。 当前，AI等新技术的发展为数据库可靠运维带来新的机遇与挑战。机遇方面，自然语言交互让非 技术人员也能便捷操作数据库，智能诊断与预测式运维将被动故障处置转化为主动风险防控，自 动化部署与调优大幅降低人工成本。挑战方面，AI幻觉导致的准确性风险、多技术栈（尤其是国产 数据库与云架构）带来的管理复杂度、数据爆炸式增长对灾备能力的更高要求，以及数据安全合 方式提升召回准确率和 稳定性，此外，也可以通过数据预处理矫正出问题的数据。 智能化部署：AI基于用户需求，自动生成配置文件并完成数据库部署，简化传统部署流程。 �.� AI对传统运维的影响 故障诊断与智能运维：根据不同数据库特性，利用AI生成巡检、监控、处置脚本和工具，协助完成 日常运维的巡检、监控、告警等操作，生成巡检报告以及事件总结报告。也可以构建AI Agent，将 运维排查和维 提升后再逐步引入。 �.� 运维应当如何拥抱AI � 稳定可靠 运维面临的挑战 第二章 随着数智化转型推进，海量数据爆发式增长，数据库作为数据底座，重要性越发凸显。对数据库可 靠性、灾备体系能力建设、故障恢复响应速度等提出了更高的要求。 数据库稳定可靠运维面临需求、逻辑实现不可控的挑战。 数据库稳定运行的最大挑战就是需求的合理性。一方面，在源头需求上，可能存在多个需求互斥、 技术无法实现或不合

......................................................................................... 28 6.1 故障运维以业务为中心，提升客户体验 ................................................................................... Tech-Co”战略，2024年起，聚焦故障处理 和投诉处理两个高价值场景，充分利用LLM和Digital Twin技术构建L4能力；2025-2026年， 计划在网络优化、网络配置变更、网络规划等更多高价值场景打造L4能力。 Singtel集团：将自智网络视为未来战略，已在集团成立自智网络 Program，加强子网间 的经验分享与协作，共同迈向自智网络L4。目前聚焦于故障管理、投诉管理、无线节能和无线 none”的少人化/无人化的自智网络愿景，致力于成为自智网络先锋。目前聚焦家宽体验保障、 无线节能优化、无线故障处理、无线网络优化等高价值场景。 Orange: 自智网络是集团“Lead The Future 2030”战略的5个重点工作之一。明确了 向自智网络L4演进的目标，目前聚焦网络变更、故障管理等高价值场景。 Telefónica：发布公司级战略“AN Journey”，聚焦于网络O&M等高价值场景，以全网

部署的区域 ，所有探针全 MESH 多协议探测， 统一的健康度计算、告警 ，并呈现在态势感 知拓扑。帮助运维人员快速判断应用故障是 否与网络有关。 全局网络拓扑 网元自动发现： 基于网络运行数据生成网 络拓扑 ，从架构、 区域、设备到链路整体可 视化 以健康度评估模型为触点 ，构 建故障场景 ， 自动定位故障根因 极简网络发现：基于标准协议， 自动发现 网络设备、连接关系 智能监测： 发现网络后自动采集网络时延、 丢包率、利用率等网元指标 ，动态更新 星空雷达网络 AI 分析平 台 构建数字孪生模型 l l l l l l 自动感知故障 自动发现网络 能力开放 智能分析 故障定界 依托数据中心全景视图大屏 以及聚合展示 ，以网络存活度、平均响应时延、平均丢包率等指标对批量设备的 IP 进行监测 ，星空雷达关注的重点不 再 是单个网元的故障 ，而是可能引起大规模故障的异常网元集合。 星空雷达网络 分析平 台 AI 将网络抽象为设备、链路、路径三类网元 ，而网元健康度基于不同的计算因子采用扣分机制 ，结合历史波动、 异常样本， 自动分辨计算指标的异常状态

DB4403/T 442—2024 5 小区的网络需求。一条链路传输操控维护数据，当传输操控维护数据的端口或链路故障时，操 控维护数据能够使用另一条链路，避免单端口、单链路故障造成业务中断； b) BBU 至传输设备采用双路由主备加固方案，当其中一条链路、端口或单板故障时，业务能够使 用另一条链路。 5.4.5 核心网高可靠 5.4.5.1 核心网控制面轻量级下沉-应急容灾方案 在港区内用户面 ，当港区用户面 UPF 与大网 5GC 之间故障失联时，通过内置的“本地应急控制面”服务提供应急容灾能力，保障港区已接入的稳态 业务不掉线，惯性运行，并支持用户重新接入。 5.4.5.2 用户面 UPF 容灾方案 港口内部可部署两台或以上 UPF，支持负荷分担或主备模式，包括同局址容灾（同机房）、异局址 容灾，因同局址网元级容灾出现“局房级”故障时存在业务中断风险，推荐异局址（不同机房）容灾。 网络通报：对于网络或系统升级、调整、优化，供应商应提前通知需求方； e) 故障响应：提供 7×24 小时故障服务受理，故障服务响应时间应小于 1 小时； f) 专网 SIM 卡：提供业主所需的专网 SIM 卡及 IMSI 等信息。 7.1.2.2 业务投诉及故障处理时限 业务故障指影响需求方业务正常使用的故障，包括业务中断故障和一般故障。业务故障处理时限指 自收到故障投诉时或出现监控告警时起，至需求方业务恢复正常所需要的时间，业务恢复时限要求见表

构建三级测试流水线，持续提升测试效率和产品质量 5.1.5 资源申请和软件上线全流程自动化，实现一体化应用发布 应用一体化运维 5.2.1 全链路可观测，支撑故障快速发现 5.2.2 AI 模型结合混沌工程，实现故障智能定界 5.2.3 统筹构建故障演练与恢复体系，保障故障一站式自动化恢复 主机上云全流程顶设，提供主机现代化最佳指导和实践 主机上云现代化方案，构建主机现代化最优平台和服务 4.1 4 擎实现加密运算的加速处理 高可靠：硬件组件（处理器、内存、存储）普遍采用冗余设计，不会因单点硬件故障而引起系统中断 高安全：主机通常采用内置硬件加密模块，实现数据的加密处理与密钥管理，从而保障数据在存储、传 输及处理过程中具备机密性与完整性 (2) 管理运维层 主机的管理运维层包括硬件管理、操作系统管理、性能监控、故障恢复和备份管理等，它通常使用专有管 理工具进行集中控制和自动化运维。 业务应用层 Monitoring (WLM ，…) Application Operation System (z/OS，OS2200 ，…) 主要特点： 自动化运维：主机管理运维具备高度自动化特点，支持自动故障诊断、自动修复和无停机维护 可视化监控：通过集中管理控制台，运维人员能够快速掌握整个系统的状态和健康状况 08 (3) 数据服务层 主机的数据服务层，聚焦于数据的存储、管理、处理与保护，是支撑核心业务数据全生命周期的关键一层，

训练期间如果出现网络不稳定的问题，会影响整个训练任务的进 度。且大模型训练环境涉及各软硬件组件配合，运维复杂。例如 Meta OPT-175B训练，故障定位平均时长约11小时，复杂应用故 障定位长达80小时。因此需要一套具备精细化监控、端网一体化 的，且可一键故障定界、定位及自愈的技术手段，来提升智算网 络易用性。 四是高安全模型保障。在推理和训练的各个阶段，大模型都 可能成为网络攻击的对象，因此需要采取额外的安全措施来保护 EQDS：端侧 SMarTTrack: 端侧+网络侧 端侧 五是以 OTT 厂商为代表打造可运维网络，减轻运维成本。OTT 厂商通过采用交换机双归方法来缓解光电端口闪断等常见故障 问题，探索光模块故障快速定位定界、快速自恢复等全新方法， 尝试建立有效的网络性能观测和风险预警机制。整体上，业界对 网络运维能力提升对保障算力运营效率的重要性已形成共识，但 目前仍然缺乏成熟有效的运维手段，常规的流量采集方案在智算 算力效率的充分发挥依赖高可用网络基础，需构建快速故障 恢复能力的高可用网络，减少因网络故障中断、网络拥塞低效等 问题带来的算力资源浪费，保障分布式计算任务的稳定进行。 1.高可靠传输网络 相较于传统网络，大模型训练网络对丢包中断等异常情况的 容忍度更低，对故障敏感度更高，收敛时间要求更严，有更高的 可靠性要求。传统网络依赖控制面协议探测协商，故障中断时可 能产生百毫秒左右的短暂中断，但是这百毫秒中断若发生在数据