技术故障 应急协同机制的探索 目录 技术故障重要性及定义 技术故障的全生命周期 如何落地应急协同机制 G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 小结及展望 技术故障的重要性及定义 01 G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 京 站 G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 技术故障重要性 海恩法则，也被称为Heinrich‘s law，是由德国飞机 涡轮机的发明者帕布斯·海恩提出的一个关于飞行安 全的法则。这一法则强调，每一起严重事故的背后， 必然有29次轻微事故和300起未遂先兆以及1000起事 故隐患。这表明，任何严重事故的发生都是经过了一 峰 会 2 0 2 4 · 北 京 站 什么是故障？ 问题？ 风险？ 故障？ 事故？ 事件？ 影响了业务的才是故障？ G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 技术故障在ITIL中的定义 ITIL定义：“服务的意外中断或服务质量的降低” 故障 问题 ITIL定义：为“问题”、“已知错误”，问题意味着隐患风险，已

本白皮书面向新型智算中心逐渐以承载 AI 业务为主的演进诉求，提出 FlexLane 链路高可靠技术构想。该技术基于高速接口多通道架构的现状，打破原 有固定组合，引入灵活多通道架构，通过降速运行实时有效的规避任何通道发生 的故障，将链路可靠性提升万倍以上（助力 AI 网络互联可靠性超越 5 个 9），保 障 AI 训练和推理业务不受影响。FlexLane 技术支持在现有设备上通过软件升级快 速部署，或升级硬件实现更优的 ........................ 6 3 FlexLane 关键技术 ................................................8 3.1 故障隔离 ..................................................... 8 3.1.1 软件升级 ............................ ............................. 10 3.1.3 技术效果 ............................................. 13 3.2 故障预防 .................................................... 14 3.3 动态节能 ..............................

求。 除了稳定的产品外，强大的运维体系是保障云平台稳定性最直接、最有 效的手段。在主机核心业务逐步上云后，如何加强运维全链路监控能 力，快速定位、定界和解决问题，如何变被动运维为主动故障预防从而 大幅减少潜在故障与运维投入，如何将应用运维与平台运维进行有效协 同从而保障系统性业务高可靠高可用，如何应对平台运维安全与租户安 全带来的双重挑战等问题，成为了摆在金融运维人面前的关键挑战。 华为 全链路运维监控构建从应用到云平台的全栈感知能力 2.1.2 基于故障模式库和云网一体化运维实现确定性故障恢复 2.1.3 基于一体化风险库和混沌工程进行预见性风险治理 2.2 应用运维现代化 2.2.1 运维规划前置到设计阶段，业务可靠性来源于运维与设计的融合 2.2.2 借助运维数仓构建应用可用性监控管理体系，实现业务故障实时感知定界 2.2.3 面向故障全生命周期，全方位提升故障感知、诊断、恢复智能化水平 2.3 基于先进的单元化设计理念达成核心应用N个9的可 靠性也是IT管理者面临的难题。 最后，服务SLA（Service Level Agreement, 服 务水平协议）的达成还需要有相匹配的管理手段与工 具，如故障模式库、演练工具等资源作为支撑，不但 要能有效跟踪度量SLA的实际效果，还需要持续、 主动发现可用性风险的机制与工具，在可用性管理的 过程中实现数据积累和能力演进。 挑战2：云平台技术栈快速增厚，如何

机房环境 硬件设备 网络 中间件 业务 数据 系统 应用 IT 监控运维 业务运营 人 员 方 法 流 程 工 具 可用性 成本 连续性 性能 体验 设备故障 系统异常 系统故障 系统变更 企业 IT 监控运维是企业业务正常与高效运转的基础保障 系统监控 维修更新 业务保障 应用反馈 6 IT 运维现状 · 被动救火式运维模式，业务风险高、运维人员疲于奔命 新系统上线越来越多 业务访问量快速增长 用户体验要求越来越高 业务处理时效性更高 业务中断容忍度更低 高层对 IT 部门考核更严…… 系统架构越来越复杂 故障类型越来越多 系统负载更大、故障风险高 故障排查、修复更难 技术快速演进与新技术应用 人员技术能力与经验不足 人员成本越来越高 知识经验无法沉淀…… 外部 挑战 内部 挑战 规模更大 要求更高 变化更快 定时粗略巡查 等待故障报告 人工故障处理 实时全面监控 分散维护系统 集中监控系统 自动故障处理 提前故障预警  随着业务对 IT 运维提出的要求越来越高，原来传统的被动救火式的 IT 运维模式已经不能 满足企业的要求，无法为业务的发展提供保障  只有借助当前先进的技术，构建主动巡防式的 IT 监控与运维体系，能够提前预防并智能 化处理系统的各类故障，才为业务的快速发展保驾护航，满足企业对

应用维度根因定位 几个 核心系统 被动应急 故障统一调度 系统具备应急预案 故障点人工恢复 统一变更入口 工具建设 集团+省分 几百套系统 跨系统全链路 定界诊断 主动预防 集团+分子公司 整体态势感知 混沌工程 故障自愈 变更追踪 变更管控 体系建设 故障发现 与诊断 故障恢复 与应急 故障预防 故障调度 体系演进 分布式架构挑战 运维生态挑战 数智运维挑战 数智运维挑战  端到端稳定性保障体系缺失，自动化、智能化故障处理能力不足  故障处理过多依赖专家经验，故障没有沉淀为有效的资产  故障处于被动防御，救火，运维大数据未被合理价值挖掘  工具重复：工具按烟囱式建设，能力分散  能力割裂：运维工具能力割裂不成体系  数据孤岛：应用、数据库、中间件、云平台、 基础设施各管自身  维护对象：系统节点、微服务数量几何级数增加  稳定性保障工具建设历程 一个目标，依托四大保障，聚焦研运流程中四个阶段，对应十五项核心工作，严格把控七个关口，将安全生产 稳定性保障左移，在入网控制时介入，对入网控制、发布上线、故障预防、故障发现、故障定位，故障恢复、 故障改进提供端到端工具支撑。 核心业务链路深度治理 做实安全生产，提升IT系统稳定性 架构设计 研发测试 生产变更 运营支撑 稳 定 性 架 构 设 计 版 本 管 理 变

海 站 几个 核心系统 单系统 应用维度根因定位 故障点人工恢复 系统具备应急预案 被动应急 统一变更入口 故障统一调度 工具建设 数字化转型中系统安全生产痛点 问题 数智运维挑战 n 端到端稳定性保障体系缺失， 自动化、智能化故障处理能力不足 n 故障处理过多依赖专家经验，故障没有沉淀为有效的资产 n 故障处于被动防御，救火，运维大数据未被合理价值挖掘 分布式架构挑战 中间件、云平台、 基础设施各管自身 集团 + 省分 几百套系统 跨系统全链路 定界诊断 故障自愈 混沌工程 主动预防 变更追踪 变更管控 集团 + 分子公 司 整体态势感 知 体系建设 故障发现 与诊断 故障恢复 与应急 故障预防 故障调度 体系演进 稳定性保障工具建设历程 一个目标，依托四大保障，聚焦研运流程中四个阶段，对应十五项核心工作，严格把控七个关口，将 安全生产 稳定性保障左移，在入网控制时介入，对入网控制、发布上线、故障预防、故障发现、故障定位，故 障恢复、 故障改进提供端到端工具支撑。 GO PS 全 球 运 维 大 会 2 0 2 3 · 上 海 站 做实安全生产，提升 IT 系统稳定性 核心业务链路深度治理 设计关

检测仪器：编制与施工进度计划相匹配的检测仪器使用计划，特别是各 系统的测试和验证，应提前做好资料收集，仪器准备，包括福禄克网络 测试仪，温湿度计，热像仪，气流计、照度计等。 物资调配 调试与测试 运维 测试 故障切 换 灾难预 演 运维应 急流程 验证 功能 测试 ATS 系 统联调 UPS 系 统联调 柴油发 电机系 统联调 BMS 测试 散热系 统联调 精密空 调系统 联调 冷机系 / 工单）考核与验收结果的审批；负责整个项目执行过程的管控（进度、质量、文档、成本、验收等），确保项目任务 按时交付 运维工程师：常驻现场，通过不同的方式响应客户的需求，现场及远程为客户诊断、排除故障，对客户的问题进行汇总、分析，并提 出合理的解决办法；负责项目任务的分析、工单拆分与下发，负责服务厂商服务的定期考核 专家顾问组：由多名资深技术专家组成，主要负责对数据中心的规划设计，对用户提供安全评估、性能评估、稳定性评估、可靠性评 全评估、性能评估、稳定性评估、可靠性评 估、可用性评估，隐患预警报告；高级技术培训 技术资源部：由几十名资深专业技术人员组成，负责项目的规划；项目工程的实施；日常运营维护的远程、现场支持服务；用户故障 的诊断排查； 服务支持手段 心 为 客 户 提 供 7×2 4 小 时 响 应 的 服 务 平 台， 客 户 若 对 本 项 目 产 品、 技

技术在全球范围内的商用推广，通信网络的规模和复杂性急剧 增长。近年来，全球通信网络中的重大故障事件也屡屡发生，给运营商和用户带 来了严重的影响。根据互联网公开数据和行业报告不完全统计，在 2021 年至 2024 年期间，全球通信行业发生了超过 66 起重大网络事故，影响范围广、恢复时间长、 经济损失严重。如何提高网络设备的容错性、提升整网抗信令风暴的鲁棒性以及 故障自愈的高效性是 6G 网络必须优先考虑和解决的问题。 图 图 1 2021年至2024年4/5G商用事故统计 事故诱因复杂，以网络故障和动网操作为主。4G/5G网络的故障呈现出软硬结 合、内外因交织的复合性特点。其中，网络故障占比约50%，通常由网络自身设 计缺陷或容灾不足引起网络中断，包括硬件故障、网络云故障、核心网故障、传 输承载故障等。其次，动网操作占比约38%，通常由人为的网络维护操作、或升 级调试等行为引发网络功能异常、甚至信令风暴和大面积服务中断。 4/5G智能终端永远在线的设计，导致短时间内反复重试引发过载。 语音和数据业务会同时受影响。占比约88%，因语音和数据业务强耦合设计， 一方面语音业务都是基于IMS承载的，当数据业务发生故障，语音业务也将遭受 牵连；另一方面因为终端的语音优先策略，当语音业务故障时会释放数据连接。 事故诱因 事故现象 业务影响 中断时长 3 业务中断时间长。88%的事故中断时长超过2个小时，50%的事故中断时长超过 5个小时，主要