华为:2025践行主机现代化:主机上云技术白皮书
32.07 MB
63 页
0 下载
3 浏览
0 评论
0 收藏
| 语言 | 格式 | 评分 |
|---|---|---|
中文(简体) | .pdf | 3 |
| 概览 | ||
践行主机现代化 主机上云 技术白皮书 01 顾 问 主 编 编 审 编 写 组 主编单位 编制委员会 马海旭 李亚为 胡玉海 严光兵 蔡常杰 李 曜 田浩希 俞 辉 饶争光 韩 满 毛明强 王新宇 张 宇 徐 强 董冬冬 马俊超 王榕骁 张 江 刘征辉 姜 凯 彭 双 汪子杰 朱仁江 徐 峰 林丽鑫 沈 彬 杨 嘉 李金锋 陈文杰 陆科伟 王 权 张 健 孙鹏飞 贺倩慧 毛新军 王 彧 张志炯 张贝贝 李俊武 彭自波 文 迪 (排名不分先后,按姓名拼音排序) 华为技术有限公司 PREPARATION COMMITTEE 02 在全球数字经济的浪潮下,企业核心业务系统作为企业运营的“心脏”,其数字化、智能化转型的成败, 不仅是企业在激烈的市场竞争中能否快速响应客户多样化需求的关键,也是企业开创增长新赛道的基础。 数十年来,主机系统凭借其强大的计算处理能力和高可靠的体系架构,支撑着众多企业的核心业务。然而, 我们必须坦诚地认识到:主机系统技术体系在应对爆发式业务增长和海量交互时,无法快速赋能业务智能创新, 并且与开放协同的产业生态相悖,主机技术正面临严峻挑战。如何让企业核心业务系统既能延续固有的稳定与 可靠,又能获得云与 AI 时代的弹性与智能,已经成为每个企业需要面对的重要战略课题。 近几年,主机现代化成为了打开企业核心业务系统大门的钥匙。它绝非简单的技术平台更替,而是一次深 刻的 业务转型 。其根本目标在于释放核心数据的价值、加速创新应用的交付、重塑极致的客户体验,并最终构 建面向未来的可持续竞争力。 本白皮书系统阐述了我们对主机现代化的深刻洞察与技术探索,希望这份凝聚了我们技术思考与实践经验 的成果,能为广大主机用户提供系统的技术方案与实施路径参考,为企业的数字化、智能化转型之旅提供强大 助力。 马海旭 华为副总裁 ICT 产品组合管理与解决方案部总裁 序言一 03 李亚为 华为主机上云军团总裁 主机(Mainframe)起源于上世纪中叶,以其卓越的事务处理能力和极高的可靠性,长期以来支撑着金融、 政府等领域核心业务系统。然而,在云计算、人工智能技术迅猛发展的今天,传统主机架构无法满足核心业务 系统在资源弹性扩展、应用迭代速度、业务创新效率和技术开放度等方面诉求,已严重制约企业数字化转型, 主机现代化应运而生。 主机现代化(Mainframe Modernization)是一项涉及架构演进、应用重构、组织转型的系统工程。其 核心在于将主机的韧性 / 性能同开放平台的敏捷性 / 智能性相结合,构建企业面向未来的数字化能力。企业需 基于自身业务目标、技术积累和人才结构,制定适宜的主机现代化路径,以确保企业核心业务的平滑演进和持 续创新。为此,我们编写本技术白皮书,系统性地总结了主机现代化的关键技术体系与实践方法,包括: 建设韧性、开放云平台:软硬协同提升云平台韧性,构建新一代开放技术底座 平滑、高效迁移主机应用和数据:以工程化技术实现主机应用和数据的全流程改造与迁移上云 应用开发与运维现代化转型:业务上云后,开展以应用为中心的敏捷开发和智能运维转型 同时结合我们在众多项目的成功实践,简要介绍了“华为主机上云解决方案”。期望为正在或计划推进主 机现代化的企业提供技术指引与决策参考,帮助客户在延续主机核心价值的同时,拥抱开放、敏捷、智能的新 技术,加速实现企业数字化与智能化转型。 序言二 04 目录 编制委员会 序言一 序言二 主机现代化已成为主机用户数字化转型必由之路 主机现代化实施路径及关键技术诉求 建设韧性、开放云平台 01 02 03 主机技术栈及特点 传统主机面临的挑战 主机现代化是主机用户数字化转型新趋势 07 08 09 1 1 1 1 1 1 1 2 1 2 1 3 1 4 1 6 1 6 1 8 1 9 20 2 1 23 25 26 26 27 28 主机现代化发展趋势 2.1.1 开放平台架构以“云 + 分布式应用”为主 2.1.2 主机现代化分三阶段实施落地 主机现代化三阶段实施路径技术诉求 2.2.1 云平台建设阶段关键诉求 2.2.2 应用和数据迁移阶段关键诉求 2.2.3 应用开发与运维转型阶段关键诉求 基础设施层 3.1.1 软硬协同一体化,构建融合高性能基础设施 3.1.2 调度和升级优化,支持超大规模算力管理 3.1.3 端到端可靠性设计,保障系统稳定可靠运行 3.1.4 原生安全能力基线,构筑纵深防御高安全体系 数据层 3.2.1 五大核心要素,定义和设计云上数据库 3.2.2 基于数据迁移和同步技术,保障数据完整性与准确性 3.2.3 数据库和存储设备协同,高效实现大库备份和恢复 中间件层 3.3.1 业务中间件,支撑敏捷、高效的消息和事务处理 3.3.2 接入中间件,实现云上业务同云下业务的无缝连接 1.1 1.2 1.3 2.1 2.2 3.1 3.2 3.3 0 1 02 03 06 10 15 05 结语 参考文献 57 58 3 1 3 1 3 1 32 33 37 39 40 40 42 44 45 46 46 48 48 50 5 1 54 55 平滑、高效迁移主机应用和数据 应用开发与运维现代化转型 华为主机上云解决方案 04 05 06 迁移路径选择 4.1.1 Gartner 6R 模型 4.1.2 主机现代化选择 3R 作为主要迁移路径 迁移路径实施 4.2.1 评估分析与设计 4.2.2 应用改造 4.2.3 数据迁移 4.2.4 迁移验证 4.2.5 系统并轨 4.2.6 割接与上线 应用敏捷开发 5.1.1 规范需求管理流程,加速团队协作优化迭代设计 5.1.2 五维架构协同设计,业务流程驱动敏捷开发 5.1.3 规范开发流程,智能 AI 辅助和低代码加速业务开发 5.1.4 构建三级测试流水线,持续提升测试效率和产品质量 5.1.5 资源申请和软件上线全流程自动化,实现一体化应用发布 应用一体化运维 5.2.1 全链路可观测,支撑故障快速发现 5.2.2 AI 模型结合混沌工程,实现故障智能定界 5.2.3 统筹构建故障演练与恢复体系,保障故障一站式自动化恢复 主机上云全流程顶设,提供主机现代化最佳指导和实践 主机上云现代化方案,构建主机现代化最优平台和服务 4.1 4.2 5.1 5.2 6.1 6.2 60 6 1 30 43 56 06 主机现代化已成为主机用户数字化转型必由之路 01 主机是一类高性能计算机系统,专为处理大规模事务和数据密集型应用而设计,具备强大的并行处理能力。 该系统通常能够支持数万至数十万级并发用户访问,并可确保系统在长时间稳定高效运行。主机系统广泛应用 于银行、保险、电信及政府等关键行业,承担着实时交易处理、大规模数据库管理以及批量数据处理等重要业 务任务。 07 主机技术栈是一个高度集成、分层协同的复杂体系,强调垂直整合和可靠性,通常由五个层次构成,分别 是:硬件与操作系统层、管理运维层、数据服务层、中间件层和业务应用层,如图 1-1 所示: 1.1 主机技术栈及特点 图 1-1 主机技术栈示例 (1) 硬件与操作系统层 传统的主机硬件通常由专用处理器、内存、存储系统和 I/O 通道组成,经过高度优化,能够高效应对大规 模数据处理和高并发事务的挑战。操作系统则专为这类主机设计,具备强大的资源管理能力和并行处理性能。 主要特点: 高性能:采用多处理器集群架构,实现大规模并行计算,处理器集成专用加速单元,通过硬件级加密引 擎实现加密运算的加速处理 高可靠:硬件组件(处理器、内存、存储)普遍采用冗余设计,不会因单点硬件故障而引起系统中断 高安全:主机通常采用内置硬件加密模块,实现数据的加密处理与密钥管理,从而保障数据在存储、传 输及处理过程中具备机密性与完整性 (2) 管理运维层 主机的管理运维层包括硬件管理、操作系统管理、性能监控、故障恢复和备份管理等,它通常使用专有管 理工具进行集中控制和自动化运维。 业务应用层 硬件 与 操作系统层 管理运维层 中间件层 数据服务层 Database Data files (Natural,COBOL,PL/I,Assembler,Fortran,REXX,…) (DB2,IMS DB,…) (VSAM,…) Logical Partition 多基于老旧语言开发 与硬件/操作系统深度绑定 集中式架构 专有存储格式和协议 主机专有工具组件 专用硬件 定制化操作系统 Processor (CP,zIIP,zAAP,…) Memory (RAIM,…) Storage (FICON,FDC,…) I/O (FCP,…) TPM (CICS,TIP,…) MQ (WebSphere,MCB,…) Batch (JES,JCL,…) Scheduler (TWS ,…) Security (RACF ,…) Monitoring (WLM ,…) Application Operation System (z/OS,OS2200 ,…) 主要特点: 自动化运维:主机管理运维具备高度自动化特点,支持自动故障诊断、自动修复和无停机维护 可视化监控:通过集中管理控制台,运维人员能够快速掌握整个系统的状态和健康状况 08 (3) 数据服务层 主机的数据服务层,聚焦于数据的存储、管理、处理与保护,是支撑核心业务数据全生命周期的关键一层, 组件主要包含关系型数据库、层次型数据库、文件存储系统、数据加密保护系统等。 (4) 中间件层 中间件层主要负责连接业务应用层与底层操作系统和数据库,为应用程序提供一系列支持服务,以实现高 效的事务处理、消息管理、负载均衡、容错和通信等功能。中间件层通常由多个组件组成,包含在线事务管理 器、数据库事务系统、MQ 消息队列、企业服务总线、Web 应用服务器、批处理等。该层与操作系统、数据 库深度绑定,通过 ACID 特性保障交易完整性。 (5) 业务应用层 业务应用层主要承载着客户核心业务应用系统,同时承担业务逻辑分析、数据处理、应用运行与管理等 核心功能。业务应用层直接面向企业和最终用户,负责支撑关键业务操作和提供服务。传统主机应用一般基于 COBOL 或 PL/I 编写,并针对特定行业和业务流程(如金融、制造业)进行定制优化。 主要特点: 强事务一致性:主机数据库提供 ACID(原子性、一致性、隔离性、持久性)保障,确保高事务一致性, 适用于银行、保险等对数据一致性要求极高的业务系统 高可用:主机数据库通常使用冗余硬件设计(如双机热备、RAID 磁盘阵列等)来保障系统高可用性,一 般内建故障恢复和自动备份机制,在发生故障时,主机系统可以在最短时间内恢复,避免数据丢失或系 统停机 高性能:支持大规模数据并发访问,能够在高负载下保持较高性能,适用于高频数据交换场景 高安全:集成专用加密模块,为静态数据和动态数据提供全方位加密保护,有效保障数据在存储、传输 和处理过程中的安全性 主要特点: 高可靠:通过事务日志、故障自动恢复等机制降低停机风险 高并发事务处理:通过高效利用内存缓存和优化资源调度,支持低时延、高并发的事务处理 集成性强:借助 MQ 消息队列,实现主机不同系统间异步通信,并提供完整事务处理和消息管理 主要特点: 高并发事务处理:主机应用一般高度定制,应用层与数据层紧密集成,提供高并发、高吞吐量事务处理能力, 尤其适用于需要快速响应的金融交易或实时数据处理 高安全:应用系统通常通过硬件加密、身份认证、授权管理等手段进行安全控制和访问管理,保障业务 与应用数据的机密性和完整性 主机通过五层技术栈的垂直整合,实现系统整体的高可靠性、高可用性、高性能和高安全。然而,随着云 计算、虚拟化和分布式技术的快速发展,传统主机技术的局限性也逐渐显现,主要体现在以下五个方面: 1.2 传统主机面临的挑战 (1) 技术封闭制约创新效率 传统主机技术栈过于封闭,操作系统和专用硬件深度绑定,难以兼容 x86、ARM 等标准化芯片,这限制 了企业自主引入云计算的弹性资源调度和分布式技术的水平扩展能力,系统升级和功能迭代依赖原厂支持,流 09 程繁琐且周期长,难以及时响应业务变化(主机厂商硬件升级周期通常为 3~5 年),远滞后于业务对敏捷创 新的需求(如互联网业务的周级迭代)。此外,主机技术架构采用专属协议与接口,新应用或第三方工具难以 接入集成,与云平台、分布式数据库的集成需开发专用接口,集成成本高且易形成“技术孤岛”。 (2) 扩展性不足无法应对大规模业务挑战 传统主机技术栈主要依赖纵向扩展(Scale-up),通过增加处理器、内存和 I/O 通道来提升单机性 能,资源调度多为静态规划,高度依赖专用硬件,升级周期长,灵活性有限;而云计算技术则以横向扩展 (Scale-out)为核心,通过增加通用服务器节点实现资源池化与弹性伸缩,可在分钟级甚至秒级完成资源扩 容,能够快速应对业务负载波动,并支持跨地域分布式部署,更适合应对动态、快速变化的大规模业务需求, 例如 Kubernetes 集群可轻松支持上万个节点。 (3) 新兴技术适配能力薄弱 在数字化转型中,企业业务敏捷转型需融合云计算、大数据、AI、区块链等技术,但主机技术栈对此支持 有限:一方面,传统主机的编程语言(如 COBOL、PL/I)与现代开发工具及编程语言兼容性不足,原有开 发环境与工具链较为陈旧,且与云原生开发所采用的 Java、Go、Python 等语言存在明确的兼容壁垒;另一 方面,主机系统通常依赖传统的数据存储格式和协议(如 VSAM、IMS 等),而现代的大数据技术框架(如 Hadoop、Spark)使用分布式文件系统(如 HDFS)和不同的数据格式(如 Parquet、ORC、JSON), 数据格式与协议不兼容导致数据的交换和共享变得异常复杂。 (4) 长期运营成本压力显著 主机在初期建设时面临高昂的硬件采购成本,企业需要投入大量资金购置专用处理器、配套存储等专用组 件和设备。此外,主机软件的许可证费用也会随着计算能力提升和用户数量增长而显著增加,形成固定且高频 次的支出。运维方面同样成本高昂,硬件和软件的维护与升级需要大量专业技术人员支持,主机的扩容会涉及 复杂的硬件和系统配置,还可能带来停机和业务调整等额外成本。上述问题使得主机在长期运营中持续产生高 额投入,显著增加了整体投资负担。 (5) 人力断层加剧运维风险 主机技术的专业性,比如 JCL 脚本编写、LPAR 配置和 CICS 事务管理,构建了一道较高的学习壁垒。 相比之下,年轻的技术人才往往更热衷于追求云计算(如 OpenStack)和容器编排(如 Kubernetes)等当 前热门技能,这直接导致精通主机技术的人才日益稀少(多项行业调查和报告显示,全球 COBOL 程序员的 平均年龄已超过 55 岁)。由于运维工作高度依赖于资深专家,一旦遇到复杂问题(例如 DB2 的死锁情况), 缺乏经验的技术人员难以快速定位解决,将导致业务中断时间延长(主机系统平均故障恢复时间比分布式系统 长 3 到 5 倍)。 主机面临的诸多挑战,本质上源于“集中式封闭架构”与“分布式开放架构”之间的时代落差。这种架构 上的不匹配,不仅推高了企业的整体 IT 成本,也严重制约了业务的发展速度与创新能力。在数字化转型的浪 潮下,越来越多的企业开始积极寻求突破路径,主机现代化应运而生。其目标是在延续主机高性能、高可靠、 高可用的基础上,融合分布式计算、微服务、敏捷开发等现代技术能力,帮助企业摆脱技术强依赖、提升弹性 扩展能力、降低企业成本、增强业务敏捷与创新能力,从而构建适应数字化转型并具备长期演进能力的技术与 业务架构体系。 1.3 主机现代化是主机用户数字化转型新趋势 10 主机现代化实施路径及关键技术诉求 02 主机现代化是一项系统性工程,指将传统主机承载的核心业务系统,通过技术栈重构、数据迁移和流程适 配,逐步过渡到以开放平台为基础的现代 IT 架构体系的过程。整个工程不仅涉及硬件和软件的替换,更包含 开发模式、运维模式的全面转型。 11 2.1 主机现代化发展趋势 2.1.1 开放平台架构以“云 + 分布式应用”为主 2.1.2 主机现代化分三阶段实施落地 近年来,为了应对主机面临的技术挑战,众多企业和政府主机用户已经着手推进主机现代化进程,全球主 流云厂商陆续推出了各具特色的主机现代化解决方案,传统主机厂商也在寻求新技术突破、积极探索主机现代 化发展新方向。 国内外金融、政府等头部主机用户,已成为主机现代化的先行者和主力军,据公开资料显示,国内某大行 采用“分布式核心应用 + 云平台”架构的开放平台建设模式,实践出“主机下移六步实施工艺”,通过核心业 务系统现代化分布式架构转型,实现平均交易量 5 亿笔 / 天、日均交易量峰值 6.6 亿笔、交易率峰值 1.6 万笔 / 秒; 实现网联支付支持 2 万笔 / 秒、20 万 +TPS 交易洪峰支撑、1 万 + 次自动弹性伸缩。 主流云厂商积极布局主机现代化解决方案,依托自身的云平台优势,提供系统的服务与工具,联合生态伙 伴形成技术与方案上的互补,面向不同客户,提供差异化解决方案。主要竞争力构筑方向以高可用云底座、 弹 性扩容能力及全流程专业服务等为主。 传统主机厂商也在寻求变革,提出主机现代化升级方案。如在原主机的基础上集成网络、数据、业务、应 用管理等连接工具,实现本地数据中心与云平台之间的应用与数据互联,组成主机 + 云的融合架构。 综上所述,云平台凭借开放性、弹性扩展能力、先进的前沿技术以及科学的开发与维护理念,同时具备高 可靠性、高可用性、高性能、高安全性和高可维护性,已成为绝大多数行业主机用户、主流云厂商及主机厂商 建设主机现代化开放平台的主要选择。“云 + 分布式应用”已成为主机现代化的主流技术路线。 基于云平台的主机现代化实施路径通常划分为三个阶段:云平台建设、应用和数据迁移、应用开发与运维 转型。各阶段的主要任务如图 2-1 所示: 图 2-1 主机现代化三阶段实施路径 阶段一:云平台建设 阶段二:应用和数据迁移 阶段三:应用开发与运维转型 开放平台底座 开放平台底座 业务应用 Java、GO、JSON、XML、HTML、JavaScript 应用 一体化运维 应用 敏捷发布 CI/CD流水线 Jenkins、Argo
| ||
下载文档到本地,方便使用
共 63 页, 还有
3 页可预览,
继续阅读
文档评分

