2.2 数据处理模块.............................................................................29 3.2.3 模型训练模块.............................................................................32 3.2.4 分类模块...... .....................................83 5.3 训练策略.............................................................................................85 5.3.1 训练数据划分.......................................... 分类模型训练....................................................................................101 6.2.1 模型评估指标...........................................................................103 6.2.2 训练过程监控.

战略规划 技术咨询 2 预训练语言模型 预 训 练 微 调 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 有标注训练数据 模型微调 测试数据 最终模型 从海量数据中自动学习知识 Ø Big-data Driven，模型基于大规模语料训练而成； Ø Multi-tasks Adaptive，支持多种任务，包括自然 语言生成NLG和自然语言理解NLU类的任务； Ø Few-shot (Zero-shot)，在少甚至无标注样本的 条件下支持推理（自监督学习）。 产业研究 战略规划 技术咨询 3 3 大模型发展历程 众多预训练模型相继涌现，OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮 Ø 2017 年，Google提出Transformer 框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。 Ø 2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT，显著提高了NLP

...................................................................................39 3.4.1 大模型选择与训练................................................................................................... .......................................................................................59 5. 模型开发与训练................................................................................................... .....66 5.3 训练环境搭建............................................................................................................................................................68 5.4 模型训练与验证..........

长距离依赖处理能力强：自注意力机制能捕捉任 意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （更长的思维链、 更深层次的 推理路径） 低可控：生成文本可 读性差、语言混乱 拒绝采样： 筛选高质量样本 20 万条 通用数据 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 第一阶段训练：增强推理能力，生成高质量推理数据 （准确率奖励 + 可读性奖励） 第二阶段训练：增强通用能力，避免灾难性遗忘 推理导向强化学习 （准确率奖励 + 格式奖励） DeepSeek-R1 （强推理模型） 671B DeepSeek-R1-Zero （强推理模型） DeepSeek-V3 （基础模型） 面向全场景的强化学习 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据

system 数字原生 能力集成行动系统 自主策略制定 自主任务执行 自主评估优化 大模型建设 （ Multimodal LLM ） AI 算法 AI 使能基础设施 公域大模型 预训练基座大模型 垂直领域私域大模型 大模型及应用成为知识沉淀的最佳载体 网络建设 设备互联全 IP 化 软件定义网络 网络即服务 NaaS 云平台建设 （ Cloud ） 业务上云 网络安全 应用安全 保险行业智能化应用 代码生成 智能客服 内容生成 智能知识库 智能核保 智能理赔 智能风控 智能投研 大模型服务 提示词工程 预训练服务 微调服务 大模型评估 推理服务 大模型使能平台 零碳数据中心 云平台 傲飞算力平台 绿色供电 高效节能 液冷散热 》 数据 供给 ,' 数据要素提 供 容器 EIP VPC 裸金属 虚拟机 云存储 大模型 服务 数据标注 数据服务 算法开发 数据治理 数据开发 模型训练 应用推理 数据采集 可视化 模型仓库 调度优化 湖仓一体 数据管理 资源监控 工程化 数据安全 9 灵活 提供百亿及数百亿的两个模 型版本，并通过 DMOE 技 术 实现千亿乃至万亿模型

【公开】 概述 阿里云智能客服知识运营白皮书的撰写，是在阿里云智能客服团队的统一安排下，协调 包括算法工程师、开发工程师、产品设计师、AIT 人工智能训练师人员等多角色，将技术理 论 基础和实际实践经验进行结合，形成业内首部智能客服知识运营白皮书。 白皮书以阿里云 智 能客服系统为应用标的，面向智能客服中的知识定义、知识应用、知识梳理方法三大环 发，为用户提供高泛化性、灵活拓展的 QA 对匹配引擎，介绍如下： 适用知识 引擎优势 知识结构 模型训练 事实性知识 高泛化性、精准匹 配、向量召回、语义 计算 QA 问答对 FAQ 匹配模 型 支持线上 训练 2.2 任务问答引擎 任务问答引擎负责多轮对话的对话流设计、意图的管理、任务流的执行等功能，任务对 话引擎基于大规模预训练模型 Sturt-Bert 研发，支持 Fewshot 小样本识别模型 知识结构 模型训练 程序性知识 小样本识别、精准实 体抽取、上下文槽位 解析、意图分类+匹 配 多轮对话的对话流结 构 分类模型+匹配模型 支持线上训练 2.3 图谱问答引擎 图谱问答负责结构化体系化知识的问答，基于知识图谱 Schema 针对具备一定结构关 系 的三元组知识进行快速问答，支持多跳、计算、推理能力，介绍如下： 适用知识 引擎优势 知识结构 模型训练 概念性知识

CAGR 为 17.6% ，带动相关产业规模 1562 亿元， CAGR 为 18.2% 。 u 金融行业数据、场景丰富，大模型走上金融大舞台 我们认为，金融行业数据丰富且数据质量高，具备大模型训练的良好基础。同时，金融行业细分领域众多，且大量产品最终服务于 C 端用 户， 大模型应用场景丰富。随着大模型与金融业务的融合，创新应用将层出不穷。 金融行业数字化需求刚性，投入巨大，是大模型应用落地的大舞台 ，通过汇集客户在消费、社交、交易等方面的大数据，深度分析客户的真实需求和偏好， 并进一步形成更具针对性、个性化的营销解决方案。 机器学习技术：通过对机构过去累积的海量用户行为、产品交易、营销方式等数据进行机器学习训练，可以对客户画像实现精准的刻画和分 类， 从而对其所处的客户生命周期以及潜在需求实现预测。 以客群价值提升为核心，以客户主办行为作为指标，将客户划分为不同类客群，梳理形成客户行为事件分类，通过手机银行、客户经理、叫 2.0 克服了 AI 1.0 单领域、多模型的限制，可以用无需人工标注的超级海量数据去训练一个具有跨领域知识的基础大模型 （ Foundation Model ）；基于大模型，各种创新应用将层出不穷。 AI 2.0 + 金融：我们认为，金融行业数据丰富且数据质量高，具备大模型训练的良好基础。同时，金融行业大量产品最终服务于 C 端用 户， 大模型应用场景丰富。随

随着人工智能大模型应用蓬勃发展，大模型训练存在的 计算显存限制、风冷算力密度较低、智算资源利用率较低等 问题日益突出。中国电信不断优化算力设施建设布局，加快 研发落地息壤算力调度平台，显著提升算力协同调度能力， 实现多元算力一体化布局。 一是建设超大规模高性能智算中心，赋能行业数字化转 型。建设业内领先的液冷高性能公共智算中心，提供 4000PFlops 总算力供给，可满足万亿参数模型训练。采用基 于全栈 大计算能力，赋能千行百业数字化、智能化转型。 2 图 1 “超大规模液冷智算集群”平面部署图 二是打造智算服务平台，满足多场景需求。依托天翼云 自主研发的“慧聚”“云骁”“息壤”三大平台，提供高算 力、高吞吐、高兼容性训练能力，支持第三方算力以算力插 件模式实现标准化接入，支持主流框架及芯片，有效满足大 规模、高性能、多样化异构算力跨区域调度需求。 图 2 智算调度平台架构图三是发布互联互通验证平台，提升算力协同效率。 离跨区 RDMA（远程直接内存访问）进行市内算力组网，解决 算力资源分散无法被集中调用的问题。通过使用跨区 RDMA 协议和广域拓扑感知并行策略，对跨数据中心大模型训练提 出针对性模型训练策略建议，为客户提供合适的解决方案， 提升训练效率。联合国内算力上下游生态合作伙伴为客户提 供适配测试服务。 自 2023 年 9 月投入运营以来，建设大规模商用液冷资 源池，通过“两弹一优”实践创新解决机柜功率的变化需求，

算中 心、边缘数据中心等合理梯次布局。2024 年 3 月，上海发布《上海市 智能算力基础设施高质量发展“算力浦江”智算行动实施方案（2024- 2025 年）》，提出聚焦智能芯片、算法模型、训练框架、计算平台与 重点行业应用，逐步构建以自主可控、安全可靠、开源开放、广泛兼 容、高性能算力聚合为特征的智能算力基础设施产业体系。2024 年 4 月，江苏发布《江苏省算力基础设施发展专项规划》，计划构建新一 024）》1显示，与 语言大模型（GPT-3）相比，Sora 训练阶段的算力需求是大语言模型 170+倍。在推理阶段，算力需求是大语言模型 600+倍。2025 年 2 月， 马斯克旗下人工智能公司 xAI 发布了其最新一代大模型 Grok 3，Grok 3 使用了拥有约20万张英伟达 H100 GPU的大型智算中心进行训练， 其计算能力是上一代版本 Grok 2 的 10 倍。与此同时，以 例如四川成都天府智算西南智算中心已在投运，聚焦多模态大模型训 练，构建“云-边-端”协同的西南智算枢纽，支撑成渝地区数字经济核 心产业发展；中国移动在北京建成大规模训推一体智算中心，支撑高 复杂度、高计算需求的百亿、千亿级大模型训练推理；河南郑州智算 中心开工建设，总投资超 16 亿元。当前，以智算中心为代表的数字 新基建正加速推进、快速落地。 （三）技术革新，激发智算行业创新活力 随着大模型参数量持续增大，数据处理难度和模型训推复杂度不

数据要素、算力资源和智能应用的关键纽带。可信高速数据网区别于传统 网络的核心优势在于：通过融合IPv6+、量子加密、隐私计算等技术，实 现“数算协同、数网协同、数安协同”，破解跨域互联、算力调度、隐私 保护等方面的瓶颈，为大模型训练、跨行业数据流通、智能应用创新提供 可靠支撑。 全球主要经济体正在加速布局新一代数据与网络基础设施，美国聚焦 低时延分布式传输与隐私计算安全体系，欧盟以统一数据市场和Gaia-X为 核心强化 数据资产化进程，为数据要素市场培育提供有力支撑。二是科技创新，可信高速数 据网为人工智能、大数据、云计算、工业互联网等前沿产业提供确定性网络与算 力协同支撑，构建“数据—算力—网络”的新型协同体系。尤其在大模型训练与推 理、跨域算力调度、智能制造和智慧医疗等场景中，可信高速数据网能够提供稳 定、低时延和高安全性的底层支撑，推动新质生产力的发展。三是安全与治理，可 信高速数据网通过引入零信任架构、网络内生安全等技术，在保障传输效率的同时 -ID网络标识 映射，可实时感知数据分发需求，并根据差异化需求自动调整带宽和路径，实现按 需匹配与动态调度。借助SDN控制器，构建“数据需求-算力资源-网络路径”的智 能匹配体系，优先保障模型训练、实时交易等高优先级任务所需的低时延与高带 宽。结合数据分类分级管理，在网络边界部署数据围栏，并通过APN-ID标识与路径 可视技术，实现敏感数据全流程可溯、可管、可控，确保合规流通。 3�数安协同：筑牢数据流通的安全屏障