2.2 数据处理模块.............................................................................29 3.2.3 模型训练模块.............................................................................32 3.2.4 分类模块...... .....................................83 5.3 训练策略.............................................................................................85 5.3.1 训练数据划分.......................................... 分类模型训练....................................................................................101 6.2.1 模型评估指标...........................................................................103 6.2.2 训练过程监控.

战略规划 技术咨询 2 预训练语言模型 预 训 练 微 调 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 有标注训练数据 模型微调 测试数据 最终模型 从海量数据中自动学习知识 Ø Big-data Driven，模型基于大规模语料训练而成； Ø Multi-tasks Adaptive，支持多种任务，包括自然 语言生成NLG和自然语言理解NLU类的任务； Ø Few-shot (Zero-shot)，在少甚至无标注样本的 条件下支持推理（自监督学习）。 产业研究 战略规划 技术咨询 3 3 大模型发展历程 众多预训练模型相继涌现，OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮 Ø 2017 年，Google提出Transformer 框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。 Ø 2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT，显著提高了NLP

...................................................................................39 3.4.1 大模型选择与训练................................................................................................... .......................................................................................59 5. 模型开发与训练................................................................................................... .....66 5.3 训练环境搭建............................................................................................................................................................68 5.4 模型训练与验证..........

长距离依赖处理能力强：自注意力机制能捕捉任 意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （更长的思维链、 更深层次的 推理路径） 低可控：生成文本可 读性差、语言混乱 拒绝采样： 筛选高质量样本 20 万条 通用数据 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 第一阶段训练：增强推理能力，生成高质量推理数据 （准确率奖励 + 可读性奖励） 第二阶段训练：增强通用能力，避免灾难性遗忘 推理导向强化学习 （准确率奖励 + 格式奖励） DeepSeek-R1 （强推理模型） 671B DeepSeek-R1-Zero （强推理模型） DeepSeek-V3 （基础模型） 面向全场景的强化学习 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据

......................................................................................61 3.3 模型选择与训练................................................................................................... .......................................................................................64 3.3.2 数据训练与验证................................................................................................ 顾客体验的关键策略。DeepSeek 大模型作为一种前沿的人工智能 解决方案，以其强大的数据处理能力和高效的算法优化，为餐饮行 业带来了全新的变革机会。DeepSeek 大模型基于深度学习框架， 能够通过海量数据进行训练，从而在多个场景中实现智能化操作。 其核心优势在于自然语言处理（NLP）、图像识别和推荐系统的深 度融合，能够精确理解顾客需求、优化菜单设计、提升服务质量， 并实现精准营销。 DeepSeek

system 数字原生 能力集成行动系统 自主策略制定 自主任务执行 自主评估优化 大模型建设 （ Multimodal LLM ） AI 算法 AI 使能基础设施 公域大模型 预训练基座大模型 垂直领域私域大模型 大模型及应用成为知识沉淀的最佳载体 网络建设 设备互联全 IP 化 软件定义网络 网络即服务 NaaS 云平台建设 （ Cloud ） 业务上云 网络安全 应用安全 保险行业智能化应用 代码生成 智能客服 内容生成 智能知识库 智能核保 智能理赔 智能风控 智能投研 大模型服务 提示词工程 预训练服务 微调服务 大模型评估 推理服务 大模型使能平台 零碳数据中心 云平台 傲飞算力平台 绿色供电 高效节能 液冷散热 》 数据 供给 ,' 数据要素提 供 容器 EIP VPC 裸金属 虚拟机 云存储 大模型 服务 数据标注 数据服务 算法开发 数据治理 数据开发 模型训练 应用推理 数据采集 可视化 模型仓库 调度优化 湖仓一体 数据管理 资源监控 工程化 数据安全 9 灵活 提供百亿及数百亿的两个模 型版本，并通过 DMOE 技 术 实现千亿乃至万亿模型

【公开】 概述 阿里云智能客服知识运营白皮书的撰写，是在阿里云智能客服团队的统一安排下，协调 包括算法工程师、开发工程师、产品设计师、AIT 人工智能训练师人员等多角色，将技术理 论 基础和实际实践经验进行结合，形成业内首部智能客服知识运营白皮书。 白皮书以阿里云 智 能客服系统为应用标的，面向智能客服中的知识定义、知识应用、知识梳理方法三大环 发，为用户提供高泛化性、灵活拓展的 QA 对匹配引擎，介绍如下： 适用知识 引擎优势 知识结构 模型训练 事实性知识 高泛化性、精准匹 配、向量召回、语义 计算 QA 问答对 FAQ 匹配模 型 支持线上 训练 2.2 任务问答引擎 任务问答引擎负责多轮对话的对话流设计、意图的管理、任务流的执行等功能，任务对 话引擎基于大规模预训练模型 Sturt-Bert 研发，支持 Fewshot 小样本识别模型 知识结构 模型训练 程序性知识 小样本识别、精准实 体抽取、上下文槽位 解析、意图分类+匹 配 多轮对话的对话流结 构 分类模型+匹配模型 支持线上训练 2.3 图谱问答引擎 图谱问答负责结构化体系化知识的问答，基于知识图谱 Schema 针对具备一定结构关 系 的三元组知识进行快速问答，支持多跳、计算、推理能力，介绍如下： 适用知识 引擎优势 知识结构 模型训练 概念性知识

赛富时：伦理AI实践的架构师 17 Miiskin：AI辅助皮肤成像，医师更能专注于复杂案例 18 好医生科技：实现家家户户都有好医生 19 奥斯勒工作：法律服务的转型现场 20 太平洋轴承公司：用于员工训练的AI虚拟现实 21 希捷科技：AI自动化视觉检测技术，削减晶圆和晶圆厂损耗成本 22 史丹佛医疗中心：往无人药局迈进 23 速食汉堡店：AI 助理炸薯条的同时还能服务客人 24 F 包含基于规则系统（rule- based systems）、具有多个「若则」（if-then）条件语句，机器学习（machine learning, ML）和神经网路模型（根据标记结果的资料加以训练，以预测未知成 果），以及一些用于和客户互动的自然语言处理系统。AI包括透过机器人流程自 动化达到办公室工作自动化，以及透过实体机器人达到工厂自动化。这些AI系统 可以执行多种不同功能： 销 售代表不善于处理竞争激烈的领域。」经理可以在评论上点击「同意」或「不同 意」，以及写下额外注解。该系统还可以计算出哪些人在通话中各自说了多久的 话，所以如果谈话内容过於单方面滔滔不绝，可以训练该代表避免这种情况再度 发生。 RingDNA还有规则引擎，可以在通话期间建议销售代表提出介入措施。例如， 当潜在客户询问某个特性或功能时，代表可以提出为潜在客户做简报的可能性。 如果代表确

CAGR 为 17.6% ，带动相关产业规模 1562 亿元， CAGR 为 18.2% 。 u 金融行业数据、场景丰富，大模型走上金融大舞台 我们认为，金融行业数据丰富且数据质量高，具备大模型训练的良好基础。同时，金融行业细分领域众多，且大量产品最终服务于 C 端用 户， 大模型应用场景丰富。随着大模型与金融业务的融合，创新应用将层出不穷。 金融行业数字化需求刚性，投入巨大，是大模型应用落地的大舞台 ，通过汇集客户在消费、社交、交易等方面的大数据，深度分析客户的真实需求和偏好， 并进一步形成更具针对性、个性化的营销解决方案。 机器学习技术：通过对机构过去累积的海量用户行为、产品交易、营销方式等数据进行机器学习训练，可以对客户画像实现精准的刻画和分 类， 从而对其所处的客户生命周期以及潜在需求实现预测。 以客群价值提升为核心，以客户主办行为作为指标，将客户划分为不同类客群，梳理形成客户行为事件分类，通过手机银行、客户经理、叫 2.0 克服了 AI 1.0 单领域、多模型的限制，可以用无需人工标注的超级海量数据去训练一个具有跨领域知识的基础大模型 （ Foundation Model ）；基于大模型，各种创新应用将层出不穷。 AI 2.0 + 金融：我们认为，金融行业数据丰富且数据质量高，具备大模型训练的良好基础。同时，金融行业大量产品最终服务于 C 端用 户， 大模型应用场景丰富。随

随着人工智能大模型应用蓬勃发展，大模型训练存在的 计算显存限制、风冷算力密度较低、智算资源利用率较低等 问题日益突出。中国电信不断优化算力设施建设布局，加快 研发落地息壤算力调度平台，显著提升算力协同调度能力， 实现多元算力一体化布局。 一是建设超大规模高性能智算中心，赋能行业数字化转 型。建设业内领先的液冷高性能公共智算中心，提供 4000PFlops 总算力供给，可满足万亿参数模型训练。采用基 于全栈 大计算能力，赋能千行百业数字化、智能化转型。 2 图 1 “超大规模液冷智算集群”平面部署图 二是打造智算服务平台，满足多场景需求。依托天翼云 自主研发的“慧聚”“云骁”“息壤”三大平台，提供高算 力、高吞吐、高兼容性训练能力，支持第三方算力以算力插 件模式实现标准化接入，支持主流框架及芯片，有效满足大 规模、高性能、多样化异构算力跨区域调度需求。 图 2 智算调度平台架构图三是发布互联互通验证平台，提升算力协同效率。 离跨区 RDMA（远程直接内存访问）进行市内算力组网，解决 算力资源分散无法被集中调用的问题。通过使用跨区 RDMA 协议和广域拓扑感知并行策略，对跨数据中心大模型训练提 出针对性模型训练策略建议，为客户提供合适的解决方案， 提升训练效率。联合国内算力上下游生态合作伙伴为客户提 供适配测试服务。 自 2023 年 9 月投入运营以来，建设大规模商用液冷资 源池，通过“两弹一优”实践创新解决机柜功率的变化需求，