信息滞后。 4 大模型微调 （ Finetune) 方案 ： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 利用这些数据修正 （微调）大模型； 效果 ： 1. 微调后的大模型， 更理解垂类应用要 求，性能更优； 2. 微调后的大模型， 事实性更准确，避 免了幻觉。 人工审核 Prompt 优化、反面案例、 COT 构建 模型微调 性能评估 原始训练集 专用训练集 微调后模型 模型上线 AI Agent 如何解决生成式大模型短板 Embedding 模型 通用大模型 垂直领域文档 5 大模型微调 ( 思维链 CoT) 方案 ： 1. 微调数据中包括领域知识 及解题步骤（思维链）； 2. 利用这些数据修正（微调） 大模型； 效果 ： 1. 微调后的大模型，更理解 垂类应用要求，性能更优； 2. 微调后的大模型，事实性 微调后的大模型，事实性 更准确，避免了幻觉。 AI Agent 如何解决生成式大模型短板 微调数据（思维链） 微调效果： 6 联邦大模型 方案 ： 1. 构建联邦大模型新范式，解 决数据稀缺 / 标注不足问题； 2. 利用联邦学习技术，在保护 数据隐私的前提下，合规合 法地利用手机、汽车等终端 设备上的私域数据； 效果 ： 1. 联邦大模型，整体性能更优； 2. 联邦大模型，有效保护了私

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

2-3G 大小（前端开发团队也有在做微调， 但只针对公共组件的使用上） 公共组件使用文档 真正的组件文档大小并不大，在 700 多 M ，在开发过程中便于模型能理解 公司内部的基本组件并知道如何使用； 同时将公共组件调用生成问答对更进 准的让模型理解 代码解释及关联代码 首先把所有代码把无注释的代码先生成一份代码注释 、然后将代码注释及代 码用于做微调 大模型在研发效能上的初步探索 o o o 单元测试案例及代码 提取代码中的单元测试案例 、以及单元测试的代码， 更精准的做代码微 调 微调模型的试验之路是否可行 困难 前期辅助编程方案并无法在研发流程中解决开发太多的痛点。 大模型辅助研发遇到的困难 需求分析 10% 好的需求分析工作对后期的研发有极大帮助 方案设计 8% 方案设计是系统稳定性 、健壮性 、可扩展性、 安全性等非功能的重要环节 开源模型迭代速度快 几乎每个月都有新模型出来 研发知识迭代影响 几乎每周都有版本更新 模型 Token 数限制 尤其是代码上下文数据巨大 微调服务器成本高昂 微调需要独占 GPU 资源，且巨大 2024-04-17 Mistral 8X22B 2024-04-24 Qwen-1 .5 110B 2024-05-13 Yi-1

行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 模型微调 测试数据 最终模型 从海量数据中自动学习知识 Ø Big-data 在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。 ��� 国产AI芯片自主研发 为确保中国大模型的长远发展和避免外部制裁风险，国内AI计算芯片的自主研发将成为关 键战略方向。 数据产权标准深化 优化和完善现有数据标准和规范，是 推动大模型“燃料”质量提升和数量增长的重要驱动 力，在2024年将作为产业发展的首要任务。 “套壳”微调策略 为满足产业实际需 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上 进⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 人工智能伦理责任 随着大模型性能的飞速提升和实⽤性的增强，确保AI技术与社会伦理道德标准相⼀致将成 为⼤模型持续发展的关键考量因素。 来源：沙利文中国大模型测评报告 产业研究 战略规划 技术咨询 12 来源：面壁智能公众号 ���������� MMLU �������������

架构的基础上， 通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 图表： ，中泰证券研究所 9 模型展现出随推理时间增加准确度增加的 Test time Scaling S1 仅使用 1000 个微调示例就达到了类似 r1 的准 确度 资料来源： s1: Simple test-time scaling ，中泰证券研究 所 图表：各模型微调示例数与准确度对比 图表： s1 表现出的 Test time Scaling n DeepSeek 可以通过 API 接 下，难以满足业务需求。 DeepSeek-VL2 等多模态模 型具备高精度的文档解析能力，能够提取文档中的关 键信息， 高效完成合同质检、条款比对等工作，大幅 提升工作效率与准确性。 n 江苏银行已成功本地化部署微调 DeepSeek-VL2 多模态 模型、轻量 DeepSeek-R1 推理模型， 分别运用于智能 合同质检和自动化估值对账场景中。 资料来源：上海证券报，搜狐，中泰证券研究所 16 降本增效场景之三：智能合同质检

保险行业智能化应用 代码生成 智能客服 内容生成 智能知识库 智能核保 智能理赔 智能风控 智能投研 大模型服务 提示词工程 预训练服务 微调服务 大模型评估 推理服务 大模型使能平台 零碳数据中心 云平台 傲飞算力平台 绿洲数据平台 n 大模型全栈能力， 开放化 工程化 • 分布式训练 • 大模型微调 • 大模型训练调优 • 可视化监控评估 • 基于质量管理 • 基于精度、类型 管理 • 全维度数据管理 • 多样化数据处理 • 云边端推理 • 云边端部署 • 数据安全审计 一站式工程化套件实现 AIGC 落地应 用 向导式 + 图形化降低 AIGC 门槛，开放性 + 工程化加速 AIGC 落地 大模型使能 部署推理 模型管理 模型训练 / 微调 算法开发 数据处理 13 旷视天元 Mega Engine … 海光 DTK 软件栈 … DCU 阿里龙蜥 CPU （海光、鲲鹏、飞腾） 国产化算力技术栈 场景 算法

技术，企业可以在不同类型的硬件资源上进行快速部署和扩展。预 计部署时间将从传统的数周缩短至数小时，极大提升了企业业务的 上线速度。同时，项目将提供持续的学习和优化机制，通过在线学 习和模型微调，确保模型能够随着业务需求的变化而不断进化。 在成本控制方面，项目将采用高效的计算资源调度和优化策 略，显著降低模型的训练和推理成本。通过引入分布式训练技术和 模型压缩算法，预计训练成本将降低 50%。 此外，项目将提供详细的成本分析和优化建议，帮助企业实现资源 的最优配置。  提高模型在多模态数据处理中的准确性和效率  实现跨云平台和边缘设备的自动化部署  通过在线学习和微调机制，持续优化模型性能  显著降低模型训练和推理的资源消耗  提供全面的成本分析和优化策略 最后，项目将提供一套完整的技术文档和培训材料，帮助企业 内部的开发人员和业务人员快速上手并充分利用该 如 HDFS） 和分布式计算框架（如 Spark）进行高效处理，确保数据的完整性 和可用性。模型层是底座的核心，采用大规模预训练模型（如 GPT、BERT）作为基础，结合企业特定的业务场景进行微调，同 时支持多模态数据处理（文本、图像、音频等），以增强模型的适 应性和泛化能力。模型训练过程中，采用分布式训练框架（如 Horovod）加速训练速度，并通过自动化超参数优化工具（如 Optuna）提升模型性能。

。将行业专业知识、企业私有数据与大模型相结合，可以有效降低模型幻觉， 提高对特定任务的适应性，更加符合专业性强的场景诉求。厂商可以在预训练、微调和RAG（检索增强生成）环节选择性地引入领 域专业知识，如首先通过预训练获得具有丰富专业知识的基础模型，然后通过微调使其适应特定的行业或任务，最后结合RAG来增 强模型对特定查询的理解和回答能力，也可以仅在其中某一个或某两个步骤中对模型进行优化。具体选择何种技术路径，应结合场 种技术路径，应结合场 景特征、数据基础来对投入产出比进行综合判断。 来源：结合公开市场资料和专家访谈，由艾瑞咨询研究院整理及绘制。 从通用大模型到企业级应用的实现路径 通用大模型 微调 针对特定任务或领域进行数据标注，对预训练模型 进行进一步训练，使模型能够专注于特定的任务或 领域，更好地理解任上下文、语义和领域知识 预训练 使用通用数据和领域数据混合全面调整或构建行业 大模型，捕捉底层的语言规则、结构和模式，适合 本地部署 从零开始 训练大模 型 基于既有 大模型进 行微调 通过RAG 等方式集 成企业知 识库 直接使用 现成的大 模型 模型训练 模型推理 模型应用 模型部署 MaaS（Model-as-a-Service）围绕模型的全生 命周期提供平台能力，以初创企业和开发者为主 要服务群体，提供包括数据标注以及模型由训练、 微调到应用开发等的全方位服务 需求痛点： • AI芯片供不应求+高端芯片禁令

表现，以便于不断优化和迭代模型。该模块将包含以下功能：  收集用户对分类结果的满意度调查。  监测模型在实际应用中的表现，记录误分类情况。  基于反馈数据，定期更新模型，进行再训练或微调。 通过上述各个模块的协调工作，AI 大模型流水分类系统将能够 高效、准确地完成数据分类任务，为用户提供持续优化的智能服 务。以下是各模块功能的简要总结： 模块 主要功能描述 数据采集模块 模型参数 保存下来，以便后续的推理和应用。在服务器端，模型可以通 过 RESTful API 的形式被调用。 7. 监控与调优：在实际应用中不断监控模型表现，及时收到反馈 进行模型的再训练与微调。通过持续学习，提高系统适应新的 数据模式。 在进行模型训练的过程中，以下是一些详细的性能指标评估策 略： 性能指标 描述 准确率 所有预测中分类正确的比例 精确率 正确分类为正类的比例 异。在处理复杂的特征时，变压器模型的自注意力机制可以有效捕 捉长距离依赖关系，从而提高分类性能。 为了实现高效的分类，我们建议使用预训练的变压器模型，如 BERT 或 GPT 系列，并进行针对特定分类任务的微调。通过这种方 式，我们能够利用预训练模型在大规模数据集上学到的特征，并在 此基础上，适应流水分类系统的具体需求。这种策略将显著加快模 型的训练速度，同时提升模型的准确性。 具体来说，我们将模型选择细分为以下几个步骤：

设立任务目标及流程 ↓ 精加工AI反馈的内容 ↓ 人类完成绝大部分工作 按指令执行流程 协作者模式 设立任务目标及流程 ↓ 微调AI反馈的内容 ↓ 人类完成部分工作 按指令交付内容 学习并优化执行 助理模式 设立目标、事件触发 ↓ 指令微调、节奏把控 ↓ 人类完成少部分工作 自动执行 成果交付 STEP01 STEP02 STEP03 关键词识别 ↓ 简历打标 资源部门工作效率和员工办事效率 针对不同组织和员工提供定制化的 服务和发展路径，提升员工体验， 同时增强员工的满意度和忠诚度 • 人力资源数字化厂商倾向接入主流商业模型或采用开源模型 • 利用积累的人力领域知识对模型进行微调，形成差异化竞争优势 • 通过外部知识库调用客户私有数据 需重点关注的AI安全问题 ① 数据隐私 员工服务机器人 智能简历筛选 AI视频面试 智能招聘助手 智能排班 档案自动维护 定制化人才培养