.......................................................................................79 4.2.2 模型微调策略................................................................................................. .86 5. 微调方案实施........................................................................................................................................................................89 5.1 微调目标设定.... ...........................................................................................94 5.2 微调方法选择...............................................................................................

信息滞后。 4 大模型微调 （ Finetune) 方案 ： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 利用这些数据修正 （微调）大模型； 效果 ： 1. 微调后的大模型， 更理解垂类应用要 求，性能更优； 2. 微调后的大模型， 事实性更准确，避 免了幻觉。 人工审核 Prompt 优化、反面案例、 COT 构建 模型微调 性能评估 原始训练集 专用训练集 微调后模型 模型上线 AI Agent 如何解决生成式大模型短板 Embedding 模型 通用大模型 垂直领域文档 5 大模型微调 ( 思维链 CoT) 方案 ： 1. 微调数据中包括领域知识 及解题步骤（思维链）； 2. 利用这些数据修正（微调） 大模型； 效果 ： 1. 微调后的大模型，更理解 垂类应用要求，性能更优； 2. 微调后的大模型，事实性 微调后的大模型，事实性 更准确，避免了幻觉。 AI Agent 如何解决生成式大模型短板 微调数据（思维链） 微调效果： 6 联邦大模型 方案 ： 1. 构建联邦大模型新范式，解 决数据稀缺 / 标注不足问题； 2. 利用联邦学习技术，在保护 数据隐私的前提下，合规合 法地利用手机、汽车等终端 设备上的私域数据； 效果 ： 1. 联邦大模型，整体性能更优； 2. 联邦大模型，有效保护了私

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

........ 1 3.4 大模型服务 large-scale model service ........................................... 2 3.5 微调 fine-tuning ............................................................... 2 3.6 提示词 prompt .... 1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领域数据一般是特定场景的生产数据或合成数据。 注2:常用的微调方法包括提示词微调、全参微调、参数高效微调等。 [来源:GB/T41867—2022,3.2. 31,有修改] 3.6 提示词 prompt 提示语 使用大模型进行微调或下游任务处理时,插入到输入样本中的指令或信息对象。 b) 应支持多种数据类型，支持excel、txt、json等多种格式数据导入，以及支持结构化数据、非 结构化文本、音视频等多模态数据接入，提供数据去重工具。 6.2.1.2 数据标注 a) 应支持微调语料标注能力，即对已有大规模通用语料库进行精细化标注，以满足特定任务或领 域的需求。标注结果应具备一致性和可靠性，遵循相应的标注规范； b) 应支持对齐语料标注能力，具备将不同来源、不同结构的文本进行整合和对齐的能力，形成一

虚拟现实 自动驾驶 生态 PyTorch TensorFlow MindScope 训练算法 无监督预训练 强化学习 前沿探索阶段 底层计算库： CUDA 、 CANN( 华为 ) 有监督微调 对比学习 * 互联网爬取、规模大 LLM 预训练 多维并行算法 状态监测、任务调度 语言通用模型： DeepSeek-R1 统一端：解码架构 统一预训练框架 电力通用任务 布 式 并 行 训练 提 供电 力多模 态 基 础 模 型 模型并行 流水线并行 支持分布式并行训练 后训练：能力增强与偏好对齐 指令微调技术 人类反馈强化学习 多模态统一编码 关键特征抽取 图保始码算法 动态分辨率 视须关睫帧态知 多场景协间增强 真实龄据感知 电气信号始码 高雌特征映射 电气词表扩充 提 供 隐私保护 MD A. MD1 B. MD 1 、数据生成：纯文本数据制作管 线 构建高效的 半自动化数据制作管线，为预训练和下游任务微调提供大规模、高质量的电力领域文本数据支撑 15/37 质量考核 数据清洗 存储高质量数据 提示词 十 种子数据 提供自动 化标注 提供高质 量数据 指令 回答 数据 标注 构

· · 107 企微运维机器人· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 108 华农保险大模型微调效果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 111 众安AIGC中台-众有灵犀· · · · · · · · · · /开源数据集、企业自有数据以及AI 合成数据。大模型训练和微调所需数据量快速增长，真实世界数据将在数年内被用尽。研 究机构Epoch估计，机器学习可能会在2026年前耗尽所有“高质量语言数据”。据Gartner 预测，2024年用于训练AI的数据中有60%将是合成数据。以Meta今年7月发布的 LLaMA3.1模型为例，监督微调环节的数据里有相当比例是合成数据，使用合成数据确实 带来了模型效果的提升。 带来了模型效果的提升。 （1）合成数据成有力补充 高质量的真实数据已逐渐无法满足大模型训练与精细微调的需要，这促使合成数据 作为真实数据的重要补充，在人工智能领域扮演着日益关键的角色。合成数据作为算法、 生成模型及模拟技术的产物，能够模仿现实世界数据的特征与模式，为大模型的训练与优 化提供丰富的数据资源。 以AlphaGeometry项目为例，该项目通过生成高达一亿个精准合成的数据点，为解决

突破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 大模型构建流程分为：预训练、微调、奖励模型、强化学习四个阶段。预训练即 利用海量的训练数据和无监督学习的方法学习到通用的特征或知识，并将这些特征或 知识迁移到其他任务上，用于增强模型的泛化能力和表现。微调是指在已有的预训练 语言模型基础上，然后在新的数据集上进行少量的训练，使得模型能够更好地适应新 的任务或领 的任务或领域。提示调优（Prompt-tuning）、指令调优（Instruction-tuning）[7]和前缀调 优（Prefix-tuning）是现在大模型微调方法中较为常用的方法，其中 Prompt-tuning 是通 过提示来引导模型生成相关内容，Instruction-tuning 通过指令来训练模型执行特定任务， 而 Prefix-tuning 则是通过在输入中添加前缀来控制生成结果的格式和结构。奖励模型

预测模型（N-gram） • 优点：可解释、计算速 度快 • 缺点：从前向后单向计 算；单纯基于统计频次、 缺少对上下文的泛化； 随着n的增大，参数空 间呈指数增长 “预训练-微调” 学习范式 （BERT、GPT） 上下文学习、指令微调、 扩展规律 (GPT3、GPT4…) 基于Transformer架构的语言模型 • 优点： ✓ 长距离依赖处理能力强：自注意力机制能捕捉任 意距离的依赖关系。 浙江大学人工智能教 浙 DeepSeek-R1：监督微调+强化学习训练 DeepSeek-R1-Zero （强推理模型） 推理导向强化学习 （准确率奖励+格式奖励） 纯强化学习训练 低可控：生成文本可 读性差、语言混乱 高探索自由度 => 推理能力自我觉醒 （更长的思维链、更深层次的 推理路径） DeepSeek-V3 （基础模型） 监督微调 强化学习 图源自《ReFT: Reasoning 更强 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 混合数据 监督微调 面向全场景的强化学习 （规则奖励+奖励模型） DeepSeek-R1 （强推理模型） 671B 第一阶段训练：增强推理能力，生成高质量推理数据 第二阶段训练：增强通用能力，避免灾难性遗忘 对V3模型 监督微调 推理导向强化学习 （准确率奖励+可读性奖励） R1-Zero生成的 长思维链数据

均指代大语言模型。 2 人工智能时代的社会科学家 5 对于需要大规模文本分析的应用，则需要通过 API 访问；如果有进一步的保密需求，则需要考虑本地部署。 随着相关计算框架的成熟，本地部署大模型、微调大模型已经不是高科技公司的专利，而是每一个社会科学研 究者都能运用的工具。 在介绍完这些技术基础之后，我们分别介绍大模型在研究全过程中的应用。我们认为，人工智能大模型在 研究过程中将会扮演四种 Transformer 模型建构，并发展了 “预训练-微调”范式。所谓“预训练——微调”范式，就是指先在大量一般的文本上对语言模型进行训练，然 后在进行具体任务时，再利用少量数据进行微调。例如，在金融文本情绪分析当中，可以首先利用大量网络文 本数据，训练模型对于语言的一般理解；再利用少量领域数据（如 1000 条标注后的金融新闻标题）对模型参 数进行微调（Fine-tune）。在经济金融研究中，可以利用事先训练好的 利用事先训练好的 BERT 模型，在具体应用中进行微调， 实现对特定任务预测性能的改进。例如Siano (2025) 利用新闻公告文本作为自变量、公告后收益数据作为因变 量，微调了 BERT 模型。Huang et al. (2023) 则进一步针对金融和会计领域训练了 FinBERT 模型。 2020 年，Google 进一步推出了 T5 模型。这一模型的关键意义，在于通过“指令 + 数据”的形式实现了

2-3G 大小（前端开发团队也有在做微调， 但只针对公共组件的使用上） 公共组件使用文档 真正的组件文档大小并不大，在 700 多 M ，在开发过程中便于模型能理解 公司内部的基本组件并知道如何使用； 同时将公共组件调用生成问答对更进 准的让模型理解 代码解释及关联代码 首先把所有代码把无注释的代码先生成一份代码注释 、然后将代码注释及代 码用于做微调 大模型在研发效能上的初步探索 o o o 单元测试案例及代码 提取代码中的单元测试案例 、以及单元测试的代码， 更精准的做代码微 调 微调模型的试验之路是否可行 困难 前期辅助编程方案并无法在研发流程中解决开发太多的痛点。 大模型辅助研发遇到的困难 需求分析 10% 好的需求分析工作对后期的研发有极大帮助 方案设计 8% 方案设计是系统稳定性 、健壮性 、可扩展性、 安全性等非功能的重要环节 开源模型迭代速度快 几乎每个月都有新模型出来 研发知识迭代影响 几乎每周都有版本更新 模型 Token 数限制 尤其是代码上下文数据巨大 微调服务器成本高昂 微调需要独占 GPU 资源，且巨大 2024-04-17 Mistral 8X22B 2024-04-24 Qwen-1 .5 110B 2024-05-13 Yi-1