意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

........ 1 3.4 大模型服务 large-scale model service ........................................... 2 3.5 微调 fine-tuning ............................................................... 2 3.6 提示词 prompt .... 1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领域数据一般是特定场景的生产数据或合成数据。 注2:常用的微调方法包括提示词微调、全参微调、参数高效微调等。 [来源:GB/T41867—2022,3.2. 31,有修改] 3.6 提示词 prompt 提示语 使用大模型进行微调或下游任务处理时,插入到输入样本中的指令或信息对象。 b) 应支持多种数据类型，支持excel、txt、json等多种格式数据导入，以及支持结构化数据、非 结构化文本、音视频等多模态数据接入，提供数据去重工具。 6.2.1.2 数据标注 a) 应支持微调语料标注能力，即对已有大规模通用语料库进行精细化标注，以满足特定任务或领 域的需求。标注结果应具备一致性和可靠性，遵循相应的标注规范； b) 应支持对齐语料标注能力，具备将不同来源、不同结构的文本进行整合和对齐的能力，形成一

· · 107 企微运维机器人· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 108 华农保险大模型微调效果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 111 众安AIGC中台-众有灵犀· · · · · · · · · · /开源数据集、企业自有数据以及AI 合成数据。大模型训练和微调所需数据量快速增长，真实世界数据将在数年内被用尽。研 究机构Epoch估计，机器学习可能会在2026年前耗尽所有“高质量语言数据”。据Gartner 预测，2024年用于训练AI的数据中有60%将是合成数据。以Meta今年7月发布的 LLaMA3.1模型为例，监督微调环节的数据里有相当比例是合成数据，使用合成数据确实 带来了模型效果的提升。 带来了模型效果的提升。 （1）合成数据成有力补充 高质量的真实数据已逐渐无法满足大模型训练与精细微调的需要，这促使合成数据 作为真实数据的重要补充，在人工智能领域扮演着日益关键的角色。合成数据作为算法、 生成模型及模拟技术的产物，能够模仿现实世界数据的特征与模式，为大模型的训练与优 化提供丰富的数据资源。 以AlphaGeometry项目为例，该项目通过生成高达一亿个精准合成的数据点，为解决

均指代大语言模型。 2 人工智能时代的社会科学家 5 对于需要大规模文本分析的应用，则需要通过 API 访问；如果有进一步的保密需求，则需要考虑本地部署。 随着相关计算框架的成熟，本地部署大模型、微调大模型已经不是高科技公司的专利，而是每一个社会科学研 究者都能运用的工具。 在介绍完这些技术基础之后，我们分别介绍大模型在研究全过程中的应用。我们认为，人工智能大模型在 研究过程中将会扮演四种 Transformer 模型建构，并发展了 “预训练-微调”范式。所谓“预训练——微调”范式，就是指先在大量一般的文本上对语言模型进行训练，然 后在进行具体任务时，再利用少量数据进行微调。例如，在金融文本情绪分析当中，可以首先利用大量网络文 本数据，训练模型对于语言的一般理解；再利用少量领域数据（如 1000 条标注后的金融新闻标题）对模型参 数进行微调（Fine-tune）。在经济金融研究中，可以利用事先训练好的 利用事先训练好的 BERT 模型，在具体应用中进行微调， 实现对特定任务预测性能的改进。例如Siano (2025) 利用新闻公告文本作为自变量、公告后收益数据作为因变 量，微调了 BERT 模型。Huang et al. (2023) 则进一步针对金融和会计领域训练了 FinBERT 模型。 2020 年，Google 进一步推出了 T5 模型。这一模型的关键意义，在于通过“指令 + 数据”的形式实现了

.......................................................................................61 4.2.1 模型微调模块................................................................................63 4.2.2 业务逻辑集成模块 ..................................87 6. 模型微调与优化...............................................................................................89 6.1 领域适配微调........................................... .....93 6.1.1 金融术语与业务规则注入............................................................95 6.1.2 场景化微调（如信贷审批、投资建议）.....................................97 6.2 性能优化策略....................................

问问同检”应用方案的选择 当前常见的大模型应用方案主要包括大模型直答、大模型微调和 RAG ( 检索增强生成 ) 。 大模型直答虽成本低，但幻觉现象严重，缺乏领域知识与实时信息，且可溯源性较差。微调方案通过 优化模型获取领域知识，减少部分幻觉问题，但仍无法动态更新数据，且训练成本较高。 大模型 应用方案 大模型直答 问题 LLM 回答 问题 大模型微调 LLM + 领域知识 回答 RAG( 检索增强生成 问题 + 检索知识 LLM 回答 大模型直答 大模型微调 RAG ( 检索增强生成 ) 外在幻觉 多 中 少 领域知识 无 有 有 实时信息 无 无 有 可溯源 无 无 有 成本 低 高 低 RAG 方案则通过检索外部知识库，将外部知识作 为 生成内容的基础，从而大幅降低幻觉现象的发生。与仅 依赖模型记忆的直答和微调方案不同， RAG 方案具备 动态接入外部知识库的能力，在应对领域性问题和实时 【核心机制】基于岗位需求与人力资源的 " 动态平衡法 则 "  临床资源精准匹配  医疗质量安全强化  人员发展需求适配 【系统价值】通过人工智能持续优化，实现三大核心目标： 构建排班决策智能数据中枢、自动排班、人工微调 【智能排班】 NEXT- 基于大语言模型的质量指标总结 质量指标总结 NEXT- 基于大语言模型的员工考核系统 未经专业训练的大语言模型 AI 技术在检验医学中落地的挑 战 通用大模型（如

.......................................................................................96 6.1.2 模型微调与迭代优化.............................................................................................. 智能体方案 异常检测覆盖率 预设规则覆盖 65%场 景 机器学习识别 92%场景 工作底稿生成效率 4 小时/份 20 分钟/份（自动校验） 在技术实现路径上，我们采用分层架构设计：底层通过微调后 的 DeepSeek 模型处理非结构化文档，中间层构建审计知识图谱实 现条款关联，应用层则部署风险预警、抽样推荐等具体功能模块。 某试点项目数据显示，该方案使应收账款函证程序的耗时缩短 57%，同时将异常交易检出率提升 40%；其次，风险预测模块通过分析 历史审计案例库，可自动生成高风险科目预警清单，在试点项目中 成功识别出 87%的关联方交易异常；最后，其持续学习机制允许接 入会计师事务所的私有知识库，例如某四大事务所通过微调模型使 其掌握了该所特有的工作底稿编码规则。 审计场景关键能力对照表 | 功能模块 | 技术实现方案 | 审计价 值指标 | |—————–|—————————————|

..94 6.2 模型微调策略............................................................................................................................................................97 6.2.1 领域适应微调............ 上下文理解模块：基于 64 层 Transformer 解码器堆叠，每层 配备 128 头自注意力机制，支持最长 8k token 的上下文窗 口，足以覆盖保险条款全文  任务适配层：通过 LoRA 微调技术实现预训练模型向理赔场景 的快速迁移，仅需更新 0.1%参数即可适配核保规则变更 在架构设计上，模型采用动态计算路径优化技术。对于简单理 赔案件（如小额医疗险），模型自动激活浅层网络分支，推理延迟 85%案件的自动通过率。 模型针对保险行业特别优化的训练体系包含： - 领域自适应预训练：在 1200GB 保险专业语料上持续训练 - 对抗样本训练：包含 8 类常见欺诈模式的对抗数据集 - 条款对齐微调：使用对比学习技术确保输出与保险条款的严格对 应 实时服务能力通过以下技术实现保障： | 指标 | 性能参数 | 行业基准 | |———————|——————–|—————-|

核心：贯穿生命周期的数据安全与隐私保护 73 2.3 扩展：支持客户弹性、灵活地应对外部攻击 78 3 阿里云百炼关键场景安全实践 82 3.1 场景一：发布并调用一个线上模型推理服务 82 3.2 场景二：使用私有数据微调一个专属模型 85 3.3 场景三：构建并运行一个 AI Agent/MCP 应用 88 4 构建可验证的信任：阿里云百炼的 90 安全承诺与未来愿景 4.1 当下的承诺：安全可信的五大基石 策略限定允许使用的加密协议版本和加密套件，防止低安全性协议被误用， 从而进一步提升整体链路的安全等级。 ● 存储加密：阿里云为各类云上产品提供落盘数据加密能力，确保静态数据（如 RAG 知识库文档、模型微调数据集等）在存储层面的安全性。核心存储类产品（如云 盘 EBS、关系型数据库 RDS、对象存储 OSS）均支持一键开启加密功能，无需额外配 置即可满足大规模数据的加密存储需求。此外，部分产品也支持 算力指数级扩展需求。 ● 平台层优化实现算力资源的极致利用。阿里云大模型平台能够实现万卡级弹性调 度，AI 算力有效利用率超 96%，可稳定运行千卡任务 5 周以上。DeepGPU 增强工具 包在 LLM 微调场景实现 80% 性能跃升，视觉生成任务推理效率提高 60%。通过全栈 优化，阿里云 AI 基础设施的模型算力利用率提升 20% 以上，在 MLPerf 基准测试中 取得显存优化领先成绩。 2

条件下支持推理（自监督学习）。 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 ⼤规模⽆标注 ⽂本数据 预训练语⾔模型“预训练 + 微调”技术范 式 预 训 练 测试数据 微 调 2012 ，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。 产业端 国产 AI 芯片自主研发 为确保中国大模型的长远发展和避免外部制裁风险，国内 AI 计算芯片的自主研发将成为关 键战略方向。 数据产权标准深化 优化和完善现有数据标准和规范，是 推动大模型“燃料”质量提升和数量增长的重要驱动 力， 在 2024 年将作为产业发展的首要任务。 “ 套壳”微调策略 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上 进 ⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 人工智能伦理责任 随着大模型性能的飞速提升和实⽤性的增强 ，确保 AI 技术与社会伦理道德标准相—致将成 为⼤模型持续发展的关键考量因素。 在 2024 年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准