.......................................................................................79 4.2.2 模型微调策略................................................................................................. .86 5. 微调方案实施........................................................................................................................................................................89 5.1 微调目标设定.... ...........................................................................................94 5.2 微调方法选择...............................................................................................

据上进行训练， 以寻找特 征并发现 规律 ，进而形成可“举一 反三” 的强 大泛化能力 ，可在不 进行微调或少 量微调的情况下完 成多场景任务 ， 相当于 AI 完成 了“通识教育” 行业大模型 L1 是指那些针对特定行业或领域的大 模型 。 它们通常使用行业相关的 数 据进行预训练或微调， 以提高 在该 领域的性能和准确度，相当 于 AI 成 为“行业专家” 垂直大模型 L2 是指那些针对特定任务或场景的大 是指那些针对特定任务或场景的大 模型 。 它们通常使用任务相关的 数 据进行预训练或微调， 以提高 在该 任务上的性能和效果 1.4 大模型的分 类 按照应用领域的不同 ，大模型主要可以分为 L0 、 L1 、 L2 三个 层级 OpenAI 定义推理模型 在 OpenAI 的官网上 ， OpenAI 定义推理 模 型是在回答之前进行思考 ， 并在回复用 户 之前 ，在内部生成一长串的思维链过 闭环管理机制 定制化与灵活性 模型微调技术要点 （ 1 ） 高质量的标注数据： 标注数据 的质量直接影响微调的效果 ， 需要确 保数据标注的准确性和一致性 （ 2 ） 合理的微调策略： 选择合适的 微调算法和超参数 ，避免过拟合或欠 拟合问题 模型微调技术特点 （ 1 ） 领域针对性强： 经过微调的模 型在特定领域的表现会有显著提升

........ 1 3.4 大模型服务 large-scale model service ........................................... 2 3.5 微调 fine-tuning ............................................................... 2 3.6 提示词 prompt .... 1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领域数据一般是特定场景的生产数据或合成数据。 注2:常用的微调方法包括提示词微调、全参微调、参数高效微调等。 [来源:GB/T41867—2022,3.2. 31,有修改] 3.6 提示词 prompt 提示语 使用大模型进行微调或下游任务处理时,插入到输入样本中的指令或信息对象。 b) 应支持多种数据类型，支持excel、txt、json等多种格式数据导入，以及支持结构化数据、非 结构化文本、音视频等多模态数据接入，提供数据去重工具。 6.2.1.2 数据标注 a) 应支持微调语料标注能力，即对已有大规模通用语料库进行精细化标注，以满足特定任务或领 域的需求。标注结果应具备一致性和可靠性，遵循相应的标注规范； b) 应支持对齐语料标注能力，具备将不同来源、不同结构的文本进行整合和对齐的能力，形成一

均指代大语言模型。 2 人工智能时代的社会科学家 5 对于需要大规模文本分析的应用，则需要通过 API 访问；如果有进一步的保密需求，则需要考虑本地部署。 随着相关计算框架的成熟，本地部署大模型、微调大模型已经不是高科技公司的专利，而是每一个社会科学研 究者都能运用的工具。 在介绍完这些技术基础之后，我们分别介绍大模型在研究全过程中的应用。我们认为，人工智能大模型在 研究过程中将会扮演四种 Transformer 模型建构，并发展了 “预训练-微调”范式。所谓“预训练——微调”范式，就是指先在大量一般的文本上对语言模型进行训练，然 后在进行具体任务时，再利用少量数据进行微调。例如，在金融文本情绪分析当中，可以首先利用大量网络文 本数据，训练模型对于语言的一般理解；再利用少量领域数据（如 1000 条标注后的金融新闻标题）对模型参 数进行微调（Fine-tune）。在经济金融研究中，可以利用事先训练好的 利用事先训练好的 BERT 模型，在具体应用中进行微调， 实现对特定任务预测性能的改进。例如Siano (2025) 利用新闻公告文本作为自变量、公告后收益数据作为因变 量，微调了 BERT 模型。Huang et al. (2023) 则进一步针对金融和会计领域训练了 FinBERT 模型。 2020 年，Google 进一步推出了 T5 模型。这一模型的关键意义，在于通过“指令 + 数据”的形式实现了

问问同检”应用方案的选择 当前常见的大模型应用方案主要包括大模型直答、大模型微调和 RAG ( 检索增强生成 ) 。 大模型直答虽成本低，但幻觉现象严重，缺乏领域知识与实时信息，且可溯源性较差。微调方案通过 优化模型获取领域知识，减少部分幻觉问题，但仍无法动态更新数据，且训练成本较高。 大模型 应用方案 大模型直答 问题 LLM 回答 问题 大模型微调 LLM + 领域知识 回答 RAG( 检索增强生成 问题 + 检索知识 LLM 回答 大模型直答 大模型微调 RAG ( 检索增强生成 ) 外在幻觉 多 中 少 领域知识 无 有 有 实时信息 无 无 有 可溯源 无 无 有 成本 低 高 低 RAG 方案则通过检索外部知识库，将外部知识作 为 生成内容的基础，从而大幅降低幻觉现象的发生。与仅 依赖模型记忆的直答和微调方案不同， RAG 方案具备 动态接入外部知识库的能力，在应对领域性问题和实时 【核心机制】基于岗位需求与人力资源的 " 动态平衡法 则 "  临床资源精准匹配  医疗质量安全强化  人员发展需求适配 【系统价值】通过人工智能持续优化，实现三大核心目标： 构建排班决策智能数据中枢、自动排班、人工微调 【智能排班】 NEXT- 基于大语言模型的质量指标总结 质量指标总结 NEXT- 基于大语言模型的员工考核系统 未经专业训练的大语言模型 AI 技术在检验医学中落地的挑 战 通用大模型（如

相关知识作为参考 , 提高专业性和准确性。 指令微调 针对特定的电力任务（如故障诊断、报告生 成） , 构造指令数据集进行微调 , 让模型 学会 遵循特定格式和要求执行任务 ，可蒸 馏小模 型 ，部署在硬件配置更低的终端中。 领域数据预训练 / 微调 使用包含大量电力专业文献、报告、规 程、 运行日志等语料库对模型进行训练或微调 , 使 其掌握行业语言和基础知识。 知识图谱融合 整合与优化：整合大模型的初步分析结果、外部知识库信息、实时数据以及业务规则约束。 精炼与输出：进行更精确的计算、优化或模拟 ，生成最终的、可执行的决策建议或行动指令。 技术实现：能采用预训练大模型（经过电力领域微调） + 专用推理 / 优化算法（如运筹优化、强化 学习）。 核心大模型 与 推理决策引擎 < 整合与优化 精炼与 输出

条件下支持推理（自监督学习）。 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 ⼤规模⽆标注 ⽂本数据 预训练语⾔模型“预训练 + 微调”技术范 式 预 训 练 测试数据 微 调 2012 ，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。 产业端 国产 AI 芯片自主研发 为确保中国大模型的长远发展和避免外部制裁风险，国内 AI 计算芯片的自主研发将成为关 键战略方向。 数据产权标准深化 优化和完善现有数据标准和规范，是 推动大模型“燃料”质量提升和数量增长的重要驱动 力， 在 2024 年将作为产业发展的首要任务。 “ 套壳”微调策略 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上 进 ⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 人工智能伦理责任 随着大模型性能的飞速提升和实⽤性的增强 ，确保 AI 技术与社会伦理道德标准相—致将成 为⼤模型持续发展的关键考量因素。 在 2024 年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准

text2sql 数据表 可视化 数据库 能力组件 预定义组件 MCP调用 DAP 大模型 平台 云原生AI平台 模型推理服务 大模型 推理加速 大模型 分布式推理 模型 纳管 模型微调 微调 算法 模型 评估 模型训练加速 大模型 训练加速 大模型 分布式训练 数据处理 模型微服务 数据 标注 多数据 源支持 数据 批处理 标准API 高效推理引擎 优化的模型 容器化部署 个人智能助手 多任务处理 部门/团队应用 复杂推理，小模型微调 中小企业服务 模型微调，大并发推理 企业级应用服务 桌面级AI工作站 支持14B以下模型推理 AI推理服务器 支持70B模型推理 训推一体AI服务器 支持70B模型推理 +14B模型微调 柜级训推一体服务器 支持671B模型推理 +70B模型微调 千卡集群方案 支持在两周内完成 671B模型预训练 方案亮点 BACKGROUND 随着AI技术的快速发展，行业客户在智能化转型的过程中面临 应用场景模糊、试错成本和算力成本高昂等一系列问题。 针对这些问题，需通过算法框架优化、加速库升级和软硬件 全栈调优，构建起从模型微调、推理服务到智能体编排应用 的全流程解决方案。 HYGON 13 14 HYGON 海光DCU行业实战手册 软硬一体化交付，全流程自动化部署，真正实现开箱即用， 大幅缩短项目落地时间。

通过多源异构知识语料与多模态特征编码协同提升多 模态生成式问题理解精度 ， 并结合微调垂域化训练 ， 推进 Turing 多模态大模型行业应用赋能。 多源异构知识语料库 领域知识向量化 大模型垂域微调增量训练 众多应用场景任务 核心技术基础 0 3.5 基于 Transformer 架构自 回 异常场景感知 垂域知识交互问答 智能决策助手 智控研发变速箱 优化算法代码生成 智控算法仿真验证 归式预训练语言大模型 反馈微调大模型 o pe n AIG PT BloomZ 大 模 型 “ 鹏城 · 脑海”大模型 清华开源大模型 复旦开源大模型 标注系统 评测 适配 T-ARES 感知引擎

人类语言、代码语言、 XX 语言 2. 知识能力：海量公开知识，言之有物， GPT-2 时达 到 • 顺带学习（基座模型）：文字中蕴含了知识 • 压缩：幻觉 • 遗忘：微调（迁移学习），尤其是 RLHF 用人工神经网络获取网络模型：深度学习 -Transformer 模型 - 大语言模 型 大语言模型的核心原理：数据化 - 语义化 -NTP （ Next Token 大模型应用开发与深度学习实践 解决复杂 AI 应用场景中技术问题， 提升产品智能化水平。 专业 基础课 集中 实践课 专业 核心课 专业 选修课 神经网络与深度学习核心算法 大模型微调技术，优化算法性能 设计开发算法模型，解决实际问题 深度学习与 NLP 实践 语音识别技术 人工智能数学基础 数据库技术 计算机系统基础 操作系统导 论 人工智能导论 智能硬件与应用开发 大数据技术与应用 机器人技术与应用 模式识别与机器学习 大模型微调综合实践 大模型应用开发综合实践 Python 算法综合实践 Python 程序设计综合实践 人工智能综合实践 模型训练创新实践 图像识别与机器视觉 神经网络与深度学习 知识表示与处理 人工智能伦理 大模型微调技术 大模型应用开发 AI 开发方 向 Python 程 序 设 计 综 合 实 训