系统关键数据变量在一段时间内的平 均值和标准偏差 X6 系统关键数据变量在正常运行时的平 均值和标准偏差 X7 系统可能存在的状态选项 X8 回答格式要求 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 42/80 基于模板格式，自动填充相应内容，批量化生成用于大语言模型故障检测与诊断的提示词 from openai import OpenAI client=OpenAIO 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调 43/80 {"prompt": "", "completion": ""} 对原始模型进行能力测试，结合标注信息使其自纠正错误诊断内容，构建语料，微调大模型 生成微调模型 模型微调数据集 1. 测试原模型能力 2. 模型的自我纠正 检测诊断精度 诊断错误的对话 大模型自我纠正 3. 模型微调 故障检测与诊断能 力测试提示词库 原始大模型 Accuracy(% ) Normal Fault I … 生成 研究三：基于微调大语言模型的系统故障检测与诊断：模型微调

· · 107 企微运维机器人· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 108 华农保险大模型微调效果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 111 众安AIGC中台-众有灵犀· · · · · · · · · · /开源数据集、企业自有数据以及AI 合成数据。大模型训练和微调所需数据量快速增长，真实世界数据将在数年内被用尽。研 究机构Epoch估计，机器学习可能会在2026年前耗尽所有“高质量语言数据”。据Gartner 预测，2024年用于训练AI的数据中有60%将是合成数据。以Meta今年7月发布的 LLaMA3.1模型为例，监督微调环节的数据里有相当比例是合成数据，使用合成数据确实 带来了模型效果的提升。 带来了模型效果的提升。 （1）合成数据成有力补充 高质量的真实数据已逐渐无法满足大模型训练与精细微调的需要，这促使合成数据 作为真实数据的重要补充，在人工智能领域扮演着日益关键的角色。合成数据作为算法、 生成模型及模拟技术的产物，能够模仿现实世界数据的特征与模式，为大模型的训练与优 化提供丰富的数据资源。 以AlphaGeometry项目为例，该项目通过生成高达一亿个精准合成的数据点，为解决

.......................................................................................96 6.1.2 模型微调与迭代优化.............................................................................................. 智能体方案 异常检测覆盖率 预设规则覆盖 65%场 景 机器学习识别 92%场景 工作底稿生成效率 4 小时/份 20 分钟/份（自动校验） 在技术实现路径上，我们采用分层架构设计：底层通过微调后 的 DeepSeek 模型处理非结构化文档，中间层构建审计知识图谱实 现条款关联，应用层则部署风险预警、抽样推荐等具体功能模块。 某试点项目数据显示，该方案使应收账款函证程序的耗时缩短 57%，同时将异常交易检出率提升 40%；其次，风险预测模块通过分析 历史审计案例库，可自动生成高风险科目预警清单，在试点项目中 成功识别出 87%的关联方交易异常；最后，其持续学习机制允许接 入会计师事务所的私有知识库，例如某四大事务所通过微调模型使 其掌握了该所特有的工作底稿编码规则。 审计场景关键能力对照表 | 功能模块 | 技术实现方案 | 审计价 值指标 | |—————–|—————————————|

通过多头潜注意力机制（ Multi-Head Latent Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 ，中泰证券研究所 9 模型展现出随推理时间增加准确度增加的 Test time Scaling S1 仅使用 1000 个微调示例就达到了类似 r1 的准 确度 资料来源： s1: Simple test-time scaling ，中泰证券研究 所 图表：各模型微调示例数与准确度对比 图表： s1 表现出的 Test time Scaling n DeepSeek 可以通过 API 接 DeepSeek-VL2 等多模态 模 型具备高精度的文档解析能力，能够提取文档中的 关 键信息， 高效完成合同质检、条款比对等工作，大 幅 提升工作效率与准确性。 n 江苏银行已成功本地化部署微调 DeepSeek-VL2 多模态 模型、轻量 DeepSeek-R1 推理模型， 分别运用于智能 合同质检和自动化估值对账场景中。 资料来源：上海证券报，搜狐，中泰证券研究所 16

51 卷 第 1 期 自 动 化 学 报 Vol. 51, No. 1 2025 年 1 月 ACTA AUTOMATICA SINICA January, 2025 数更新或微调的情况下, 仅通过文本交互来指定任 务和少样本示例就能很好地完成各类任务. 在此之 后, 具有优秀泛化能力与丰富常识的基础模型在计 算机视觉、自然语言处理等领域都展现出令人瞩目 的效果. GPT-4 然后提供口头 纠正指导, 并记录用户提供的所有口头纠正及对应 的观察数据. 这些数据随后用于进一步微调高级策 略, 系统每隔固定时间间隔查询高级策略生成语 言指令. 通过这个过程, YAY Robot 不仅能在执行 任务时根据用户的口头反馈即时调整行为, 而且能 不断吸取经验教训, 通过反复微调逐渐改善自身 表现. 尽管大模型具有丰富的常识知识, 但由于训练 数据来自互联网的图片与文本, 理解 如场景的 3D 特征、点云、深 度图, 这些特征为模型提供了丰富的空间上下文, 使得模型可以通过其 3D 理解能力来模拟未来事 件, 以更好地规划行动. 在数据方面, 作者创建了一 个大型的具身指令数据集以微调模型, 数据集中包 含丰富的 3D 语言−动作对, 覆盖了多种任务, 如任 务描述、动作预测、定位、多模态目标生成; 在模型 方面, 3D-VLA 在 3D 大模型的基础上引入了各类 特征, 如场景特征、物体特征和动作特征

201名，迅速 在1月27日登顶第一名；截止1月30日，DeepSeek在 168个国家位居下载榜第一名 • DeepSeek-R1-Zero：一种通过大规模强化学习（RL ）训练的模型，没有监督微调（SFT）作为初步步骤， 展示了卓越的推理能力。通过强化学习，R1-Zero自然 而然地出现了许多强大而有趣的推理行为；但是，遇到 了可读性差和语言混合等挑战 • DeepSeek-R1：为了解决这些问题并进一步提高推理  大模型医疗应用服务平台：提供模型微调、测评、推理加速等全链路工具箱，为医院管理、临床、教学、科研等工作提供新范式。 -25- 大模型赋能船舶设计 n 联通数智公司、上海联通与中船海舟联合挂牌成立联合实验室，探索大模型落地中船海舟船舶设计等应用场景  针对大模型处理公式计算和图表理解的不准确问题，使用5万条增量 数据对元景70B大模型微调训练，提升基础大模型计算的准确率；  3、接入智能体平台 ….. B端生产场景多数重复使用模型某一重复能力， 大量百亿级参数模型即可适用 • DS -V3/R1满血版推理需16-32张910B，LORA微 调需512张910B。大量客户无支持微调的算力。单 任务算力消耗与百亿级参数模型不在同一量级 • DS 最惊艳的R1版，一次推理多在10-20秒，更适合 代码、数学、复杂规划等场景，很难响应B端高实时 业务应用场景 • 让DS高效学会私域知识，尚未明显突破，利用DS

件分析总结，快速判断漏报、误报，找出根因。 • 根据用户需求描述，以多轮对话的方式灵活地提供告警查询、定位、 分析服务。 无需训练资源，可灵活迁移至不同设备应用 • 依托大模型预训练阶段内生通用知识，不再单独进行领域微调 • 基于 Prompt 策略注入领域专家对齐信息，快速灵活迁移 增强分析结果的可解释性、可交互性 LLM 作为运维智慧体的潜力与挑战 : 大模型有强语言泛化与 解释 能力，但是对 Prompt 参数追问 提示词 参数提取 提示词 知识拼接 提示词 向⽤户追问 对话 / 交 互 原始 Query 对话上下文 展示答案 参数提取 检查改正 ⼊参检查 需要调用 API 指令微调 预训练 答案准确 DPO PART 04 大模型知识迁移打造运维专精模型： 工业场景需要增强可离线部署的小型 LLM 的日志分析能力，以更好地理解 Prompt • Although Adaptio n SuperLog: 初步实验结 果 • 任务：日志解析 • 实验设置： 10% 训练， 90% 推理 • Baseline: LLaMA-7B 直接下游任务微调 • 指标： F1-Score HDFS Hadoop Zookeeper Linux Proxifier LLaMA-7B 0.9997 0.937 0.786 0.914 0.929

）班主任老师追上大巴的地点 距离博物馆还有多远？ 首个将思维链显式展示的开源模型 DeepSeek-R1 的推理过 程 s1 通过在一个精心构建的小规模数据集上（ 1000 条数据） 进行微调， 并结合预算强制技术，实现了强大的推理能力和测试时计算扩展性 如何低成本实现推理模型？ Less Is More for Reasoning LIMO 假说： 在预训练阶段已经充 分 技术分析 情报服务 产业研究 知识问答 报告生成 面向产业创新领域， 以通用中文大模型为基座， 注入数十亿海量产业数据和数百个产业链知识图谱， 结合工具集、 知识库和指令微调训练得到产业网链大模型 。 • 底层拥有强大的产业数据和知识图谱数据，避免产业基础能力不足； • 实现智能化、精细化的产业治理模式，推动产业创新与发展， 加强产业创新生态完善； • ，构建人机共生认知决策链路 ，帮助用户打造智能决 策 系统。 四链融合知识计算引擎 是以通用大模型为基座 ，面向产业创新咨询服务场景， 数百个产业链知识图谱 结合工具集 知识库和指令微调训练得到产业垂域大模型 提供 产业链图认知 产业主体画像 产业实体匹配 产业发展预测 产业数据探索 业报告生成等 个方向的特色能力。 产业垂域大模型

体识别准确率达到 95% 以上 - 关系抽取准确率达到 90% 以上 - 知识 图谱覆盖率达到 80%以上 再次，设计并训练一个具备强泛化能力的 AI 大模型。基于处 理后的数据，采用预训练-微调的技术路线，训练一个能够适应多 场景任务的 AI 模型。模型的训练过程将注重优化参数效率和数据 利用率，确保模型在有限资源下仍能保持高性能。模型训练的关键 目标包括： - 模型参数量控制在 确保数据的多样 性和代表性。数据处理阶段将采用自动化工具与人工审核相结合的 方式，以确保数据质量。在 AI 模型训练方面，项目将采用深度学 习技术，包括预训练模型（如 BERT、GPT 等）的微调，并结合迁 移学习、多任务学习等策略，提升模型的泛化能力和应用效果。此 外，项目还将设计并实现一套高效的计算资源调度系统，以支持大 规模分布式训练，确保模型训练的效率和稳定性。项目的最终目标 大模型的训练设计时，模型选择与架构设计是决定 整体性能的关键环节。首先，需要基于任务需求、数据规模及计算 资源进行模型选择。对于自然语言处理任务，常用的模型包括 GPT 系列、BERT、T5 等。这些模型在预训练和微调方面表现优异，能 够处理多种复杂的语言任务。选择模型时，还需考虑其开源社区支 持、模型复杂度以及训练时间等因素。 在架构设计方面，需根据具体任务进行定制化调整。例如，对 于问答系统，可以在 BERT

术，基于 模型的特征重要性评估，选择出对分类或回归任务最有贡献的特 征。在此次应用方案中，可参考以下步骤进行特征提取与建模： 1. 选择合适的预训练模型进行空间特征提取。 2. 通过迁移学习微调模型，以适应特定领域的特征提取需求。 3. 使用 LSTM 对提取的空间特征进行时序建模。 4. 进行特征融合，形成包含空间和时间信息的综合特征向量。 5. 通过交叉验证等方式对特征的有效性进行评估，确保所选特征 择适当的迁移学习策略至关重要。这种策略能够有效减少模型训练 所需的时间和数据，提升模型在特定任务上的性能。通过迁移学 习，我们可以利用现有的大规模预训练模型，然后在针对性的小规 模数据集上进行微调，以适应特定场景的需求。以下是关于迁移学 习策略的详细阐述。 首先，迁移学习通常分为以下几个步骤： 1. 选择预训练模型：根据任务需求，选择合适的预训练模型。这 些模型可以是通用的视觉模型，如 例。同时，对数据进行处理（如去噪、裁剪、归一化）以增强 模型的训练效果。 3. 模型微调：在获得适当的数据集后，使用特定的任务标签对预 训练模型进行微调。微调的过程包括调整模型的最后几层，使 用目标数据进行进一步训练，通常采用较小的学习率以避免扰 动已学习的特征。这样可以使模型在新任务上更好地收敛。 4. 评估与优化：完成微调后，需要使用验证集对模型进行评估。 评估指标应包括准确率、召回率、F1 分数等，以全面评估模