意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 模型微调 测试数据 最终模型 从海量数据中自动学习知识 Ø Big-data 在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。 ��� 国产AI芯片自主研发 为确保中国大模型的长远发展和避免外部制裁风险，国内AI计算芯片的自主研发将成为关 键战略方向。 数据产权标准深化 优化和完善现有数据标准和规范，是 推动大模型“燃料”质量提升和数量增长的重要驱动 力，在2024年将作为产业发展的首要任务。 “套壳”微调策略 为满足产业实际需 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上 进⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 人工智能伦理责任 随着大模型性能的飞速提升和实⽤性的增强，确保AI技术与社会伦理道德标准相⼀致将成 为⼤模型持续发展的关键考量因素。 来源：沙利文中国大模型测评报告 产业研究 战略规划 技术咨询 12 来源：面壁智能公众号 ���������� MMLU �������������

保险行业智能化应用 代码生成 智能客服 内容生成 智能知识库 智能核保 智能理赔 智能风控 智能投研 大模型服务 提示词工程 预训练服务 微调服务 大模型评估 推理服务 大模型使能平台 零碳数据中心 云平台 傲飞算力平台 绿洲数据平台 n 大模型全栈能力， 开放化 工程化 • 分布式训练 • 大模型微调 • 大模型训练调优 • 可视化监控评估 • 基于质量管理 • 基于精度、类型 管理 • 全维度数据管理 • 多样化数据处理 • 云边端推理 • 云边端部署 • 数据安全审计 一站式工程化套件实现 AIGC 落地应 用 向导式 + 图形化降低 AIGC 门槛，开放性 + 工程化加速 AIGC 落地 大模型使能 部署推理 模型管理 模型训练 / 微调 算法开发 数据处理 13 旷视天元 Mega Engine … 海光 DTK 软件栈 … DCU 阿里龙蜥 CPU （海光、鲲鹏、飞腾） 国产化算力技术栈 场景 算法

技术，企业可以在不同类型的硬件资源上进行快速部署和扩展。预 计部署时间将从传统的数周缩短至数小时，极大提升了企业业务的 上线速度。同时，项目将提供持续的学习和优化机制，通过在线学 习和模型微调，确保模型能够随着业务需求的变化而不断进化。 在成本控制方面，项目将采用高效的计算资源调度和优化策 略，显著降低模型的训练和推理成本。通过引入分布式训练技术和 模型压缩算法，预计训练成本将降低 50%。 此外，项目将提供详细的成本分析和优化建议，帮助企业实现资源 的最优配置。  提高模型在多模态数据处理中的准确性和效率  实现跨云平台和边缘设备的自动化部署  通过在线学习和微调机制，持续优化模型性能  显著降低模型训练和推理的资源消耗  提供全面的成本分析和优化策略 最后，项目将提供一套完整的技术文档和培训材料，帮助企业 内部的开发人员和业务人员快速上手并充分利用该 如 HDFS） 和分布式计算框架（如 Spark）进行高效处理，确保数据的完整性 和可用性。模型层是底座的核心，采用大规模预训练模型（如 GPT、BERT）作为基础，结合企业特定的业务场景进行微调，同 时支持多模态数据处理（文本、图像、音频等），以增强模型的适 应性和泛化能力。模型训练过程中，采用分布式训练框架（如 Horovod）加速训练速度，并通过自动化超参数优化工具（如 Optuna）提升模型性能。

。将行业专业知识、企业私有数据与大模型相结合，可以有效降低模型幻觉， 提高对特定任务的适应性，更加符合专业性强的场景诉求。厂商可以在预训练、微调和RAG（检索增强生成）环节选择性地引入领 域专业知识，如首先通过预训练获得具有丰富专业知识的基础模型，然后通过微调使其适应特定的行业或任务，最后结合RAG来增 强模型对特定查询的理解和回答能力，也可以仅在其中某一个或某两个步骤中对模型进行优化。具体选择何种技术路径，应结合场 种技术路径，应结合场 景特征、数据基础来对投入产出比进行综合判断。 来源：结合公开市场资料和专家访谈，由艾瑞咨询研究院整理及绘制。 从通用大模型到企业级应用的实现路径 通用大模型 微调 针对特定任务或领域进行数据标注，对预训练模型 进行进一步训练，使模型能够专注于特定的任务或 领域，更好地理解任上下文、语义和领域知识 预训练 使用通用数据和领域数据混合全面调整或构建行业 大模型，捕捉底层的语言规则、结构和模式，适合 本地部署 从零开始 训练大模 型 基于既有 大模型进 行微调 通过RAG 等方式集 成企业知 识库 直接使用 现成的大 模型 模型训练 模型推理 模型应用 模型部署 MaaS（Model-as-a-Service）围绕模型的全生 命周期提供平台能力，以初创企业和开发者为主 要服务群体，提供包括数据标注以及模型由训练、 微调到应用开发等的全方位服务 需求痛点： • AI芯片供不应求+高端芯片禁令

表现，以便于不断优化和迭代模型。该模块将包含以下功能：  收集用户对分类结果的满意度调查。  监测模型在实际应用中的表现，记录误分类情况。  基于反馈数据，定期更新模型，进行再训练或微调。 通过上述各个模块的协调工作，AI 大模型流水分类系统将能够 高效、准确地完成数据分类任务，为用户提供持续优化的智能服 务。以下是各模块功能的简要总结： 模块 主要功能描述 数据采集模块 模型参数 保存下来，以便后续的推理和应用。在服务器端，模型可以通 过 RESTful API 的形式被调用。 7. 监控与调优：在实际应用中不断监控模型表现，及时收到反馈 进行模型的再训练与微调。通过持续学习，提高系统适应新的 数据模式。 在进行模型训练的过程中，以下是一些详细的性能指标评估策 略： 性能指标 描述 准确率 所有预测中分类正确的比例 精确率 正确分类为正类的比例 异。在处理复杂的特征时，变压器模型的自注意力机制可以有效捕 捉长距离依赖关系，从而提高分类性能。 为了实现高效的分类，我们建议使用预训练的变压器模型，如 BERT 或 GPT 系列，并进行针对特定分类任务的微调。通过这种方 式，我们能够利用预训练模型在大规模数据集上学到的特征，并在 此基础上，适应流水分类系统的具体需求。这种策略将显著加快模 型的训练速度，同时提升模型的准确性。 具体来说，我们将模型选择细分为以下几个步骤：

设立任务目标及流程 ↓ 精加工AI反馈的内容 ↓ 人类完成绝大部分工作 按指令执行流程 协作者模式 设立任务目标及流程 ↓ 微调AI反馈的内容 ↓ 人类完成部分工作 按指令交付内容 学习并优化执行 助理模式 设立目标、事件触发 ↓ 指令微调、节奏把控 ↓ 人类完成少部分工作 自动执行 成果交付 STEP01 STEP02 STEP03 关键词识别 ↓ 简历打标 资源部门工作效率和员工办事效率 针对不同组织和员工提供定制化的 服务和发展路径，提升员工体验， 同时增强员工的满意度和忠诚度 • 人力资源数字化厂商倾向接入主流商业模型或采用开源模型 • 利用积累的人力领域知识对模型进行微调，形成差异化竞争优势 • 通过外部知识库调用客户私有数据 需重点关注的AI安全问题 ① 数据隐私 员工服务机器人 智能简历筛选 AI视频面试 智能招聘助手 智能排班 档案自动维护 定制化人才培养

www.iresearch.com.cn 28 企业拥抱大 模型的方式 与外部厂商 共建，联合研发 u 行业通用 大模型 + 微调 17.8% 17.8% 9% u 使用外部厂商成熟产品 u 自建大模型 联合研发或使 用外部成熟产 品拥抱大模型 66.7% 62.2% 44.4% 的企 业倾向于通过 28 数据应用：工业机理模型沉淀、可视化等 华为、阿里、百度、 腾讯、智谱 AI 等 模型 相关 服务 知识图谱 以通用大模型能力为基础，直接提 供具体的大模型产品及服务，或者 通过微调、 RAG 等，形成新的大模 型服务，并融入现有产品中 模型开发、训练、评估、调优、压缩、管理、调 用、部署等 场景 相关 服务 • 研发设计：辅助设计、仿真模拟 / 主要功能或目的 助力企 业找到 优势及 痛点， 做好转 型规划 通过数据 收集、治 理等工作， 做好数据 准备与沉 淀，将数 据资产 化 通过微调、 RAG 等方 式将大 模 型的 能力 应 用于企 业各个场 景，如辅 助代码 - 产品、工艺、 车间 / 产线设计 辅助 - 产品、工艺、

在引入大模型时，既要考虑外部大模型服务商的成熟度，也要评估企业内部是否有相应 的专家进行技术支持：一方面，外部服务商所提供的通用大模型需要与企业内部的知识 库进行整合；另一方面，在大模型引入后，需要进行预训练、微调或知识库加载，无论 是哪种操作，均需企业内部有相应的技术专家 ★ 如果追求大模型的准确性，则需为其提供更为完善是数据库，同时需要技术专家对其进 行调整 ★ 如果追求大模型的安全性，那么将其进行私有化部署会是较好的选择 的知识库进行整合。打破了知识与内容的壁垒，大模型才能做到对企业内部知识进行快速应答。 █ 内部技术基础 将大模型引入企业后，需要根据管理流程对大模型进行预训练、微调、或将企业内部知 识库加载到大模型中。无论是哪种操作，均需企业内部有相关的专家对大模型的机理有一定 的了解。 预训练、微调、知识库加载这三种应用模式的难度递减，就多数企业而言，知识库加载 是较为可行的应用模式。 企业实践 E 企业 36 智能技术赋能人力资源管理 识库进行整合。打破了知识与内容的壁垒，大模 型才能做到对企业内部知识进行快速应答。 █ 内部技术基础 将大模型引入企业后，需要根据管理流程对 大模型进行预训练、微调、或将企业内部知识库 加载到大模型中。无论是哪种操作，均需企业内 部有相关的专家对大模型的机理有一定的了解。 预训练、微调、知识库加载这三种应用模式 的难度递减，就多数企业而言，知识库加载是较 为可行的应用模式。 █ 资源匹配 在明确了内外部技术基础后，E

开源项目：DeepSeek开源开放策略，吸引 产业链上下游国内外企业纷纷接入。 l 开源社区：打造“开发-训练-测试-托管- 应用”全链条“中央厨房式”人工智能创 新模式。 l MaaS平台：面向产业提供模型调用、微调、 部署等在内的全链条服务 降成本 降门槛 l 一项技术能否引发经济社会的根本性变革，关键要看能否实现“双降”， 即降低门槛、降低成本。 l 人工智能作为当今时代的主导性技术，成本和门槛不断降低，为赋能千行