智能数据标注产业发展观察报告 发布单位： 清华大学数字政府与治理研究院 江苏省数字化协会 支持单位： 上海数据交易所 华东江苏大数据交易中心 2025年4月

训 练 微 调 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 AI大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 预训练语⾔模型“预训练 + 微调”技术范式 ⼤规模⽆标注 ⽂本数据 模型预训练 不同特定任务 有标注训练数据 模型微调 测试数据 最终模型 Driven，模型基于大规模语料训练而成； Ø Multi-tasks Adaptive，支持多种任务，包括自然 语言生成NLG和自然语言理解NLU类的任务； Ø Few-shot (Zero-shot)，在少甚至无标注样本的 条件下支持推理（自监督学习）。 产业研究 战略规划 技术咨询 3 大模型发展历程 众多预训练模型相继涌现，OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮 与主机厂合作落地 使用了百度文心ERNIE 3.0大模型，在智能客服知识库扩充、车载语音系统短答案生成、 汽车领域知识库构建三个任务上进行了微调与验证。 该大模型在2300万条吉利汽车专业领域无标注数据上进行模型预训练，并联合双方的人 工智能专家和汽车行业专家一起研发。 百度使用半监督、自训练方案对大模型进行训练 应用于提升百度自动驾驶感知算法 Ø 先用有标签数据对模型进行初始启动训练，后将模型在无标签数据上进行推理得到伪

亿大幅拉升到 1750 亿，GPT-4 非官方估计约达 1.8 万亿。 泛化能力强：大模型能够有效处理多种未见过的数据或新任务。基于注意力机制 （Attention），通过在大规模、多样化的无标注数据集上进行预训练，大模型能够学 习掌握丰富的通用知识和方法，从而在广泛的场景和任务中使用，例如文本生成、自 然语言理解、翻译、数学推导、逻辑推理和多轮对话等。大模型不需要、或者仅需少 量特定 理复杂任务的优势，在更广泛的领域展现着巨大潜力，两者将长期共存。 大模型与小模型有望融合推动工业智能化发展。对于小模型而言，利用大模型的 生成能力可以助力小模型的训练。小模型训练需要大量的标注数据，但现实工业生产 过程可能缺少相关场景的数据，大模型凭借强大的生成能力，可以生成丰富多样的数 据、图像等。例如，在质检环节，大模型可以生成各种可能的产品缺陷图片，为小模 型提供丰富的训练样 11 工业大模型应用报告 3. 工业大模型应用的三种构建模式 大模型的构建可以分为两个关键阶段，一个是预训练阶段，一个是微调阶段。预 训练主要基于大量无标注的数据进行训练，微调是指已经预训练好的模型基础上，使 用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。针对工业大模型， 一是可以基于大量工业数据和通用数据打造预训练工业大模型，支持各类应用的开发。

周期的高度安全可信。 大模型中心由3套AI工程平台构成，包括数据平台、AI模型平台和AI原生应用平台。 （1）数据平台 数据平台是聚焦人工智能应用的数据全生命周期治理中枢，集成数据获取、数据加工、数据合成、数据标注、 数据配比、数据评估、数据发布、数据管理、数据安全等功能。数据平台提供从原始数据获取到标准化数据发布的全 链路自动化处理能力，提升数据生产加工效率、保障数据质量与合规性，通过一站式数据工程能力推动AI应用的工程 大模型训练中的算力利用率。在此基础上，构建“算力水电”普惠模式，实现即开即用，让算力像用水、用 电、用气一样便捷。 21 AI CITY 发展研究报告 数据标注：支持文本、视频、图像全类型标注，支持智能辅助标注以提升标注效率，支持人工审核以提升标注 准确率。 数据配比：支持文本、图片、预测配比，支持配比数据灵活抽样、合并。 数据发布：提供多种发布方式，支持一键发布到模型训练平台直通训练，支持胶囊封装防止数据泄露。 数据配比 标签筛选配比 数据集配比 预训练配比 SFT配比 图QA配比 图文配比 数据安全 存储安全 加工安全 流通安全 数据标注 图片QA 问答排序 视频caption 团队标注 文本QA 图片caption AI辅助标注 数据管理 数据标签 数据地图 数据检索 数据分类 数据追溯 数据血缘 数据发布 格式转换 数据拆分 明文发布 胶囊发布 评估规则

对话管理）结合起来决 定，怎么简单怎么来 意图识别 - 分类模型 分类模型和 seq2seq 判别模型的训练都属于有监督学习， 因此，所有的训练数据都是标注数据。 因此，在进入训练阶段前必须要经过一个步骤：人工标注。 如果大家真的在工作中应用机器学习，标注就是无法逾越的 脏活累活。 实体抽取 -Seq2Seq 判别模型 人工标记 语料 (Utterance) 意图 (Intent) [00183]{ 网络爬取 开源语料库 用户日志语料 人工编写 语料预处理 人工标记 模板配置 业务咨询 阅读用户日志 模型训练 分词 Word2Vec 卷积神经网络 Keras 文本分类 命名实体识别 词性标注 TensorFlow 语义理解 NLU 保存模型 知识图谱 Knowledge Graph 本体构建 网络爬取 客户文档 本体库 实体词典 语义解析 本体查询 查询陈述

信息迅速做出决策。一体化端到端则将感知与规控模块全部打通，形成一个统一的大模型，使系统能够更直接、 高效地处理信息并作出反应。业内典型代表为特斯拉、Momenta、理想等。这种架构取消了模块划分，减少信息损 失的同时，对数据标注的需求也更少，同时具有更强的泛化性。从模块化端到端到一体化端到端是一种相对平滑 的过渡形式。随着算法优化，技术将逐步向一体化端到端或端到端+多模态大模型的冗余双系统架构演进。 感知“端到端”： 当前的主流感知算法路线 的情况都能被模拟出 来，并且训练过程需要大量的“试错”。为了弥补强化学习的不足，许多研究选择将强化学习与监督学习（SL） 结合，例如隐式效用，通过使用监督学习对CNN编码器进行预训练。监督学习通过“标注数据”助力系统更好地理 解环境，强化学习则帮助系统在复杂环境中逐步优化自身策略。二者结合，让系统既能从已有的知识中学习，又 能在实践中持续改进。 图5：行为克隆（BC） 资料来源：Chen L, 注数据量、数 据标注、数据质量、数据分布、云端存储与超算中心等因素。2023年，特斯拉在端到端神经网络开发初期，就向系统 输入了1000万个经过筛选的人类驾驶视频片段，按每段15秒估算，高清视频的总计时长超过4万小时。根据特斯拉的 测算，单个端到端模型至少需要经100万个分布多样且高质量的视频片段训练才能正常运作。此外，在大规模数据收 集的基础上，需要对海量道路场景的数据进行标注，将其转化为支撑算

具备强大推理能力与长文本思考能力，继开源来备受关注。 DeepSeek R1-Zero 和 R1 的出现再次证明了强化学习的潜力所在： R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（ SFT ）； 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 通常被认为是不可或缺的一步，其逻辑先用大量人工标注的数据来让 模型 初步掌握某种能力（如对话或者语言风格），然后再用 RL 来进一步优化性能 DeepSeek-R1 系列跳过对于大规模人工标注数据的依赖 无需构建和维护高质量的 SFT 数据集，而是让模型直接在 RL 环境中进行探索 类比：初学者在没有老师指导的情况下，通过不断的尝试和错误来掌握一门新的技能。 这种自主学习的方式，不仅节省了大量的标注成本； DeepSeekMath https://arxiv.org/pdf/2402.03300 DS-R1 Zero 跳过监督微调 SFT 阶段，展现出大规模强化学习的潜力。这种自主学习的方式，不 仅 节省了大量的标注成本，而且让模型更自由的探索解决问题的路径 ，而不是被预先设定的模 式所 束缚。这也使得模型最终具备了更加强大的泛化能力和适应能力。 为了充分释放 GRPO 的潜力并确保训练稳定性， DeepSeek

WebGIS 地图上的实体上时，实体的轮廓 会勾画出来并提示实体的名称信息。热区效果能极大的增强用户体 验，同时也给浏览地图带来极大的方便。  地图标注物 支持多种地图标注物，展示更丰富的地图。目前所支持的地图 标注物有：定位标注物、图片标注物、线标注物。  POI 检索 支持 POI 批量检索、模糊检索、类型检索、精确信息检索； 133 7.5.1.3 指挥调度中心系统 7.5.1 体 为： 考试须知：帮助考生了解报名资格、条件、所需提交的材料、 考试资料、考试时间、考场秩序等。 考试报名：考生网上报名的具体操作页面。主要包括考生报考 所需提供的个人信息和报考信息，并标注出报考必须填写的部分。 网上缴费：方便考生完成报名流程后，实现网上付费的功能 ， 支持支付宝付款方式。 查看报名登记表：该功能方便考生快速查看报名登记表，并可 进行打印操作。 打印准考证： 统等功能。 183 （1）地图 景点标注：在 2D 地图上标注出景点所在位置及名称；游客可 通过搜索功能进行景点查找； 商家标注：在 2D 地图上标注出酒店、餐饮、商店所在位置及 名称；游客可通过搜索功能进行商家查找； 景区导航：根据用户所在位置及目的地，进行路线规划，为用 户标出最短游览路线，并提供参考意见； 语音导航：根据提供的语音资料，在标注上添加景点介绍的语 音资料播放功能。

2023-05-15 《电子行业周报-在行业周期筑底阶段无需过度悲观》 —— 2023-05-08 大模型参数量级飞涨，相应训练集需同比提升。李开复定义 AI 2.0 时代的 特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各 领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似 推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前 大语言模型参数均在十亿量级以上。同时，Deepmind lOmMoQeRoOnM6MnMtPvPqMqOwMoOuN 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 3 图表目录 图1： AI2.0 时代的特征是通过超级海量数据无需标注训练一个大模型 .............................5 图2： 过去五年 LLM 模型参数快速增长 ..................................... 语言处理快速发展的时期，暴涨的数据量伴随搜集、清洗、标注整个过程的成本 增加，且单一领域的数据集和模型形成孤岛，每个领域和应用的优化都是割裂的， 难以形成“通用”。 AI 2.0 时代的特征是通过海量数据，无需标注自监督学习，训练一个基础大模型， 并在各个应用领域将其专业化。具体来说有三个特点：1）对于拥有的超级海量的 数据，无需进行人工标注，即进行自监督学习；2）基础模型规模非常大，参数规 模

模态的特点，包 括 CAX 模型、传感信号、工艺文件、机器指令等特有数据模态，与通用大模型 常用的文本、图像等数据模态有很大区别。工业数据制备涉及到对这些复杂多 样的数据进行收集、整理、清洗、标注等操作，以便为后续的模型训练提供合 适的数据基础。 图 1.4 工业数据类型（三维图纸、时序信号、二维图纸、机器指令等） 1.1.4 工业基座模型训练 工业基座模型训练是工业大模型构建的重要阶段。在这个阶段，利用经过 小样本与冷启动挑战 工业领域存在显著的长尾分布现象： ➢ 故障样本稀缺：正常工况数据占比超过 99.9%，异常样本获取成本高 ➢ 新设备数据积累不足：产线升级导致的数据分布偏移问题 ➢ 标注质量要求高：需领域专家参与标注，人工成本是通用领域的 5-8 倍 ◼ 数据物理约束特性 工业数据受制于物理规律约束： ➢ 守恒定律：能量、质量等物理量的守恒关系 ➢ 因果时序：设备退化过程的不可逆特性 ➢ 检测模型仅需 50 张样本即可达到 90%准确率。 动态校准：在线学习机制使模型每月数据需求降低，以适应产线的快速换 型。 ⚫ 对比差异：工业大模型的数据利用效率提升 5-8 倍，数据标注成本降低 60%， 突破传统模型的数据依赖瓶颈。 1.4.2 模型能力维度对比 ➢ 传统模型： 18 架构局限：多为单任务专用模型（如 SVM 用于故障分类、CNN 用于视觉