成为离图灵测试最近的机器人。 第二阶段：利用人工标注引导生成 2021 年底 - 至今 演进动力 : 从人类反馈中学习 8 ChatGPT 的技术路线选 择 海量人类积累的文本数据，进行无监督训练。 即可获得博学的文本生成模型 自回归 生成 单字接龙 9 第一阶段：模型规模增大，融合的任务更多 第二阶段：利用人工标注引导生成 ChatGPT 技术演 + Reddit 高质量 Webtext 模型：同 GPT-1 参数： 1.5 B 特点： + NLP 任务的 prompt 预 训 练，具备 zero-shot 的能力 数据： + 人工标注数据（万级 别） 模型： GPT-3 + 强化学习 参数： 1.3 B 特点：需求理解能力大幅提升， 生成能力大幅提升 数据： + Filter Common Crawl 模型： GPT-2 奖励 更新策略 第二步 收集比较数据并训练奖励模型 采样问题，模型输出 问题的多个回答 人工对多个答案进行 排序 使用排序比较数据训练 奖励模型 从问题数据集中抽取 问题 人工标注期望的答案 使用有监督的数据微调 GPT-3 ChatGPT 训练过 程 第一步 收集示范数据并做有监督训练 第三步 1 1 What technology wants ？ 1

response ） 请问您从哪里出发？ 用户 文本回复 语音信号 44 任务型对话 NLU 的研究热 点 • 意图识别与槽填充联合建模 • 标注数据不足条件下的 NLU 45 任务型对话 NLU 的研究热 点 • 意图识别与槽填充联合建模 • 标注数据不足条件下的 NLU 46 意图识别与槽填充联合建模 • 意图识别与槽填充不是相互独立而是紧密联系的 • 传统独立的建模意图识别和槽填充， Slots Intents 实验结 果 50 任务型对话 NLU 的研究热 点 • 意图识别与槽填充联合建模 • 标注数据不足条件下的 NLU 51 • 动机 • 对话技术平台需要用户上传大量的标注数据 • 能否帮助用户自动扩充标注数据，减小标注工作量？ 标注数据的自动扩充 where is the can you find the distance> route to ＃ 2 → I ' m desiring to eat at some is there any in 标注数据的自动扩充 find me the route to #1 : is there a #2: l ' m

2023-05-15 《电子行业周报-在行业周期筑底阶段无需过度悲观》 —— 2023-05-08 大模型参数量级飞涨，相应训练集需同比提升。李开复定义 AI 2.0 时代的 特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各 领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似 推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前 大语言模型参数均在十亿量级以上。同时，Deepmind lOmMoQeRoOnM6MnMtPvPqMqOwMoOuN 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 3 图表目录 图1： AI2.0 时代的特征是通过超级海量数据无需标注训练一个大模型 .............................5 图2： 过去五年 LLM 模型参数快速增长 ..................................... 语言处理快速发展的时期，暴涨的数据量伴随搜集、清洗、标注整个过程的成本 增加，且单一领域的数据集和模型形成孤岛，每个领域和应用的优化都是割裂的， 难以形成“通用”。 AI 2.0 时代的特征是通过海量数据，无需标注自监督学习，训练一个基础大模型， 并在各个应用领域将其专业化。具体来说有三个特点：1）对于拥有的超级海量的 数据，无需进行人工标注，即进行自监督学习；2）基础模型规模非常大，参数规 模

抢占先机。 10 全部参数激活，高能耗 OpenAI 等传统模型在运行时通常需要激活全部参数， 能耗巨大 模型调整强依赖标注数据 传统方式往往需要大量标注数据来监督微调（ SFT ）， 耗费大量人力和时间成本，且数据标注质量也会影响 模型性能。 任务精准分配，大幅降低能耗 依靠稀疏混合专家模型（ MoE ）架构，仅需激活 5%-10% 的参数，将任务精准 配给最相关的“专家模块” ，计算量和能耗大幅降低，如 V3 的训练成本仅为 GPT-4 的千分之一。 自主试错优化 R1 采用纯强化学习（ RL ）训练，跳过 SFT ，让模型通过自主试错和优化来学习， 减少对标注数据依赖，降低训练复杂度。 在实际应用中， R1 在数学和编程任务中表现优于 OpenAI o1 。 自适应调整 极简单的奖励规则，让大模型自我博弈、不断顿悟与自适应调整，实现深度思 考。比如， 等 模 型 。 RAG 引擎与知识库 支持 PDF 、 TXT 等文档的文本提取，结合向 量数 据库或全文索引构建知识库，提升生成内容的 准确性和相关性。内置数据集管理功能，支持 数据清洗 标注及增强 低代码开发 自 行 编 排 chatFlow 、 workFlow ， 节 点可直 接在界面拖拽组合，交互友 好易上 手。 大模型接入 兼容多种大模型，平台已部署 通义千问、

大模型的分类 按照应用领域的不同，大模型主要可以分为L0、L1、L2三个层级 是指可以在多个领域和任务上通用 的大模型。它们利用大算力、使用 海量的开放数据与具有巨量参数的 深度学习算法，在大规模无标注数 据上进行训练，以寻找特征并发现 规律，进而形成可“举一反三”的强 大泛化能力，可在不进行微调或少 量微调的情况下完成多场景任务， 相当于AI完成了“通识教育” 通用大模型L0 是指那些针对特定行业或领域的大 能够更好地理解和处理该领域的专业 问题； （2）模型适应性优化：通过微调可 以调整模型的参数，使其更符合特定 任务的要求，提高输出的准确性和稳 定性。 模型微调技术特点 （1）高质量的标注数据：标注数据 的质量直接影响微调的效果，需要确 保数据标注的准确性和一致性。 （2）合理的微调策略：选择合适的 微调算法和超参数，避免过拟合或欠 拟合问题。 模型微调技术要点 模型微调还是本地知识库？ 4.10 大模型构建的技术方案选择 atGPT 和 Claude 使用 人类反馈 强化学习（RLHF） 让模型的回答更符合用户期望，更好地选择符合人类偏好的答案 强化学习 不足之处： 数据准备成本高 时效性问题 需要收集、整理和标注大量特定领域的数据，这是一个耗 时费力的过程 对知识更新频繁的领域，微调后的模型可能很快会过时， 需要不断重新训练 4.10 大模型构建的技术方案选择 n 本地知识库 RAG（Retrieval-Augmented

人 智 能 外 呼 解 决 方 案 MRC P proxy 号码自动路由 . 完成复杂交互后依旧继续引 导 . 会话流程不被客户问题打 断 体化 一管理 性和渠 . 标注和干预实时生 效 多轮会话 机器人训练 Hear Q Sessio n 理财 投资周期 60 天 投资金额 1 万起 知 识 图 谱 应 用 场 景 投资周期 知识梳理的方法论 • 对话体验的方法论 某银行识别准确率 90%+ 转人工率下降 40% 问答复杂 • 上下文推理 • 大量 FAQ • 指代抽象 • 统一聚类标注 训练 • 语料生成与训练方法 • 知识图谱可视化 运营工具提高效率一倍以上 系统复杂 • 话务系统和架构复杂 性 • 后台业务复杂集成 • 异地双活部署架构 •

论。所涉及企业数据不100%代表企业的真实业绩，允许一定范围的误差。为尊重知识产权、保障数据贡献者的权益，请内容使用方在引用 相关信息及数据时（包括项目研究报告、财务报告，以及学术论文或毕业论文等）中标注数据来源，并按照文献引用方式标注来源。 法律免责： 1. 本报告内所有的数据仅供参考，受范围、定义、时效等的影响，M2觅途咨询不保证数据使用时的准确性、完整性、及时性、可靠性，以及对此提供任何明示 或暗示的保证。用户需自行判断并承担使用的风险。 该等解释和修改将不定期的进行并发布。如果用户不接受M2觅途咨询的免责声明或对我们的服务有任何疑问 ，请随时与我们联系。 5. 本报告所有的数据由中文、英文或其他语言组成，除非本报告对语言进行特殊标注，否则用户应当基于对语言的上下文或其普通含义来理解。 6. 任何对本报告及其所使用的数据提起的任何争议均适用于中华人民共和国的法律法规。 7. 请用户确认已阅读、理解并接受所有的条款。如用户不接

疗健康 产业。2025年2月，国产大模型DeepSeek-R1的全面开源与多领域适配，标志着AI医疗迈入技术融合与行业重构的新阶段。DeepSeek通过 强化学习技术与混合专家架构（MoE），在极低标注数据需求下实现推理能力跃升，其复杂任务处理与中文语料优化的特性，为医疗场景提 供了精准、低成本且本土化的解决方案。这一技术突破不仅推动了算法与行业工作流的深度结合，更吸引了恒瑞医药、医渡科技、东软集团 70%，成功率提升10倍。例如，医渡科技通过DeepSeek 处理55亿份医疗记录，加速药物靶点筛选与临床试验设计 ，研发效率提升显著。  模型训练与部署成本降低 DeepSeek通过强化学习技术减少对高成本标注数据的依 赖，结合开源策略，使企业能以更低成本实现本地化部署 。例如，方舟健客通过DeepSeek完成本地化部署，仅需 调整参数即可适配不同场景，大幅降低技术落地门槛。此 外，其蒸馏技术支持端侧小模型普惠化，进一步降低算力 相对较高。乳腺和肝脏的应用目前仍处于研发阶段，商业 化进程正在推进。部分头部企业则主要基于某一临床科室应用起家，发展成为精品后，将业务线拓展至其他临床科室。  数据采集与结构化优势突出，图像标注更易标准化  不同科室对AI影像产品的需求存在差异点。 AI影像中疾病筛查及辅助诊断类应用最为广泛 影像医技科室 超声科 影像 放射科 影像 病理科 影像 其他

模型采用了多尺度特征 融合和深度监督等技术，具有更好的图像分割效果和更高的鲁棒性。SA-1B 数据集是 Meta 开源的一个大规模的、高质量的图 像分割数据集，包含 10 万张图像和 100 万个标注，涵盖了人、动物、车辆、建筑等多种类别。  开源 SAM 模型和 SA-1B 数据集将为机器视觉领域的学术研究和产业应用提供更加丰富的资源和技术支持。通过更加广泛地应 用和改进 SAM 相对较高。乳腺和肝脏的应用目前仍处于研发阶段，商业 化进程正在推进。部分头部企业则主要基于某一临床科室应用起家，发展成为精品后，将业务线拓展至其他临床科室。  数据采集与结构化优势突出，图像标注更易标准化  不同科室对AI影像产品的需求存在差异点。  相关上市公司：祥生医疗、联影医疗、美年健康、安必平、迪安诊断、鹰瞳科技-B、万东医疗等 AI影像中疾病筛查及辅助诊断类应用最为广泛 ”、“乳腺疾病人工智能超声诊断软件”和“颈动脉人工智能超声诊 断软件”3项软件著作权登记证书, SonoAI目前已经启动美国FDA注册工作  其中乳腺人工智能技术  用于算法训练的图像标注上，除了考虑医师根据经验做出的勾画和判断，更主要是以乳腺穿刺活检的结果为“良恶性判断” 的“金标准”  公司的乳腺人工智能技术可以兼顾其它品牌超声机器的不同图像风格，可以用于对本公司、及本公司以外乳腺超声图像的辅

多机多卡大规模稳定训练，故障自动 隔离，任务断点续训 内置训练加速 Angel训练框架加速，训练性能平均提 升30% 精调数据配比训练 100+任务类型精调配比数据 数据标注 灵活配置 schema， 自动生成标注工具 数据构建 全开源可扩展数据 处理pipeline AI建模和部署 AI资产管理 自研混元大模型 自研行业大模型 开源大模型 通用AI框架 大模型训练 垂类场景模型训练 内置自研混元大模型和主流开源大模型，部分模型已适配国产算力 模型 框架 算力 底层软件 实用工具链 稳定可控的 训练调度 方式齐全的 模型评测 易用可靠的 模型部署 可灵活扩展的多模态数据标注 4大类场景全面支持 可自定义的任务调度策略 3层机制保障减少中断 可即时发起的模型效果检验 3阶段评测全面覆盖 可自动弹缩的分布式部署 稳定支持高并发 高效灵活的 数据准备 强大内核 腾讯云私有云TCE、大数据平台TBDS、混元大模型、训练平台Ti等一系列能力，协助用户构筑集“省域数据交换中心，数据治理能力中心和数字文 化服务中心”于一体的一站式智慧平台： 1.通过TCE、TBDS、预标注、训练推理、内容中台等平台，为四川文化大数据打造统一的数智底座，实现多维度、分层级的全域文化标签体系，对 文化资源的标准化标识与动态关联，形成可复用、可追溯的文化核心资产库。 2.通过大模型实现私有化的