DeepSeek消费电子行业大模型新型应用最佳实践分享

微信扫码，打开到小程序

DeepSeek 消费电子行业大模型新型应用最佳实践分享 陈树荣 腾讯云智能商业化 2025.03 LEVEL 1 研发模型结构 LEVEL 2 研发预训练模型 LEVEL 3 基于模型 SFT LEVEL 4 直接调用 大模型产业生态图 大模型产业链上的生态，根据大模型生态上不同企业的定位，分成了四个等级的企业： • 自研大模型结构的企 业 • 不用训练，直接调 用大模型 API 的企业 • 研发预训练模型的企业 • 基于自己数据 SFT 做自己模型的企业 • 基于开源或者基于国内预训练模型结 合自己数据进行微调的企业 …… …… …… …… 国外头部 国内大厂 国内创业明星 国内外大模型百花 齐放 全球开源社区 DeepSeek 是“深度求索 ” 开发的一系列人工智能模型。 DeepSeek 通过持续的技术创 新 和市场拓展，在自然语言处理和大型语言模型方面取得了显著进展，在国际市场上获得 了 广泛认可。其中： ● DeepSeek-V3 是在 14.8 万亿高质量 token 上完成预训练的一个强大的混合专家 (MoE) 语言模型，拥有 6710 亿参数（激活参数 370 亿）。作为通用大语言模型，其在 在知识类任 务（知识问答、内容生成等）领域表现出色。 ● DeepSeek-R1 是基于 DeepSeek-V3-Base 训练生成的强化推理能力模型，在数学、 代 码生成和逻辑推断等复杂推理任务上表现优异。 DeepSeek 推动国产模型达到新 的高度 开源模型比肩头部闭源 60%+ 指标优于 Llama3.1 Claude-3.5 GPT- 4o 打破大模型技术壁垒 重挫美国科技公司股价，英伟 达市值下跌 5900 亿 更高效资源利用 使用 ~2,000 GPUs, 竞品使用 10,000+ GPUs 人工智能的 Sputnik 时 刻 被美国及其盟友列入各种限制 更低的研发成本 * $5.6M vs. OpenAI’s $100M+ 投资浪费 业务系统 A 对外出入口 A 应用逻辑 A 算法 算力 适应性差 业务系统 B 对外出入口 B 应用逻辑 B 算法 算力 项目周期长 业务系统 C 对外出入口 C 应用逻辑 C 算法 算力 统一出入口 应用模板（ A/B/C… ) 算法池（ A/B/C… ) 算力池 大模型时代企业 AI 项目“烟囱式 ”建设痛点越发严重 智能化趋势下：多品牌多场景下的重复造车轮，导致模型算法和镜像等 AI 资产管理分散，无法沉淀复用和统一运用。 底层统一 上层统一 中层异构 AI 治理 集约敏捷的 AI 中台式建 设 业务系统 B 业务系统 C 业务系统 A AI 项目的烟囱式建 设 知识引擎 大模型 API （ DeepSeek/ 客户专属 模型 / 混元 / 行业模型等） 模型 API 行业大模型 客户专属模型 模型 API 兼容 OpenAI 接口规范 复刻 Deep seel 的推理加速能力 一键发起模型部署 推理加速 DeepSeek 模 型 客 户 数 据 训练加速 DeepSeek 联 网 助 手 文档问答 知识摘要 • 模型 + 训练平台 + 应用构建 平台 全链路能力。 • 提供从训练——推理——应 用的一站式丝滑服务体验 • 全面接入 deepseek 模型 大模型工具链支持大模型研发至应用全栈技术 算力 计算集群（ H20/A10 等） 国产算力适配 高性能计算网络架构 客户业务系统 知识引擎应用 数智人 智能客服 多轮改写 文档解析 向量检索 文档拆 分 意图识别 RAG 知识文档 知识问答 开放 对接 知识引擎 配置项 工作流 联网搜索 模型部署 服务管理 应用场景 大模型 广场 大模型精调 解决方案 腾讯云精调知识大模型 DeepSeek 系 列 模 型 DeepSeek 系 列 模 型 一键发起模型训练 模型训练 内置 DS 全系模 型 客户专属模型 客户专属模型 混元系列模型 混元系列模型 TI 平 台 模型服务 腾讯云 TI 平 台 大模型模型训练和推理开发平台，灵活精调和部署私有 DeepSeek 训练 部署 应用 数据中心 分布式推理： 解决大参数量模型部署，提供超长上下文窗口 内置推理加速： 全新升级 Angel 推理加速能力，加速比可达 2 倍 大模型调用： 统一的大模型调用 API 及体验工具，大幅缩短业务 接入大模型能力周期 u 公有云自带容器底座 TKE u 私有化自带容器底座 TCS 腾讯云 TI 平台产品核心能力 面向实战的一站式大模型精调部署解决方案 AI 建模部署 大模型精调 u 快速试一试： 零代码一键部署大模型，网页问答体验推理效果 u 精调训练： 低代码、灵活自定义两种精调模式自由选择 多种训练工具：具备周期调度能力的可视化建模，低门槛深度学习场景化 工具，交互式代码开发工具，专业的通用任务调度工具 分布式稳定训练：支持多机多卡大规模训练，故障自动重启续训 镜像制作：基于 jupyter 的高效自定义镜像制作工具 训练指标监控：丰富的指标监控及告警，覆盖网络及 GPU 算力 内置训练加速：全新升级 Angel 训练框架加速能力，性能提升 30% 精调数据配比训练： 内置 100+ 任务类型精调配比数据 AI 框架 u Pyspark ， pytorch, vllm ， megatron 等 通用训练框架 u triton, vllm, sg lang, sd, pmml 等 通 用 推 理框架 分布式文件存储 u 公 有 云 分布 式 文 件 存 储 CFS/Turbofs/Goosefsx u 私有化 NFS 协议存储 NAS/CSP 云服务器 u 公有云 HCC 高性能服务器，一键纳管 u 私有化服务器，支持 X86+ARM 统一纳 管 自研行业大模型 u 金融 / 汽车 / 医疗，提升垂类任务性能 u 支持知识增强、实时更新知识库 开源大模型 u Deep seek 全 系 u Llama/baichuan/chatglm/Qwen 等 自研混元大模型 u 从零训练自主创新的通用大模型 u 7b 13b 70b 不同参数量级 数据构建 预置 3 大类精调 数 据 处 理 pipeline 数据标注 CV ，大模型相 关的标注工具 模 型 部 署 训 练 工 坊 数据 调试 容器底座 AI 资产管 理 资源管理 一体化服务管理工具及推理加速能力 一体化服务管理工具 Angel 推理加速 指标监控 鉴权 / 限流 流量分配 实时掌握服务性能、调用量、资源消耗等关键指标 自动调度符算力资源，弹性灵活应对业务峰谷 HPA 扩缩容 定时扩缩容 组合扩缩容 提供多种扩缩容策略，满足不同场景的灵活资源需 求 纳管资源组 按量计费算力池 大模型专属 GPU 算力 包月独享 核心收益 长上下文 (64~128K) 超大模型启动加速 独享 GPU 算力集群 私有 API 服务调用 高并发、高可用 企业级鉴权流控 算力投入持续降低 DeepSeek 全系 列 R1 、 V3 满血版 R1-Distill-Llama-70B R1-Distill-Qwen-32B R1-Distill-Qwen-14B R1-Distill-Llama-8B R1-Distill-Qwen-7B R1-Distill-Qwen-1.5B DeepSeek 部署方案 DeepSeek 全系大语言模型支持服务部署 并行解码 模型量化 并行优化 Sampling 及 batch 优 化 CPU 及 传 统 GPU 算 力 按需按 量 服务管理 与运营 算力调度 容器调度 核心收益 满血版模型一键精调 • 256 卡 H20 • 全参 SFT • 8 小时 蒸馏后模型多模式精调 • 全参 +LoRA 双模 式 • 低至 1 卡 A10 DeepSeek 全系 列 R1 、 V3 满血版 R1-Distill-Llama-70B R1-Distill-Qwen-32B R1-Distill-Qwen-14B R1-Distill-Llama-8B R1-Distill-Qwen-7B R1-Distill-Qwen-1.5B DeepSeek 精调方案 DeepSeek 全系大语言模型支持 SFT • 全流程训推工具链，注重实战灵活性、扩展性 • 内置 Angel 加速能力，切实提升训推效率 • 训练过程白盒化、资源碎片监控、训练资源调度灵活可配， 切 实提升资源利用率 注重灵活性、扩展性的生产级大模型精调工具链 DeepSeek 蒸馏方案 DeepSeek 全系大语言模型支持 SFT 快速 直观 R1 推理结果 生成 R1 推理服务调用 构造蒸馏数据 集 清洗 R1 推理结果 灵活、易扩展 基于 TI 平台精调工具链，迁移 R1 高级推理能力至小尺寸模型，以更低推理成本满足垂直场景下的业务需 求 内置 R1 模型一键部 署 快速 选择并精调目标模型 评估对比模型效果 R1 模型部署 效果评 估 蒸馏模 型 任务式建模 数据构建 模型评测 数据构建 数据构建 无关数据过滤剔除 R1 问题清 洗 在线服务 - - ~ TI 平台的 DeepSeek 实践 全行业适用、让 DeepSeek 更好用 TI 平台 × DeepSeek 面向实战的精调部署平台 全周期均可切入使用 痛点 不知道怎么基于 R1 蒸馏模 型 开源框架繁多，不知道怎么选 TI 平台价值 内置蒸馏方案，开箱即用 内置全系模型，一键精调 多 验证成本高 算力投入大，优化成本长期存 在 配置自主可控，快速验证并发用量 统一资源纳管，灵活切换 启动阶段 痛点 一键多副本，快速线性扩缩容 持续升级推理加速，降本增效 故障多，无法长时间稳定运行 规模扩大，人 / 物料管理难度高 开源资源分散，准备周期长 解决技术问题，体验效果滞后 工具链易上手，快速验证效果 统一资源纳管，灵活腾挪算力 故障感知修复 + 监控，高可 用 细致的资源级权限管控 稳定期 痛点 稳定期 痛点 探索期 痛点 根据业务量探索资源用量 机型差异大，选型难 验证效果链路长，耗时久 算力空闲情况多， ROI 低 探索期 TI 平台价值 内置全系模型，一键部署 免费体验，快速验证效果 服务部署 蒸馏精调 启动阶段 业务量变化，服务调整难度大 TI 平台价 值 TI 平台价 值 TI 平台价 值 TI 平台价 值 痛点 腾讯云大模型知识引擎 基于大模型应用开发平台，助力客户加速大模型应用落地 （零代码） 知识引擎应用开发平台：面向初级开发者 & 企业运 营 腾讯云全栈 AI 服务上线 DeepSeek 模型 通过 DeepSeek API 和应用开发平台多级能力，满足用户各类需求 API 服务：面向资深开发者 & 企业开发者 （满血版） 目标客户和场景 : • 面向具有一定开发能力的企业 / 资深开发者，期 望通过多款原子能力组建专属服务。 • 可结合文档解析、拆分、 embedding 、多轮改写 等服务进行组装，定制企业专属 AI 业务。 主要优势 : • API 服务更稳定、安全、易用；满足大批量使用， 可以弹性扩容满足客户需求；支持购买专属并 发； • 限时免费试用（ 2025 年 2 月 25 日 23:59:59 前）； • 兼容 openai 的 API 接口协议，可快速调用体验。 腾讯云 DeepSeek API 服务调用——安全、高可用 主要优势 : • 国内率先支持「 DeepSeek 满血版 + 私 域知识管理 + 实时搜索」于一体 • 分钟级搭建大模型应用 • 集成私域知识库，让 AI 更专业，支持 复杂图文混排文档解析 > 目标客户和场景 : • 面向具备简单开发能力的初级开发者、企 业运营人员。 • 可通过模型选择、提示词模版、 RAG 配 置能 力等加速大模型应用构建，实现与自 身业 务系统的无缝对接。 接入搜狗搜索增强 API ，一键开关，即可让 DeepSeek 实时 获取 互联网最新资讯，提升时效性和回答准确度 腾讯云大模型应用开发平台“知识引擎” —— 免部署，分钟级搭建应用 腾讯云大模型知识引擎：基于大模型的应用开发平台 聚焦严谨场景，打造大语言模型应用开发平台 , 提供 LLM+RAG 、工作流、 Agent 多种应用开发方式，来助力企业及开发者，加速大模型应用 落 地。 混元大模型 turbo large standard standard-256k 腾讯云行业大模型 精调知识大模型 / 多模态大模 型 金融 / 教育 / 医学行业大模型 腾讯内部产品合作 数智人 企点客服 腾讯学堂 乐享 应用 原子 能力 大 模型 文档解析 - 拆分 - 入库 - 检 索 向量化（ embedding ） ③Agent 模式 调用插件 / 复杂工作流 响 应用户对话 ② 工作流模 式 指定工作流响应 用户对话 文档拆分 重排序 （ rerank) ① 官方插件 文档解析 / 混元文生 图 .. 汽车 语音助手 零售 电子 说明书 金融 代理人 辅 助 ... ① 标准模式 内置 RAG 最优流 程 文档解析 多轮改写 文旅 虚拟 导游 政务 一网 通办 ② 自定义插 件 应用 场景 三方大模型 插件 工作流模式 “ 智能生产线 ” 使用指定的工作流来响应用户所 有对话。如果你对应用的执行流程， 有更加个性化的需求，可以通过工 作流，来拖拉拽各种原子能力，编 排你想要的流程。 标准模式 “RAG ：最强知识外挂 ” 平台内置最佳实践流程，只需导 入文档 / 问答对，即可达到更稳 定 和精确的知识问答效果。适用 于 企业知识服务、产品咨询等严 肃 问答场景。 Agent 模式 “AI 指挥官 ” Agent 模式由大模型进行任务 自 主规划和工具调用（ function- call ），可实现高效应用搭建。 适用于有灵活回复或快速搭建 需 求的服务问答场景。 要稳定选标准模式，要定制选工作流，要尝鲜选 Agent ！ 腾讯云大模型知识引擎：三大应用模式，满足客户多样需求 文件助手 员工服务 专家助手 智能客服 把企业五花八门的知识库喂给大模型，没那么简单！ 难点：企业知识格式多样、图文并茂 复杂排版的阅读顺序 复杂的子元素识别 复杂的表格结构 跨栏段落 跨图段落 少线表格 无线表格 有线表格 段落内图像 段落内公式 表格内图像 表格内公式 跨表段落 图表文环绕 纵向多栏 图 / 图注群组 表 / 表注群组 横向多栏 传统 OCR 技术局限：识别精度低、元素易丢 失 高准确的复杂文档解析、切分能力 基于 OCR 大模型，打造的解析引擎，突破图文混排版面分析、 复杂表格识别等文档解析技术瓶颈，支持超过 20 类文档类型。 业界首个支持 200MB 以上超大文档 vs. 业内普遍 100MB 内 丰富的文档类型，超过 26 类 vs. 业内普遍 10 类以内 支持图文混排（多列排版）版面分析 、图文表 / 公式 / 页眉等元素识别 识别精度高、图片元素不丢失 大模型知识引擎 : 强大 RAG 能力加持，搭建精准的知识问答应用 复杂文档解析、切分、检索、推理、生成准确率保持领先 高准确的综合检索能力 上线基于 LLM 的 embedding 模型，多文档信息召回率从 85% 提升到 92% ；混合检索 +Text2SQL 能力，提升超大表格单表 检索及跨表检索准确率， SQL 执行准确率 80%+ Query “ 非智能且在售，并且一级分类是 天棚灯的产品包含哪些 ” 通过 SQL 检索表格信 息 腾讯云 RAG+DeepSeek ：充分考虑文、图两种模态的检索优化、能力打 磨 腾讯云 RAG+DeepSeek ： 图文并貌的产品操作说明 说明书样例 “ 制动系统怎么保养？” 开发票、挂号、预约试驾、政务服务 ... 报销、 IT 报修、预订会议室 ... 满意度分析 适合处理过程复杂且分支较多、对结果准确性要求高的业务场景 员工服务 自动化服务 智能客服 提供 10+ 画布节点，编排复杂应用，复杂 流程的执行准确率和对话完成率效果领先。 通过可视化拖拉拽的方式编排不同的原 子 能力，零代码 / 低代码构建业务流程。 其中参数提取节点，支持多参数同时提取、 基于对话历史进行多轮反问澄清等优势能 力，对话效果更优势。 大模型相关的节点均接入 DeepSeek R1 和 V3 模型，可支持自由选择和切换。 大模型知识引擎“工作流” : 支持用户快速编排复杂应用 面向复杂业务流程场景，升级复杂应用构建能力 2. 信息处理节点 均已支持 DeepSeek 模型 1. 信息收集节点 已支持 DeepsSeek 模型 3. 基础节点 实用工具 办公提效 大模型知识引擎“ Agent 模式” ： 自主规划和工具调用 由大模型自主拆解任务和规划路径，模型主动选择和调用工具，并能够主动纠错和反思， 回复效果更灵活。 创造价值，赢在一起！