AI 应用系统的构 建 —— 以产业大脑为例 肖俊 浙江大学计算机学科与技术学院人工智能研究所 2025 03 杭州 • 大模型推理能力快速提 升 • 推理模型和思维链 (CoT) • 智能体是什么？ • 四链融合产业大脑案例 提纲 大模型推理能力快速提升 开始模仿人 脑进行大量 数据的标记 和训练 神经网络 CNN RNN GAN 1990 年开始； 2006 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 9.11>9.9? 简单数值比较错误 多步推理错 误 事实性幻觉问题 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 早期大模型在推理能力上存在明显短板 无法在复杂的思维链中保持一致性 推理过程和答案不一致 Yann LeCun 的批判观点： 对纯粹扩大规模方法的根本质疑 Mehrdad Farajtabar ： "LLM 本质上是统计模式匹配工具，而非真正的 推 理系统 " 、 " 下一个词预测框架不足以产生真正的理解 " Yann LeCun

. 1 3 专 业 ｜ 领 先 ｜ 深 度 ｜ 诚 信 中 泰 证 券 研 究 所 n DeepSeek 开源使金融机构能够轻松获得前沿模型能力，且大幅降低部署成本。其通过对训练方式、算法架构和推理方 法 的工程化优化大幅降低了部署成本。近期采用大规模 RL 训练方法的阿里 QwQ-32B 等模型也在缩小规模的同时达到了 DeepSeek R1 671B 的应用效果，有望进一步催生银行落地应用。 R1-Zero 版 本模 型使用纯强化学习方法。随训练过程推进，模型展现出了推理能力的扩展（高准确率和 long-CoT 能力涌现等） 。 图表：随步数提升 R1-Zero 的 AIME 任务准确度 图表：深度思考能力提升 性能：后训练阶段大规模应用强化学习，表现推理能力扩展 资料来源： DeepSeek-R1: Incentivizing Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 图表： DeepSeek R1 架构图

亿）。作为通用大语言模型，其在 在知识类任 务（知识问答、内容生成等）领域表现出色。 ● DeepSeek-R1 是基于 DeepSeek-V3-Base 训练生成的强化推理能力模型，在数学、 代 码生成和逻辑推断等复杂推理任务上表现优异。 DeepSeek 推动国产模型达到新 的高度 开源模型比肩头部闭源 60%+ 指标优于 Llama3.1 Claude-3.5 GPT- 4o OpenAI 接口规范 复刻 Deep seel 的推理加速能力 一键发起模型部署 推理加速 DeepSeek 模 型 客 户 数 据 训练加速 DeepSeek 联 网 助 手 文档问答 知识摘要 • 模型 + 训练平台 + 应用构建 平台 全链路能力。 • 提供从训练——推理——应 用的一站式丝滑服务体验 • 全面接入 deepseek 客户专属模型 混元系列模型 混元系列模型 TI 平 台 模型服务 腾讯云 TI 平 台 大模型模型训练和推理开发平台，灵活精调和部署私有 DeepSeek 训练 部署 应用 数据中心 分布式推理： 解决大参数量模型部署，提供超长上下文窗口 内置推理加速： 全新升级 Angel 推理加速能力，加速比可达 2 倍 大模型调用： 统一的大模型调用 API 及体验工具，大幅缩短业务

2025年开年，当中国AI初创企业发布的DeepSeek-R1模型以"1/10训练成本实现 OpenAI同级推理性能"的表现震动全球时，教育行业率先成为这场AI技术平权浪潮 的"风暴眼"。各大细分赛道头部企业如学而思、网易有道、中公教育、希沃等纷纷 抢滩接入DeepSeek-R1大模型，并围绕DeepSeek能力开启软件与硬件业务方向的 智能升级、创新，推动行业走向AI原生教育的新生态。 一、教 l 深度思考模式：DeepSeek的深度思考模式能够输出自然语言形式的推理过 程，使得学习、解题的思维链可视化，有利于在教育场景中展示解题方法和过 程、进行知识回溯、引导学生个性化思考，从而辅助教师及家长教育，削减此 前AI+教育直接输出问题答案可能带来的负面影响。 l 逻辑推理能力：DeepSeek在各种类型的推理任务中，模型性能取得全面提 升，能够对以数学、物理为代表的理科科目学习提供更强赋能。 双协 同、生态化特点： 1、突破单一模型局限，将教育垂类大模型与DeepSeek深度融合，结合DeepSeek 拆解复杂问题和语言交互的强项、及九章大模型深耕数学推理与学科知识图谱的优 势，实现精准分析/定位/回溯知识点、强化逻辑推理并显化思维路径、理解并输出 多模型内容，从而形成启发式引导思考的能力。 2、布局硬件+软件，以DeepSeek深度思考模式弥补传统教育硬件“重答案轻思 维”的短板

37B 参数 • 训练成本比 Llama 405B 低一个量级 • DeepSeek-V3所采用的技术： • MLA多头潜在注意力机制（降低显存占用） • MTP多token预测（提升效果、提升推理速度） • FP8混合精度训练、DualPipe流水线、MoE负载 均衡（提升训练效率，降低训练成本） DeepSeek-V3多项评测成绩超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型，并在性能上和 ）训练的模型，没有监督微调（SFT）作为初步步骤， 展示了卓越的推理能力。通过强化学习，R1-Zero自然 而然地出现了许多强大而有趣的推理行为；但是，遇到 了可读性差和语言混合等挑战 • DeepSeek-R1：为了解决这些问题并进一步提高推理 性能，DeepSeek团队引入了 R1，它在RL之前结合了 多阶段训练和少量冷启动数据。R1在推理任务上实现 了与OpenAI-o1-1217相当的性能 DeepSeek不同版本对比 n V3 vs. R1：R1在普通的中文和英文任务上性能小幅领先，在数学和代码等需要深度推理的场景下明显胜出 n R1蒸馏版 vs. R1满血版：在数学、代码等场景下的性能有明显差距，蒸馏版参数量越小，与满血版差距越大 n R1蒸馏版 vs. V3满血版：140亿以上参数的R1蒸馏版的深度推理效果显著强于V3满血版；低参数量R1蒸馏版能力落后 于V3 模型 AIME 2024 MATH-

1ms延迟）、高带宽弹性盘（大数据单副本场景，吞吐量达 ��Gbps）、高速临时存储等。 1.2 软硬一体协同优化，应对AI时代激增的数据冲击 AI预训练和推理过程需要存储和预处理海量的多模态数据，数据向量化趋势也非常显著，为保障 AI应用特别是中小模型推理和传统AI搜推场景的实时响应，云基础设施也在架构层面做出了持续 的优化创新。 图2 全球企业认为未来2年对业务成果最重要的IT事项 应用可用性 障。 利用硬件加速提升数据预处理和AI推理效率：在处理器内部增加专用硬件加速单元和专用指 令集，提升数据清洗、加密与传输效率。对于视觉模型、视频处理、数据库模糊检查询等任 务，云实例基于新一代处理器的向量指令集、矩阵加速指令集等，能够直接支持相关AI算子 执行，简化系统架构，提升响应性能与可靠性，持续改善搜推广、语音/视频处理以及中小模 型的推理体验。 云原生方案形成整体保障：除了算力 形渲染，以及物理环境模拟、 人工智能算法等，既需要高性能单核算力，支撑Unity和Unreal Engine等3D引擎的运行，也 需要可靠的的多线程并发能力，支持多玩家同步时的后台任务处理和AI推理。游戏业务的周 期特性对于资源的弹性伸缩能力要求极高。此外，玩家数据的记录也涉及频繁的写操作，需 要保持长连接、低时延的计算、存储服务。当前的游戏业务还广泛使用到数智驱动，利用AI 加速对玩家行为进行实时分析并提供个性化推荐。

4.1.2 数据交互格式.............................................................................94 4.2 模型推理服务部署..............................................................................97 4.2.1 部署环境搭建. 重复数据 删除率不低于 95%。 其次，构建知识图谱与实体关系网络。通过自动化工具和人工 校验相结合的方式，从清洗后的数据中提取实体及其关系，形成结 构化的知识图谱。知识图谱的构建将支持多维度查询和推理，为 AI 模型提供丰富的上下文信息。知识图谱的关键性能指标包括： - 实 体识别准确率达到 95% 以上 - 关系抽取准确率达到 90% 以上 - 知识 图谱覆盖率达到 80%以上 文关系方面表现优异，适合处理结构化或半结构化数据。 在具体选择时，需综合考虑以下因素： - 数据规模：GPT 系列 模型对大规模数据的需求较高，训练成本较高；BERT 系列在中小 规模数据上表现较好，训练和推理效率更高。 - 任务类型：如果是 生成类任务（如知识库补全），优先选择 GPT 系列；如果是理解 类任务（如知识库检索），优先选择 BERT 系列。 - 资源约束： GPT 系列模型需要更强大的计算资源和存储能力，而

需具备多语言支持能力，以满足全球化业务的需求。 其次，性能需求是银行系统部署大模型的关键考量因素。银行 系统通常需要处理海量数据，因此模型的计算效率和响应时间至关 重要。需求分析中需明确以下几点：模型的推理速度需要在毫秒级 别，以确保用户体验；模型应支持高并发处理，能够同时处理数千 个请求；模型的训练和更新周期需尽可能短，以适应快速变化的市 场环境。此外，模型的资源消耗需控制在合理范围内，以确保系统 以便在发生安全事件时能够快速追踪和分析原因。 为防范网络攻击，系统需部署防火墙、入侵检测系统（IDS） 和入侵防御系统（IPS），定期进行漏洞扫描和安全评估。针对大 模型的特殊性，还应防范模型推理攻击和对抗样本攻击，确保模型 的输出不会被恶意利用。具体措施包括：  模型输入输出的完整性验证，防止数据被篡改。  限制模型的访问频率和权限，防止恶意用户通过大量查询获取 敏感信息。  和 AES- 256 标准。  访问控制：多层次身份验证和最小权限原则，实时监控和审 计。  网络防护：部署防火墙、IDS、IPS，定期漏洞扫描和安全评 估。  模型安全：防范模型推理和对抗样本攻击，定期更新和重新训 练模型。  灾难恢复：制定 BCP，采用异地多副本备份，定期恢复演 练。  安全培训：定期进行安全培训，提升全员安全意识和操作规 范。 通过以上措施，可以确保

，NVIDIA和Google等公司 不断推出新的GPU和TPU产品，显著提升计算能力。具体来说，NVIDIA Blackwell B200 GPU 和GB200超级芯片显著提升了AI模型的训练和推理效率同时大幅降低了能耗；而Google TPU v4则通过其优化的矩阵运算能力，为深度学习模型的训练提供了更高的效率。 （2）国产算力发展 为了突破算力“卡脖子”的问题，并抓住新技术带来的机遇，我国正加快国产GPU芯片 供强大的AI推理性能和便捷的接入方式。 （5）端侧算力发展 端侧大模型定义为运行在设备端的大规模人工智能模型，这些模型通常部署在本地 设备上，如智能手机、物联网设备（IoT）、个人电脑（PC）、机器人、车机等设备。与传统的云 端大模型相比，端侧大模型的参数量更小，因此可以在设备端直接使用端侧算力进行运行， 无需依赖云端算力。端侧大模型在成本、能耗、可靠性、隐私和个性化方面相比云端推理具 有 今年5月21日，面壁智能公司隆重发布了其新一代端侧多模态模型⸺MiniCPM-Lla- ma3-V2.5，该模型以惊人的80亿参数规模，在OCR识别、多语种支持、图像编码速度、生成 内容的真实性与复杂性、复杂逻辑推理等多个维度上取得了突破性进展，其表现显著优于 Gemini Pro及GPT-4V等业界标杆模型。MiniCPM-Llama3-V2.5不仅支持包括中英德法在 内的超过30种语言，更在图像编码速度