....................................34 2.4 推理服务层..............................................................................................36 2.4.1 推理引擎........................................... 数据安全与隐私保护机制的设计 为了更好地明确方案的实现路径，以下列出了主要的技术指标 和预期成果： * 数据整合效率：实现 90%以上跨部门数据资源的实时共享与 调用，处理延迟不超过 1 秒。 * 模型训练与推理能力：支持每天 10TB 级别的数据训练任务，推 理速度达到毫秒级响应。 * 系统可用性：确保 99.99%的系统全年无故障运行时间，保障关 键业务连续性。 * 安全性：实现全链路数据加密和访问控制，符合国际及国家信息 数据支持。同时，引 入数据安全和隐私保护机制，确保数据在采集、存储和传输过程中 的安全性。 计算层是大模型底座的核心，主要负责模型的训练、推理和优 化。采用高性能计算集群和分布式计算框架，支持大规模并行计 算，提升模型训练效率。为了提高模型推理的速度和准确性，引入 边缘计算和云端协同机制，实现实时数据处理和分析。此外，计算 层还支持动态资源调度，根据业务需求自动分配计算资源，确保系

（二）日韩加速布局智算基础设施，力争缩小与全球头部梯队的差距。 .......6 （三）我国从应用牵引和普惠服务发力，全面推动智算产业高质量发展。 ..7 2、智算需求持续高涨，核心驱动力由“训练”转向“推理”............................................................8 3、AI 应用加速规模落地，带动智算产业发展向深向实.......... ....... 18 （一）英伟达主导全球 AI 芯片市场，国产替代加速追赶。.........................................18 （二）芯片架构多元化愈加明显，推理需求加速 ASIC 普及。.................................... 19 （三）单芯片算力逼近极限，系统级创新成重点方向。...................... 2、智算需求持续高涨，核心驱动力由“训练”转向“推理” 推理模型快速普及并从纯文本走向多模态。OpenAI 于 2024 年 9 月发布的 o1-preview 模型拉开推理模型帷幕。推理模型基于 基础模型开发，其通过在推理过程中引入长思维链，实现了与普 通模型截然不同的问题解决方法，即在输出答案前先进行“思考”， 因此更为擅长处理谜题、高级数学和高难度编程等需要多步骤逻 辑推导的任务。推理模型的“思考过程”可以向用户展示，如

2 Few-shot (Zero-shot) ，在少甚至无标注样本的 条件下支持推理（自监督学习）。 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 Agent To B 特定行业类 Language 特定行业类 超长文本 Agent 道德责任 Knowledge Reason Other Math Code 知识 其他 代码 推理 语言 数学 IDC 测试题目分为基础能力和应用能力两个大类共 7 个维度 IDC 采取实测的方式，成立产品测试团队，通过多个维度对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，在 法律 : 智能法律助手，法律咨询 医疗 : 问诊，用药咨询 科研 问答理解类 常识、专业知识、多语言、多模态、角 色扮演 + 多轮对话、安全陷阱 推理类 情感推理、演绎推理、逻辑推理、归纳 推理、类比推理 创作表达类 文字创作 & 创意、内容改写 / 续写、修改 / 润色、文字处理、编辑 / 语义匹配、摘 要提取、关键、字提炼、标题生成、文

小步快跑发版节奏 满足快速变化需求 开源开放 打造开源开放社区 加速DCU生态建设 DAS（DCU AI Software Stack）提供AI算子优化库、AI模版库、AI编译器、基础AI框架、推理框架和三方套件，并通过OpenDAS 以开源方式提供AI扩展套件服务。 DAS与 ModelZoo、镜像仓库、创空间、开发者社区、AI 平台等构成一套完整的人工智能基础设施，全栈全场景赋能用户AI应用研 PyTorch/TensorFlow/JAX/Paddle/� 精度检测工具 LayerCheck 图优化组件 GraphRay 通用推理框架 ONNXRuntime/MIGraphx/� 融合算子库 LightOP 算子模板库 CUTLASS AI编译 Triton/XLA 大模型训练组件 大模型推理组件 通用训练组件 Apex Torchvision PyTorch Scatter MMCV ... Torchaudio 预定义组件 MCP调用 DAP 大模型 平台 云原生AI平台 模型推理服务 大模型 推理加速 大模型 分布式推理 模型 纳管 模型微调 微调 算法 模型 评估 模型训练加速 大模型 训练加速 大模型 分布式训练 数据处理 模型微服务 数据 标注 多数据 源支持 数据 批处理 标准API 高效推理引擎 优化的模型 容器化部署 DAP人工智能应用平台定位于企业级大模型开发

性方法。 二、DeepSeek与AI认知 此部分从DeepSeek的历史开始，逐步讲解AI的演进及认知： 1. DeepSeek解密：详细介绍DeepSeek技术历程、核心优势及其算法在理解、推理、知识应用上的提升。解析V3、R1等模 型特性，旨在为听众构建对这一前沿技术价值的坚实理解基础。 2. AI技术演进与认知框架：梳理AI从规则系统到大模型的技术演进，探讨AI时代的认知升级与人才观变革。为教育者提供认 到底谁是DeepSeek？公司、产品、模型 IaaS 硬件服务（设备/电脑/服务器/GPU、网络、操作系统） PaaS 平台服务（存储、计算、数据、安全、中间件） MaaS 模型服务（数据工程、推理加速、训练框架、API调用） SaaS 应用服务（网页、APP、桌面软件、设备软件） Ø 私有化部署 • 本地：个人设备或电脑、企业服务器 • 数据中心（IDC）：企业服务器、服务器集群（私有云） 到底谁是DeepSeek？公司、产品、模型 Model Base Model DeepSeek-R1-Distill-Qwen-1.5B Qwen2.5-Math-1.5B 蒸馏模型，能力稍弱 n 实际上是增加了推理能力的Qwen模型和 Llama模型，不能称为DeepSeek模型。 n 市场上有误解，厂商有误导，甚至Ollama工 具的模型选项中也有误导。 DeepSeek-R1-Distill-Qwen-7B

层级 OpenAI 定义推理模型 在 OpenAI 的官网上 ， OpenAI 定义推理 模 型是在回答之前进行思考 ， 并在回复用 户 之前 ，在内部生成一长串的思维链过 程。 思维链是一种提示大语言模型进行逐步推 理的方法。它让模型在得出最终答案之前， 先显式地写出推理的中间步骤。这就像 人 类解决复杂问题时会先把思考过程写 下来 一样 推理模型的核心 也就是说 ，如果模型在回复你之前有一 ，那么有这个能力的大模型就是推 理大 模型。推理模型的核心在于处理那 些需要 多步骤逻辑推导才能解决的复杂 问题 推理大模型 推理大模型的概念大规模传播应该开始于 2024 年 9 月份 2024 年 9 月 12 日 ， OpenAI 官方宣 布了 OpenAI o1 推理大模型 1.4 大模型的分 类 大语言模型可以分为通用大模型和推理大模型 非推理问题 ： ” 法国的首都是哪里 ？ （答案直接 、 无需推导 ） 推理问题： ” 一列火车以每小时 60 英里的速度行驶 3 小时 ， 行驶距离是多少？ ” （需先理解 ”距离 = 速度 × 时间 ” 的关系 ， 再分步计算） 将“推理”定义为通过生成中间步骤来回答复杂问题的过程 2 个简单的例子： 通用的大语言模型（ LLM ） 可能直接输出简短答案（如” 180 英里”） 推理模型的特点在于显式展示中间推导过程

virtCCA/CCA 技术实现 ARM 架构下的机密计算，配合国密算法加 速与可信计算 3.0 满足高安全合规要求；昇腾 NPU 则通过昇盾、PMCC 等技术，确保模型权重、用 户数据和中间结果在推理、训练与微调始终处于机密域，防范恶意用户、恶意管理员等潜在威胁。 在存储安全方面，HCIST 提出了机密存储（Confidential Storage）新理念，旨在从硬件层面构建可 信根基，依 等计算网络新形 态，保障跨节点、跨集群环境中的算力调度与数据传输安全。 HCIST 既支持全栈一体化，也支持分层解耦的组合方式，可在不同硬件平台和不同应用场景中部署， 满足端云协同大模型机密推理、金融行业的零丢失数据安全保护、私有模型的安全存储与使用、云 原生密码应用等高安业务诉求。展望未来，HCIST 将面向后量子安全、集群机密计算、分布式可信 根与 AI 全生命周期保护持续演进。 AI 算力供需失衡的困局 大语言模型的规模化部署遭遇算力瓶颈的严重制约。现代 LLM 参数量已从千亿级迈向万亿规模，其 推理过程需要执行海量矩阵运算，对计算资源需求产生指数级提升。算力供需矛盾在边缘场景尤为 尖锐，端侧设备受限于功耗与体积，难以承载超过百亿参数模型的实时推理；云侧数据中心虽具备 强大算力，但传统虚拟化架构无法满足低时延需求。更关键的是，算力资源与算力安全之间并不统 一，大规模

如何实现中国的“双碳” 目标？ 新型电力系统面临新能源不确定性、分布式资源协调难、数据处理融合不足、决策实时性要求高、安全韧性挑战大等“成长 烦恼”。而大模型凭借强大的数据处理与模式识别、 出色的上下文学习与推理、多模态融合潜力等能力 ，成为破局关键 ，助力解 决系统难题。 数据 “爆炸 ”与融合困境 ： 海量 、 多源 、 异构数 不确定性剧增 ： 高比例能源的接入 ， 新能源的 随 机性、 、 网络 、 气候等 多 据处理需求迫切 ，价值挖掘不足 决策实时性要求严苛 ： 复杂优化问题需在秒级甚 强大的数据处理与模式识别能力 ，有望从海 量数据中洞察运行规律 出色的上下文学习与推理能力 ，可辅助甚至 优化复杂决策过程 多模态融合潜力 ，整合文本、 时序、 图像 等 多元信息 ，实现全景感知 挑战与机遇并存：大模型技术破局电力系统复 杂性 新型电力系统的“成长烦恼” 区域电网 的不同粒度。只关注设备细节可能忽略系统性风险；只看宏观整体可能无法定位具体问题根源。通过构建层次化网络结构和跨 层级信息交互使模型能够根据任务需求 ，灵活地在不同层级进行分析和推理 ，实现全面认知。 ● 多维编织：构建从设备到系统的认知网 络 实时控制类：继电保护、紧急控制等需毫秒级 响应。 在线分析 / 调度类： 日内调度、安全校核等需秒 级至 分钟级响应。

large-scale model service 开发、应用大模型及大模型系统的服务,以及以此为手段提供支持需求方业务活动的服务。 注:常见大模型服务内容包括大模型平台服务、大模型开发定制服务、大模型推理及运营服务。 [来源：GB/T 45288.1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领 关联关系等）； b) 知识图谱的数据来源宜具有多样性，包括但不限于政务数据库、文档资料、新闻报道等，且应 确保数据的准确性和时效性； c) 知识图谱的构建过程宜具备可追溯性，记录知识抽取、融合、推理等环节的关键信息，便于后 续的审计和优化； T/ISC 0079—2025 4 d) 宜支持对知识图谱进行可视化展示，使用户能够直观地了解政务知识之间的关联关系，辅助决 策分析； e) 知识 宜支持业界常用的数据蒸馏的方法对数据进行增强，以便按应用场景的要求提升数据集质量。 6.2.2 部署推理服务 a) 应具备高性能、稳定可靠的服务器资源，满足大模型的计算和存储需求，提供高速、稳定的网 络资源，确保大模型数据传输的实时性和准确性； b) 应使用稳定、安全的操作系统，具备高效稳定的模型推理引擎，提供完善的数据管理机制，确 保数据的完整性、一致性和安全性； c) 应采用SSL/TLS或

每个任务， 单独训练， 单独开 发 智能信控 智能研判 交通 AI 应用统一范式 A I 1.0 时代一事一模型， A I 2.0 一个大模 型 支持多种下游任务 交通业务处理自动化 大模型推理、表达、任务扩展能力， 实现 像 人一样交互、思考、行动的交通服务 交通处理能力自学习 大模型提供多种精调和应用技术手段， 快 速 沉淀业务知识和经验 大模型驱动交管智能化升级 大模型技术驱动 数据标签化及检索等全生命周期管理。 支持模型训练 、 调优 、 验证 、 发布全流程 、 可视化闭环管理， 支持 PyTorch 、 MXNet 、 TensorFlow 等 6+ 框架 算法池。 支持模型异构设备推理转换 、 场景化 AI 测试 、 引擎发布， 全面适配华为、 寒武纪、 算能等系列硬件。 图灵 AI 生产力平 台 （ Turing - AICMS - 2.0 ） 依托鹏程 脑海多模态通用大模型 图灵人工智能推理套件 T-ARES 智能体服务 T-Link 星链模型调度中间件 模型注册服务 T-Serve 通用 API 部署框架 大模型资源池底座 鹏城 脑海大模型 智谱大模型 XoT 思维链 认知技术框架 Modular RAG 模块化检索增 强生成 HuggingFace 模 型 仓 … 私有化推理部署调度 云 SaaS API 调度管理 推理算力资源监控