1 中国推理算力 市场追踪报告，2025年H1 头豹研究院 弗若斯特沙利文咨询（中国） 2025年8月 2 关键发现  算力需求重心从训练转向推理，算力基础设施持续扩展与升级 AI算力消耗已从集中式训练转向大规模推理，带来前所未有的增量需 求。2025年被认为是算力爆发的元年，推理算力的需求将迎来井喷式 增长。推理算力的需求将在未来几年内远超训练算力。 01  2025年H1中国推理算力服务市场中，天翼云以【21 2025年H1中国推理算力服务市场中，天翼云以【21.4%】的市场份 额领先 中国日均Tokens消耗量从2024年初的1000亿增长到截至今年6月底，日 均Token消耗量突破30万亿，1年半时间增长了300多倍，这反映了中国 人工智能应用规模快速增长。天翼云息壤一体化智算服务平台率先完 成国产算力与DeepSeek-R1/V3系列大模型的深度适配优化，成为国内 首家实现DeepSeek模型全栈国产化推理服务落地的运营商级云平台。 02  未来推理算力长序列与超大模型推理优化成为关键，国产软硬件 协同与生态成熟推动推理普及 03 中国算力正朝着“训推一体”融合架构快速发展，以支撑大规模 模型与多模态应用的高效低延迟推理。国产AI芯片与推理框架不 断优化，结合模型压缩、量化、动态推理等技术，进一步提升能 效比和部署灵活性。 3 沙利文市场研读 | 2025/08 2 研究框架  中国推理算力市场综述 • 关键发现

4 协同训练场景................................................................................ 44 4.5 协同推理场景................................................................................ 66 4.6 西训东推场景.. 本文内容结构 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策 ● 流量调度，或者是需要算网协同调度平台对用户自治系统内部署的应 用副本和算网协同调度平台调度部署的应用副本间对终端用户的访 问请求做负载分担处理，所以需要在调度请求中携带自治系统中部署 的推理应用信息如<应用 ID、位置、域名、IP 地址>等。 图 3-6 分总调度-算网资源调度使用-北向调度 ② 全局缩略图方式调度  需求提交 12 当算力使用者通过自治系统进行算网调度操作时，如果本地资源

AI 应用系统的构 建 —— 以产业大脑为例 肖俊 浙江大学计算机学科与技术学院人工智能研究所 2025 03 杭州 • 大模型推理能力快速提 升 • 推理模型和思维链 (CoT) • 智能体是什么？ • 四链融合产业大脑案例 提纲 大模型推理能力快速提升 开始模仿人 脑进行大量 数据的标记 和训练 神经网络 CNN RNN GAN 1990 年开始； 2006 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 9.11>9.9? 简单数值比较错误 多步推理错 误 事实性幻觉问题 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 早期大模型在推理能力上存在明显短板 无法在复杂的思维链中保持一致性 推理过程和答案不一致 Yann LeCun 的批判观点： 对纯粹扩大规模方法的根本质疑 Mehrdad Farajtabar ： "LLM 本质上是统计模式匹配工具，而非真正的 推 理系统 " 、 " 下一个词预测框架不足以产生真正的理解 " Yann LeCun

....................................................................................20 4.2 低成本异构混合推理................................................................................................... 推到极致，也带来高 耗电和高昂的成本，2025 年推出 Blackwell B200，并抛出 2026–2027 路线图，Vera Rubin 与 Rubin Ultra 已在路上，Rubin 推理峰值 50 PFLOPS、HBM4 内存 288 GB，FP4 稀疏算 力是 B200 的 2.5 倍。 （2）AMD 把 Chiplet 思路发挥到极致，多颗小 Die 通过 Infinity 均划分， 7 但其在异构算力下平均分配因其计算能力、传输能力差异性造成模型计算量处理不同步、集 合通信数据传输有堵点，“快等慢”造成部分资源浪费。针对大模型推理过程，由于预填充 和解码阶段对算力和显存的需求量不同，传统大模型推理过程算力显存阶段互为瓶颈，造成 低水平资源利用率，需要解决异构算力协同调度问题使其匹配到最优计算任务。 8 第二章 算力协同体系架构 为了打破异构算力生态壁

青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 年发布了 .......29 7.4 云边协同训推场景....................................................................30 7.5 推理下发场景............................................................................31 八、总结与展望........ 随着通算、智算、超算技术的快速发展和广泛应用，算力需求呈 现爆炸式增长。2025 年以来，以大语言模型 DeepSeek 系列为代表的 人工智能，通过算法创新与工程优化解锁了更高的算力利用率，实现 训练成本与推理成本的显著降低，加速人工智能的落地部署与普惠化 发展，进一步催生了大量算力需求。根据《IDC 中国加速计算服务器 半年度市场跟踪报告》分析，2025 年中国智能算力规模将达到 1037EFLOPS，预计到

主要承载模型训练以及适合中心推理、多媒体渲染等业务，支撑各行业数智化转型升级 具有较强的普适性，可服务于 toB/toC 适合有智能化转型需求行业，如自动驾 驶、智慧城市， toB 为主 专用性强，主要面向地球物理、分子力 学等基础学科以及军工研究 注 [1] ：行业中 GPU 是一个较为泛化的概念，从功能角度划分， GPU 特指具备图形渲染能力的硬件， AI 加速卡特指用于 AI 推理或训练的硬件。本材料主要针对 应用价值： 自然语言理解工单， 响 应效率提升 50% ，改善用户体验 ， 提高客服工作效率。 国产化适配： 采用寒武纪 NPU 推理 + 中文预训 练 模型 ，适配国产推理芯片和语 言模 型。 主流场景及需求 l 人工智能平台 数据处理 模型开发 模型训练 自动建模 模型部署 模型推理 模型管理 模型监控 主要包括 AI 智算集群、超算集群、高速网络、通用计算集群、高性能存储集群、安全中心、云管平台、运维平台等。 平 台 安 全 运

....................................34 2.4 推理服务层..............................................................................................36 2.4.1 推理引擎........................................... 数据安全与隐私保护机制的设计 为了更好地明确方案的实现路径，以下列出了主要的技术指标 和预期成果： * 数据整合效率：实现 90%以上跨部门数据资源的实时共享与 调用，处理延迟不超过 1 秒。 * 模型训练与推理能力：支持每天 10TB 级别的数据训练任务，推 理速度达到毫秒级响应。 * 系统可用性：确保 99.99%的系统全年无故障运行时间，保障关 键业务连续性。 * 安全性：实现全链路数据加密和访问控制，符合国际及国家信息 数据支持。同时，引 入数据安全和隐私保护机制，确保数据在采集、存储和传输过程中 的安全性。 计算层是大模型底座的核心，主要负责模型的训练、推理和优 化。采用高性能计算集群和分布式计算框架，支持大规模并行计 算，提升模型训练效率。为了提高模型推理的速度和准确性，引入 边缘计算和云端协同机制，实现实时数据处理和分析。此外，计算 层还支持动态资源调度，根据业务需求自动分配计算资源，确保系

CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统以太网带宽难以承受；同 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 融合，锻造出高性能、高效率、高可靠的 单一逻辑实体。它标志着一个全新时代的开启——智算基础设施正从松散组合的算力堆叠阶段，迈 入软硬协同、全局优化的超节点阶段，旨在有效破解超大规模 AI 训练与推理中所面临的扩展性瓶颈、 效率损耗与能耗墙难题，为 AI 的持续创新提供坚实、高效、绿色的算力基座。 为系统分析超节点技术的发展逻辑、技术创新、产业价值以及未来趋势，我院与华为及相关单位 共同开展研究，编制《超节点发展报告》。报告以

（二）日韩加速布局智算基础设施，力争缩小与全球头部梯队的差距。 .......6 （三）我国从应用牵引和普惠服务发力，全面推动智算产业高质量发展。 ..7 2、智算需求持续高涨，核心驱动力由“训练”转向“推理”............................................................8 3、AI 应用加速规模落地，带动智算产业发展向深向实.......... ....... 18 （一）英伟达主导全球 AI 芯片市场，国产替代加速追赶。.........................................18 （二）芯片架构多元化愈加明显，推理需求加速 ASIC 普及。.................................... 19 （三）单芯片算力逼近极限，系统级创新成重点方向。...................... 2、智算需求持续高涨，核心驱动力由“训练”转向“推理” 推理模型快速普及并从纯文本走向多模态。OpenAI 于 2024 年 9 月发布的 o1-preview 模型拉开推理模型帷幕。推理模型基于 基础模型开发，其通过在推理过程中引入长思维链，实现了与普 通模型截然不同的问题解决方法，即在输出答案前先进行“思考”， 因此更为擅长处理谜题、高级数学和高难度编程等需要多步骤逻 辑推导的任务。推理模型的“思考过程”可以向用户展示，如