37 CONTENT 目录 Large Language Model (LLM) 大语言模型 3 4 阿里云引入第五代至强® 可扩展处理器，实现 ECS g8i 算力再升级，为大模型 AI 推理加速添 新解，更易得、更易用、可扩展性强，满足从小模型到超大模型的各类需求。 • 使用处理器内置的 AI 加速引擎 -- 英特尔® AMX 和英特尔® AVX-512，提升并行计算和浮点运算能力； 参数级别的大语言模型分布式推理 文生图 创意辅助工具 AI 生成代码 虚拟助手 1.2.3 数据来源于阿里云未公开的内部测试，如欲了解更多详情，请联系阿里云：https://www.aliyun.com 英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否准确。 算力需求激增：视频、数据库 等场景算力需求激增 智能化应用普及：大模型推理 需求爆炸式增长 数据安全挑战：数据隐私及安 数据安全挑战：数据隐私及安 全需求增强 85% 整机性能提升高达 1 7 倍 AI 推理性能提升高达 2 50% 中小参数模型起建成本降低 3 4 白皮书 | 用友采用第五代英特尔® 至强® 可扩展处理器加速自然语言处理 (NLP) 应用 助力企业服务数智化转型 图 3. 第五代英特尔® 至强® 可扩展处理器具备强大性能 为 AI 加速而生的处理器 以针对工作负载优化的性能实现业务增长和飞跃

4 异构混训 .............................. 15 2.5.3 推理框架 .....................................16 2.5.3.1 推理并行效能优化 ...................... 16 4 2.5.3.2 推理网关优化 .......................... 16 2.5.3.3 融合算子监控 超现有资源池化的调度能力；在网络层面，AI 训练中 TB 级参数同步对时延极为 敏感，传统网络架构难以满足低时延、高吞吐的传输要求；在服务形态上，单一 的 IaaS/PaaS 服务无法全面覆盖数据处理、模型训练、推理部署等 AI 开发全链 路的需求，迫切需要构建适应智能时代的云计算新范式。 1.2 云智算的内涵 云智算是通过算网基础设施与人工智能核心技术深度融合，提供一体化算网 资源、全栈式开发环境、一 IaaS、PaaS、SaaS 三层拓展为 AI IaaS、AI PaaS、MaaS、AI SaaS 四层。一是 AI IaaS，即算网一 体化供给的基础设施服务，通过泛在网络推动东中西、云边端、通智超量、训练 推理等多类型算力“联算成网”，依托算网统一编排的算网大脑，实现算力的灵 活调度、即取即用。二是 AI PaaS，即面向各类 AI 开发者的工具平台服务，提 供覆盖 AI 研发、运营、测试等全环节的工具链和开发环境，显著提升全社会

运营管理系统技术成熟度分级与评估方法 … • 网络运营管理大模型 • 总体技术要求 • 大模型服务、管理支撑系统技术要求 • 检索增强生成技术应用指南 • 数据管理系统技术要求 • 推理服务系统 - 技术要求、服务接口技术要求 … AN White Papers AN ToB Research Reports AN Best Practice Reports ODA Certification 快速完成断点续训。通过全生命周期的自动化和智能化运维，提高资源利用率，降低运维成本。 除了训练，推理也是自智网络需要关注的关键能力之一。通过知识蒸馏、模型量化和推理引擎优化等新技术突破，可以 不断降低推理成本。根据不同应用场景的需求，可以选择不同尺寸的模型，以平衡推理硬件、速度和效果。这些措施有 助于实现低成本推理，满足自智网络的发展需求。 10 自智网络发展趋势 得越来越快，单个训练集群的规模 I场 景，并且人们对AI的接受程度日益提高。例如，OpenAI的每周活跃用户数量在2024年底已达到3亿。这些趋势推动了 AI推理需求的快速增长。同时，智能体应用的增长也必然带来网络连接的增长，标志着我们正从人联、物联时代迈向智 能体连接的新时代。这些变化对推理成本和算网融合提出了更大的挑战。 智算规模迅速增长：在规模定律（Scaling Law）的推动下，大模型的规模和能力正迅速增长，训练算力的需求增速变

件设备及软件服务，聚焦大模型训练、推理及AI相关场景的新型专业算 力基础设施；是服务人工智能产业，为高计算量人工智能业务场景提供专业智算资源、智算服务、智算生态的新型基础设施。从发 展历程看，智算中心是数据中心在服务能力上从“综合化”向“专业化”的转型。在应用领域上，传统数据中心以服务各类企业业 务应用场景为主，智算中心则专注于人工智能领域，服务大模型训练、推理及其他人工智能相关场景，如图像渲染、金融量化、医 目标 搭载CPU芯片的通用计算服 务器 服务特定场景的超算服务器为主 搭载GPU芯片为主的AI服务器 核心 设施 企业综合业务场景 气象预测、基因测序、工业仿真、芯片 设计 …… 模型训练、模型推理、图像渲染、 金融量化、医药开发、自动驾驶…… 应用 领域 基础云厂商 智能算力中心主要建设者 运营商 ICT厂商 AI厂商 …… 智能算力中心概念及主要建设者 15 ©2024.9 iResearch 。智算中心通过聚合智能算力资源有 效解决大模型时代各类企业在大规模模型训练和推理中所面临的智算资源稀缺问题；结合专业算力、算法、数据等工具和服务，加 速大模型开发、调优、迭代，强化大模型的通用能力和行业适配性；依托生态伙伴提供应用、解决方案开发能力，加强大模型的商 业实践能力。 1）物理资源：智算中心根据模型训练和推理需求差异，提供技术架 构统一、可实现内部各组件高速互通互联的AI服务器和服务器间以低

内容 • A I 大模型训练和推理拉动智能算力需求快速增长。 a ）模型迭代和数量增长拉动 A I 算力需求增长：从单个模型来看，模型能力持续提升依赖于 更 大的训练数据量和模型参数量，对应更高的算力需求；从模型的数量来看，模型种类多样化（文生图、文生视频）和各厂商自主模 型的研发， 均 推动算力需求的增长。 b ）未来 A I 应用爆发，推理侧算力需求快速增长：各厂商基于 A I ：模型参数大幅提升后，模型能力“涌现” • 大模型训练 + 推理拉动智能算力需求快速增长。 a ）模型迭代和数量增长拉动 A I 算力需求增长：从单个模型来看，模型能力持续提 升依 赖于更大的训练数据量和模型参数量，对应更高的算力需求；从模型的数量来看，模型种类多样化（文生图、文生视频）和各厂商自 主模型的研发，均推动算力需求的增长。 b ）未来 A I 应用爆发，推理侧算力需求快速增长：各厂商基于 A I 大模型开发各类 大模型开发各类 A I 应用， 随 着 A I 应用用户数量爆发，对应推理侧算力需求快速增长。 60 50 40 30 20 10 0 智能算力（基于 FP32 计算 ， ZFLOPS ） 52.50 0.45 2021 2022

进程级机密容器 Intel Confidential Computing Zoo: Intel机密计算开源解决方案 114 115 121 126 133 部署TensorFlow Serving在线推理服务 部署TensorFlow横向联邦学习 部署隐私集合求交方案 PPML: 端到端隐私保护机器学习解决方案 01 认识龙蜥 龙蜥社区（ OpenAnolis ）成立于 2020 年 9 准，旨在推动同态加 密技术的演进和应用方案的创新。HEBench由三个部分组成： 1、前端：包括测试框架和后端加载器。测试框架目前支持的运算有向量按元素的加法和乘法、向量点乘、 矩阵乘法和逻辑回归推理，主要度量的指标是计算时延和吞吐量。 2、适配层：提供了统一的C接口，桥接了前端的测试框架和后端具体的HE实现，使得后端开发者可以专注 于HE各类算法的实现，只需要遵照接口定义就能很容易接入HEBench的测试框架。 "install/lib64/cmake/zstd" 运行示例应用 1、逻辑回归 这是一个用SEAL CKKS实现的逻辑回归推理，可以根据实际需要选择数据和模型都是密文或者其中一方是 密文而另一方是明文的配置。通过传递命令行参数 --linear_regression ，也可以实现线性回归推理。 • 编译 cd he-toolkit/he-samples/examples/logistic-regression

框架 和平台开发商、AI 技术提 供商、电信运营商、第三 方 IDC 服务商、云服务商 应 用 赋 能层 核心应 用 互联网、金融、制造、 医疗、政务等各个领 域 模型训练、模型推理、自 动驾驶等需要强大计算能 力和数据分析能力的领域 应用主 体 互联网企业、金融机 构、制造企业、金融、 政府等 互联网企业、AI 企业、车 企、遥感测绘企业、银行、 高校、医院、政府等 资料来源：IDC《2025 年中国人工智能计算力发展评估报告》，深企投产业 研究院整理。 整机市场以国产品牌为主导，头部企业优势明显。AI 服务器是 智算中心的核心组成部分，为人工智能的模型训练、推理、数据处理 和分析等任务提供了强大的计算支持。我国 AI 服务器行业起步阶段 主要依赖国外品牌的引入，随着国内厂商技术实力的增强与创新能力 的提升，国产品牌逐渐崛起，对外资品牌实现了有效替代。根据 网、金融等行业占据主导地位，在 2024 年中国加速服务器市场份额 达到 36.1%；宁畅信息通过定制化液冷服务器和边缘计算解决方案实 深企投产业研究院 32 现高速增长，尤其在生成式 AI 推理场景中表现突出，其市场份额较 2023 年提升约 3 个百分点，达到 8.5%：新华三依托运营商和政企客 户资源，在非 GPU 架构（如 FPGA）加速服务器领域扩大布局，但 受超云等新兴厂商冲击，增速略低于前两名，市场份额为

芯片设计 散热技术 数学算法 IP 云网安 融合 5G 大带宽 低延时 计算 AI 计算 高性能计算 存储 高可靠、灾 备、全闪存 云 GaussDB/ 欧拉 OS AI 训练、推理 高性能计算 高精 地图 光伏 储电 充电 建设 管理 养护 运营 服务 安全：应急处置 效率：疏堵保畅 体验：提质增效 业务场景 + 合适的技术 根技术 基础学科 开源，寻求生态、市场的持续支持 理地部署人工智能模型的 训练与推理功能，从而实现边缘节点借助 AI 技术更好地提供高级数据分析、场景感知、实 时决策、自组织与协同等智能化服务。在边缘侧部署轻量级、低延时、高效的 AI 计算框架， 确保实时性、可靠性、数据隐私保护以及通信成本降低。 异构计算 端边云协同 关键技术 中心 人工智能融合赋能平台 分中心 中心推理平台 路侧 边缘推理节点 本地数据处理 行业 预训练 预训练 AI训练平台 AI管理平台 AI管理平台（标注管理） 增量 训练 中心推理 AI推理平台 预训练 模型 业务管理部署 数据回传 业务管理部署 数据回传 ISV 边缘推理 中心推理 算法上架 数据入库 模型下发 智慧公路技术白皮书 27 公路行业具有明显的地理区域或行政区域的分界，各区域既需要处理本地、本行政区域的业务，也需要对接 全网业务。这一特点导致了 IT 资源的

PC、平板和智能手机出货量未 来五年复合增长率将分别实现 2.6%，1.0%和 1.3%。随着华为、联 想、荣耀、OPPO、vivo 等终端厂商陆续接入 DeepSeek，其终端 设备的智能化水平将通过自然语言处理和多模态推理能力，实现更 流畅的语音交互和更智能的自动化控制，并加速 AI 终端应用落地。 ⚫ 维持行业“强于大市”投资评级。截至 2025 年 3 月 11 日，通信行 业 PE（TTM，剔除负值）为 20 凭借其多智能体协同架构与动态任 务调度引擎，在 AI Agent 领域实现技术突破，加速产业从工具型向 生产力驱动型的升级，并推动算力需求的持续增长。DeepSeek 的 开源和低成本特性使得国产显卡用于推理的性价比和投资回报率 上升，训练加推理将使用更多的高端交换机和光模块，我国算力自 主可控进程加速。头部云厂商 2025 年资本开支展望乐观，AI 竞赛 将进入高强度投入阶段，未来资本开支的持续增加将推动技术创 新。AI 开源大模型，实现在多场景、多产品中应用，针对热门的 DeepSeek-R1 模型提供专属算力方 案和配套环境，助力国产大模型性能释放。 中国电信通过天翼云全场景上架 DeepSeek，提供从部署到推理、微调的全流程服务。天 翼云自主研发的“息壤”一体化智算平台完成国产算力与 DeepSeek-R1/V3 系列大模型的深度 0% 10% 20% 30% 40% 50% 60% 70% 80%

03 3D⽣成 04 具身智能 05 扩展现实（XR） 06 世界模型 07 空间智能玩家图谱 空间智能是主要基于3D视觉信息进⾏理解、推理、⽣成、交互的AI系统 4 信息来源：量⼦位智库 3D理解 数据 算法 3D⽣成 3D推理 交互 虚拟 世界 物理 世界 空间智能概览 自动驾驶 3D⽣成 具身智能 扩展现实（XR） 世界模型 空间智能概览：3D⽣成、自动驾驶、具身智能是空间智能不同成熟度的 车辆驾驶数据，附 加激光雷达等其他 传感器数据 • 在驾驶数据的基础 上增加针对尾部场 景的模拟仿真数据 算⼒支撑 • 端侧的低算⼒ECU/ 嵌⼊式芯片 • 云侧需要万卡集群 • 端侧需要⾼端推理 芯片，如特斯拉 HW3或者英伟达 Orin/DRIVEThor • 数⼗万卡、百万卡 集群 • 辅助驾驶，由AI来控制单个运 动控制，其他操作由⼈类驾驶 员完成，例如巡航和车道保持 • 世界模型是从⼤量数据中构建理解世界运作⽅式的内部表征，可以推理 ⾏动后果预测未来，精确完备的世界模型是空间智能发展的终局状态 23 信息来源：量⼦位智库 • 世界模型的本质是在内部表征外部世界的关 键元素和关系，将复杂系统简化为可理解的 模式和规则，例如直觉层快速反应的模式识 别，概念层抽象概念和类别的组织，因果层 理解事件间的因果关系 世界模型 内部表征 预测未来 • 基于规则推理：应用已知规律推测未来状态 • 概率模型：考虑多种可能性及其概率分布