AMX，BF16） 以 8438C Llama2-13B 推理性能 （越高越好） 8 火山引擎第三代弹性计算云服务器实例 g3i 引入第五代至强® 可扩展处理器进行全新升级，通 用性能与应用场景性能均大幅提升，可有力胜任高达 80 亿参数的模型推理，并兼顾速度与成本。 • 基于火山引擎最新自研 DPU2.0 架构和第五代至强® 可扩展处理器显著提升的代际性能、更高的 CPU 亿参数模型推理，降低中小模型推理成本。 中小模型推理新选择！算力 性能倍增，实例全新升级 挑战 解决方案 云实例算力升级 解决方案 云服务 / 弹性计算 122% 火山引擎 g3i 整机算力提升 1 75% 火山引擎 g3i 内存带宽提升 2 3.43 倍 在 1,024*1,024 分辨率下，使用英特尔® AMX 将数据 转换为 BF16，SDXL-Turbo 文生图推理可实现加速比 SDXL-Turbo 文生图推理性能 4 火山引擎 g3i 可胜任 80 亿参数的模型推理 5 LIama-3-8B 首包时延 0.75s 吞吐性能 22 Token/s 20 15 10 5 0 1024*1024 512*512 图片像素 3.43 倍加速比 3.57 倍加速比 单次平均耗时 FP32 BF16 1.2.3.4.5 数据来源于火山引擎未公开的内部测试，如欲了解更多详情，请联系火山引擎：

Ethernet，基于聚合以太网的远程内 云计算蓝皮书（2024 年） 37 存直接访问技术）为代表的高性能远程直接内存访问（Remote Direct Memory Access，RDMA）网络成为智能网络的首选，例如火山引擎 在高性能计算集群内使用 RDMA 技术实现高速网络互联，腾讯云的 高性能计算集群以高性能云服务器为节点，通过 RDMA 互联，大幅 提升网络性能。三是智能存储能够提供适用于智算场景的存储能力。 GPU 资源的抽象和管理，提升智能 云对计算资源尤其是智算资源的高效使用。例如微软云和谷歌云都 提供了 GPU 虚拟化的实现方案，允许将单个物理 GPU 分为多个虚 拟 GPU，供不同的虚拟机使用；火山引擎具备容器共享功能，实现 GPU 算力与显存的灵活切分与隔离，提升 GPU 的使用率。 （二）AIPaaS 聚焦智算服务开发能力，成为 AI 工程 化实践最优解 随着大模型技术的火热以及云计算技术的发展，打造智能算力、 算任务的需求提供了强有力的支撑。平台丰富的算法库、数据集和 开发工具，通过自动化的流程管理和优化，降低了人工智能应用的 开发门槛。平台内置的通用大模型和私域模型，还可以实现模型的 开箱即用，提高开发效率。例如腾讯云 TI 平台、火山云方舟平台， 支持多种编程语言、框架和工具，满足不同开发者的需求，提供包 含各种预训练模型的通用模型仓库，可以供开发者直接使用或作为 迁移学习的起点。这些平台还提供丰富的数据集，包括公开数据集

深企投产业研究院 29 资料来源：IDC，深企投产业研究院整理。 GenAI IaaS 市场由阿里、火山引擎、商汤科技等引领，智算集 成服务市场则是华为一家独大。GenAI IaaS 服务方面，阿里借助优秀 的资本布局聚焦算力消耗大户，其技术体系快速适配 GenAI 时代， 2024 年上半年市场份额第一；火山引擎、商汤科技、华为位列第二 至第四。其他新势力企业包括并行科技、蓝耘科技、首都在线、鸿博

34 9 抖音极速版 宇节能动 91.81 22 微博 新浪 87.29 10 京东 京东 91.19 23 番范免费小说 宇节跳动 86.77 11 小红书 行降信息 89.22 24 料音火山版 86.47 12 1 QQ 腾讯 89.05 25 UC制究器 阿里 86.32 13 腾讯视频 出 89.02 26 闲鱼 阿里 86.23 数量系量：七至改据注：安卓实力下益售极

安全性，为客户提供透明可控的安全流通环境，可随时管控和退出，永保数据控制权。 用户情况 • 蚂蚁集团安全团队适配了BigDL PPML, 为集团业务提供隐私大数据和机器学习的方案。 • 其他用户包括火山引擎，腾讯等。