2x ） • 模型总参数量 671B ，每个卡上 4 个 routed expert 对应 26.8B ， 同时 考虑到 PP-16 和 FP8 量化 ，每个卡上显存占用为 1.675GB 参考 DualPipe 技术，基于 MindSpeed 训练加速框架以及昇腾硬件特性，针 对 性地设计高效率流水并行技术，提升整体训练性能 Huawei Proprietary - Restricted 编程辅助 智能客服 … 个性化学习辅导 创意写作 … 个人知识管理 个人文档分析 编程辅助 … 开发板 边端设备 … Atlas 800I A2 (512GB) Atlas 800I A2 (256GB) Atlas 300V Atlas 300I Duo 系统吞吐 432 Token/s 系统吞吐 并发路数 系统吞吐 3300 Token/s 系统吞吐 4940 模型参数： 70B DeepSeek-R1-Distill-Llama-70B AI 编程 智能对话 金融研报 文本创作 营销文案 内容检测 Atlas 800I A2 (1024GB) 金融 电力 交通 政务 制造 油气 …… 教育 Huawei Proprietary - Restricted Distribution 移 动、 电 信一 体 机 247

X e 显卡 D 96 2 16 (CPU) 12 (PCH) DDR5- 4800 LPDDR5- 5200 DDR4- 3200 LPDDR4x- 4267 64 GB 45W （基础 功率） 35W （最小 保证 功率） 英特尔® 酷睿™ i5- 12600HE 处理器 12 4 8 16 18 MB 高达 4.5 高达 3.3 2.5 (@45W) 1x8 PCIe 5.0) 20 (PCIe 4.0) DDR5-5600 LPDDR5- 6400 LPDDR5x- 6400 LPDDR5x- 7467 64 GB 否 否 65 W （最大 保证功耗） 28 W （基础功耗） 20 W （最小 保证功耗） 英特尔® 酷睿™ Ultra 7 处理器 155H 16 6 8 2 22 24 2 2 英特尔® 显卡 64 2 20 PCIe 4.0 DDR5-5600 LPDDR5- 6400 LPDDR5x- 6400 LPDDR5x- 7467 64 GB 否 否 28 W （最大 保证功耗） 15 W （基础功耗） 12 W （最小 保证功耗） 英特尔® 酷睿™ Ultra 7 处理器 155U 12 2 8 2 14 12

DeepSeek 本地部 署 1. GPU 要求 推荐 NVIDIA 显卡（ RTX 3090/4090/A100 等） 显存要求： ■ 7B 模型： 至少 16GB 显存 ■ 13B/20B 模型： 至少 24GB 显存 ■ 70B 模型： 需多卡并行（如 2xA100 ） 支持 CUDA 11.7+ 和 cuDNN 8.5+ 2. 系统要求 O llama LM Studio 本地部署 • 前期准备： 确保设备满足一定硬件要求 ， 显卡需 GTX 1060 （ 6GB ） 及以上 ， 推荐 RTX3060 及以上； 内存 8GB 及以上 ， 推荐 16GB 及更高； C 盘剩余 20GB 空间 ， 建议 使用 NVMe 固态硬盘 。 • 安装 LM Studio 客户端： 在官网 lmstudio.a i 下载对应操作系统的安装包

5*107 秒 (174 天 ) 算力 ( 每秒 ) 显存 运力 生态 政策风险 成本 华为 910B 320T=3.2*101 4 32GB 240 GB/s 较好 无 12 万 英伟达 H800 1000T=1015 80GB 900 GB/s 好 有 25 万 人工智能计算平台成本估计 算力 存力 运力 ■ 大模型扩展规律 ( 资本非常喜欢确定性故事 ) ■ 算力：算力越大

、 V3 的 671B 满血版。 其预处理速度最高可达 286 tokens/s ，推理生成速度最高能达 到 14 tokens/s 。 甚至有开发者借助这一优化技术 ，在 3090 显卡和 200GB 内存的配置下 ，使 Q2_K_XL 模型的推理速度达到 9.1 tokens/s ， 实现了千亿级模型的 “家庭化” 运行 传统方案： 8 卡 A100 服务器成本超百万元 ，按需计费每小时数千元