模型规模 典型硬件 GPU 数量 训练成本（美元） 1 亿~10 亿 V100/A100（数十卡） <100 <10k 百亿级 A100/H100（数千卡） 1,000-5,000 1M-10M 千亿级 H100（万卡级） 5,000-10,000 10M-100M 万亿级+ H100/B100（数万卡） >20,000 100M-500M+ 大模型参数量达到万亿，迭代训练需使用数据并行、流水线并行、 了极高的要求。 下表展示了不同模型规模单次梯度同步数据量的大小。 模型规模 典型 GPU 数 量 单次梯度同步数 据量 通信敏感度 十亿参数 数十卡 10GB 至 50GB 中等 千亿参数 数百至千卡 300GB 至 800GB 高 万亿参数 数千至万卡 大于 1TB 极高 电交换机的交换性能依赖其内部交换芯片，交换芯片的性能由其 交换容量(switch capacity)衡量。交换芯片的交换容量 了整体性能的提升。 网络延迟瓶颈 大模型训练需要多机多卡完成该轮所有集合通信操作后才可进行 下一轮迭代，这种同步性特征要求智算网络必须提供极低的长尾时延， 避免出现木桶效应[8]。根据理论推算，对于千亿参数规模的大模型训 练来说，动态时延由 10us 增加至 1000us，GPU 有效计算时间占比将 降低 10%左右。同样，大模型推理对网络时延也有着更高的要求，以 确保能够为用户提供优质的推理服务。

设计增长地图 企业从现有 资源和能力出发所能找到业务 增 实现企业指数级的增长 增长路径中可以让业务在短期内呈现指数级 历经 12 年、 60 多家企业、千亿量级验证的增长新思维。 天 际 线 长点的总和，摆脱碎片化的增长思路。 企业估值或者企业价值的上限 爆发增长 撤 退 线 增 长 线 成长底线 本书价值 增长的线。 、谷歌、亚马逊、脸书这类公司。这类公 司 自诞生起，就具有互联网形态，就有数据累积，未来可 以依 据大数据积累往人工智能进化 数字化是爆发线的必要基因，近 30 年来，过千亿 市值的创业公司，无一例外全部都拥有数字化基 因。 表 1916—2004 年成立的市值千亿美元企业 爆发线设计策略： 数字化是爆发线的必要基因 企业完全没有数字化或者仅限于职能部门的信息化。 原生型数字化公司 再生型数字化公司 传统公司

化。FlagScale 已支持包括智源自研 Aquila 系列与 Emu3 在内的 10 余种大模型的端到端训练，涵盖语言、多模态、具身智能等 多个领域，支持稠密与稀疏模型训练，参数规模从亿级至千亿级不等。 （2）在集合通信层：FlagScale 已兼容包括壁仞、天数智芯、沐曦、昆仑芯、寒武纪、 摩尔线程、海光以及华为昇腾等在内的多种国产 AI 芯片，同时支持 CPU 中转和 RDMA 直连 策略）等技术，在流水调度层面取长 补短、深度调优，设计异构并行自动寻优机制实现多种拆分策略的最佳组合。 基于上述方案，壁仞科技联合上海人工智能实验室开展四种国产 GPU 千卡规模混合训 练，混训效率达 98.5%，实现千亿参数大模型长时间高效稳定训练，实现了国产芯片+国产 异构通信库+国产训练框架+国产大模型的深度融合。下一步将参照工信部“算力互联互通 行动计划”算力业务互通创新行动要求，进一步攻关万卡规模异构混训难题，逐步实现万亿、

背景与需求 近年来，人工智能（AI）技术取得了突破性进展，特别是以 ChatGPT、Deepseek 为代表的大语言模型（LLM）的兴起，标志着 AI 进入了一个全新的发展阶段。大 模型通常拥有数千亿甚至万亿的参数，中小模型通常也有十亿参数以上，需要海 量的算力进行训练和推理。为满足庞大的算力需求，智算中心作为 AI 发展的新 型基础设施底座，正加速在全球范围内建设和部署。 图 1-1 传统数据中心与新型智算中心流量模型对比

item_ id=8593536397673564232&track_id=f767296e-8aad-4adc-a960-c0bf2ceee5e. [9] 千龙网 . 西北电网新能源年外送电量首超千亿千瓦时 [EB/OL]（2025-01-03）[2025-07-17]. https://baijiahao.baidu.com/s?id=1820206285227720618&wfr=spider&for=pc

省发 布的《加快推动光芯片产业创新发展行动方案(2024—2030 年)》，全力支持光 计算、光神经网络等前沿技术研发，致力于攻克光芯片领域的关键核心技术，培 育具有国际竞争力的领军企业，打造千亿级产业集群。北京市印发《北京市算力 基础设施建设实施方案（2024—2027 年）》，提出推动硅光芯片等先进技术研 中国移动 面向新型智算的光计算白皮书（2025） 2 发，鼓励企业探索采用

端侧大模型和云侧大模型协同工作，能够发挥 LLM 大模型的最大潜力，并且从成本、能耗、时延、 隐私安全、个性化等多方面为用户提供极致体验。 云端的超级大脑可以解决复杂问题，提升回答的质量，一般以参数量在千亿级别的大模型 部署，推理的算力成本较高。端侧的灵活小脑可以实现低延时低成本高隐私安全的反馈，并且 基于用户数据可以提供个性化服务。部署的模型参数量一般十亿到百亿。端云协同可以最大化 发挥“端侧

行速率提升到万兆，上行速率提升到千兆，物联规模从百亿提升至千亿连接。据悉，载波聚合技术作为一种通过合并多个 载波频段来增加网络带宽的先进技术，在 5G-A 中得到了进一步的发展和应用。 中国 IMT-2020（5G）推进组官方给出了 5G-A 六大应用场景，分别是沉浸实时、智能上行、天地一体、工业互联、 千亿物联、通感一体。其中最具有代表性的物联网应用场景即“千亿物联”，涉及技术既包含目前运营商最大规模开通并积

后通过少量有标签数据的微调来适应特定任务。这种方法极大地降低了对大量人工标注数据的依 赖，同时也加速了模型的迭代更新过程。 随着时间的推移，模型的规模得到了快速的膨胀，参数量从最初的数亿增长至如今的数千亿，从而 人工智能的发展迈入了大语言模型时代。这些大语言模型不仅可以用于经典的 NLP 任务，还在多 轮对话、文案生成、编程辅助、多模态交互等新兴应用场景中展现出巨大的潜力。越来越多的领域 如医疗、媒 大模型应用技术分析 2.4.2.夸克健康助手 夸克 健康 助手来 源 于 阿里巴巴 智能 信息 事 业 群 旗 下的 夸克 App ， 是基 于 全 栈 自 研 、 千亿级参 数 的夸克大模型推出的健康大模型应用。目前， 夸克已与 200 多位权威医学专家、 60 多家全国知名 公立三甲医院和 40 多家医 学机构合作， 累计服务 千万级医疗健康用户，

，加快建设农 业强国。 （25）提升农业综合生产能力和质量效益。坚持产量产能、生产生态、增产增收一起抓，统筹发 展科技农业、绿色农业、质量农业、品牌农业，把农业建成现代化大产业。加力实施新一轮千亿 斤粮食产能提升行动，增强粮食等重要农产品供给保障能力。严守耕地红线，严格占补平衡管理， 统筹农用地布局优化。高质量推进高标准农田建设，加强黑土地保护和盐碱地综合利用，提升耕 地质量。深入实施