DeepSeek-R1 采用分阶段强化学习架构演进，包括冷启动阶段、面向推理的强化学习、拒绝采样 与监督式微调、全场景强化学习等。 l AI 应用爆发在即，算力需求持续攀升，关注 ASIC 及服务器产业链。 Scaling Law 与“涌现”能力是大模型训练遵循的重要法则，随着 ChatGPT 引领全球 AI 浪潮， 国内外科技公司纷纷发布 AI 大模型，截至 24 年 7 月，全球 AI 大模型数量约 1328 2 元 8K - AI 应用爆发在即，算力需求持续攀升，关注 ASIC 及服务器产业 链 请务必阅读正文之后的免责声明及其项下所有内容 l Scaling Law ：模型效果随模型规模指数增加而线性提高。据 OpenAI 发布的论文《 Scaling laws for neural language models 》，模型性能极大依赖训练规模，模型参数、数据集大小以及用于训练的计算量增 加 Arxiv （ 2020 ） -P3 ，国信证券经济研究所整理 参数量 （十亿） GPT-4 PanGu-Sigma Ernie 4.0 BingChat* PaLM2 Titan Scaling Law 与“涌现”能力：大模型训练遵循的重要法则 请务必阅读正文之后的免责声明及其项下所有内容 2022/8/27 2022/12/5 2023/3/15

中国信息通信研究院副院长 魏亮 序言 3 超节点发展报告 05 人工智能高速演进背景下，算力需求呈指数级增长，大模型竞争已进入 “参数规模摸高” 与 “训 练效率提升” 并行的新阶段。Scaling Law（规模定律）将以多元形态长期生效，持续推动人工智 能技术突破能力边界，而超大规模 Transformer、MoE（混合专家模型）、稀疏注意力模型等，已 成为可扩展模型的核心架构方向。 J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., ... & Amodei, D. (2020). Scaling laws for neural language models. arXiv. https://arxiv.org/ abs/2001.08361 3. 我国已有 433 款大模型完成备案并上线提供服务——AI 27 术语表 AI 处理器（AI Processor）： 本文中提及的 AI 处理器泛指用于人工智能计算的加速器，如神经网络处理器（NPU）和图形处理器 （GPU）等。 规模定律 (Scaling Law): 揭示了 AI 模型性能与参数量、数据量、计算投入之间存在幂律关系的法则。该法则驱动了模型参数 的指数级增长，是推动基础设施走向超节点架构的核心理论之一。 超节点通信域 (Supernode

模型的效果会随着三者的指数增加而线性提高，这种现象被称为 Scaling Law（缩 放能力）。 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 6 图2：过去五年 LLM 模型参数快速增长 图3：参数量的指数提升线性提高模型性能 资料来源：Sunyan’s Substack，国信证券经济研究所整理 资料来源：《Scaling laws for neural language models》，国信证

Sevilla, Tamay Besiroglu, Lennart Heim, Marius Hobbhahn, Will we run out of data? Limits of LLM scaling based on human-generated data,2024-06-04 [2]. https://www.caict.ac.cn/english/research/whit

损传输保障算效下降小于 5%；支持拉远训练过程中的数据安全隔离 保障；网络链路和资源能够达到 90%以上高吞吐能力，充分提升网络 带宽资源利用率。 3.2.3.跨集群协同训练需求 大模型 Scaling Law 持续生效，十年间大模型的算力需求增长约 100 万倍，后续大模型的算力需求预计仍将保持每年 4 倍以上的增长。 考虑到单个数据中心的算力规模受电力供应、机房空间等多重因素的 制约

。 l 以模型中的参数数量衡量，大型语言模型的参数 在过去五年中以指数级增长。随着参数量和训练 数据量的增大，语言模型的能力会随着参数量的指 数增长而线性增长，这种现象被称为 Scaling Law 。 但当模型的参数量大于一定程度的时候，模 型能力 会突然暴涨 ，模型会突然拥有一些突 变能力 （ Emergent Ability ），如推理能力、无 标注学习 能力等。例如

集构 建方 法 。 能够根据需求设计并构建高质量的垂直领域 数 据集 ， 并进行大模型增量预训练或微调 ， 推动 了模型的持续优化 。 同 时 ， 通 过 Test- time scaling law 形 成 的 技 术 方法论 ， 大幅提升了多模态大模型的推理效率 与准确性 。 A I 比 赛 成绩 生成综述案例： 元知 （增强版） AI 综述 工

代过程中，但依然存在较多挑战，比如神经网 络缺乏坚实的数学理论支撑，黑盒特性导致的 不可解释性，以及不确定性引发的幻觉问题仍 未得到有效解决。推动 LLM 快速发展的规模扩 展定律（Scaling law），正面临数据、算力、 能耗与可靠性的多重瓶颈，有放缓迹象。 通用人工智能（AGI）指具备人类级广泛认 知能力的智能系统。其核心在于实现通用性、 数字世界与物理世界的融合在加速，数字 发展路径主要面临三种可能性： 1. 规模主导，奇点降临： Scaling Law 继续作为核心定律持续生效， 算力、数据与模型规模的扩展红利未见衰减。 技术沿现有轨道高速演进，最终量变引发质变， 触及 AGI 奇点，从而颠覆现有技术范式，推动 人类社会发生根本性变革。 2. 架构革新，范式转移： 当前基于 Transformer 的规模扩展路径触 及天花板，Scaling Law 逐渐失效。然而，基础 理论迎来突破，出现超越

[3] Samuel Liu(2023).Orion: A Tipping Point for Optical Networks [4] Simon Sherrington(2023).Scaling to 800G in operator metro core, backbone and DCI networks. [5] 苏林，CFA（2024）.聚焦光模块； AI 持续赋能行业增长