项目编号： AI 大模型人工智能数据训练考评系统 建 设 方 案 目 录 1. 项目背景与目标............................................................................................6 1.1 项目背景....................................... 1.1 数据管理需求.............................................................................16 2.1.2 模型训练需求.............................................................................17 2.1.3 考评需求...... 3.2.2 数据预处理模块.........................................................................38 3.2.3 模型训练模块.............................................................................41 3.2.4 考评模块......

项目编号： AI 知识库数据处理及 AI 大模型训练 设 计 方 案 目 录 1. 项目概述.......................................................................................................7 1.1 项目背景............................. .46 2.4.3 数据安全与权限管理..................................................................48 3. AI 大模型训练设计方案..............................................................................51 3.1 模型选择与架构设计 ........................................58 3.2 训练数据处理......................................................................................60 3.2.1 训练集、验证集、测试集划分.....................................

典型案例 CONTENTS 加入星球获取更多更全的数智化解决方案 智算中心是以 GPU 、 AI 加速卡 [1] 等智能算力为核心、 集约化建设的新型算力基础设施，提供软硬件全栈环境， 主要承载模型训练以及适合中心推理、多媒体渲染等业务，支撑各行业数智化转型升级 具有较强的普适性，可服务于 toB/toC 适合有智能化转型需求行业，如自动驾 驶、智慧城市， toB 为主 专用性强，主要面向地球物理、分子力 专用性强，主要面向地球物理、分子力 学等基础学科以及军工研究 注 [1] ：行业中 GPU 是一个较为泛化的概念，从功能角度划分， GPU 特指具备图形渲染能力的硬件， AI 加速卡特指用于 AI 推理或训练的硬件。本材料主要针对 AI 加速卡进 行分析 TaaS 是指 TensorFlow asa Service ，深度学习平台及行业大数据解决方案 智算中心定义 建设目的 应用领域 主要特征 智算中心典型需求场景 智慧电网 智慧油田 遥感测绘 新闻、视频、购物 App 内容推荐 金融、通信、物流 客服 风险分析 精准营销 AI 主要应用场 景 多媒体渲染 模型训练 智慧医疗 自动驾驶 智慧运营 科研应用 AI+ 视频 元宇宙 智能客服 推荐 智慧金融 智慧能源 第 5 页 l 场景： 利用无人机搭载高清摄像 头采集输电线路影像，

....58 3.3.2 批量大小与训练步数优化..........................................................60 3.3.3 正则化与 dropout 策略.............................................................62 4. 模型训练与验证................. .........................................................................64 4.1 训练环境配置......................................................................................66 4.1.1 硬件资源配置方案......... 69 4.2 训练过程监控......................................................................................71 4.2.1 训练损失与评价指标跟踪..........................................................73 4.2.2 训练过程中的异常检测.

3 东数西存场景................................................................................ 35 4.4 协同训练场景................................................................................ 44 4.5 协同推理场景.. 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策依据，加速 复用，则可保留。这种灵活的处理方式旨在平衡资源利用与数据留存 的多元需求。 29 图 ● 4-10 东数西算-应用删除与数据清理 4.2 数据快递场景 4.2.1 场景描述 在智算大模型训练、超算科学计算与工程仿真等前沿领域，海量 数据集是驱动创新的关键要素。传统的数据传输方式，如机械化运载 海量硬盘甚至整个存储机柜，在效率、安全性和成本方面面临诸多挑 战。例如，运输过程易受物理环境影响，数据丢失或损坏风险高；运

Deliberative Alignment ➢ 补充拓展：DeepSeek-V3 解读 3 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ OpenAI o1 开启后训练 Post-Training 时代下的RL新范式：后训练扩展律 Post-Training Scaling Law ➢ DS-R1 独立发现了一些通往o1路上的核心理念，并且效果还好到受到了OpenAI 的认可 ➢ 如何通过有效的 ➢ DeepSeek R1-Zero 和 R1的出现再次证明了强化学习的潜力所在： ➢ R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（SFT）； ➢ 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； ➢ 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； 4 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ 得益于强 回顾：Pre-Training Scaling Law ➢ Pre-Training Scaling Laws: 预训练模型上广泛观察到的现象，协调了计算量C、模 型参数量N和数据大小D之间的关系 6 回顾：Post-Training Scaling Law ➢ Post-Training 阶段，随着训练时计算量（来自RL的Training阶段）和 Test-Time 计算量 （例如Test-Time

凤 青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 .................................. 26 7.2 存算分离拉远训练场景........................................................... 27 算力城域网白皮书（2025 版） III 7.3 跨集群协同训练场景............................................... 这意味国家将加强顶层设计，加快形成以人工智能为引擎的新质生产 力。随着这一行动的深入推进，人工智能将在推动产业升级、促进新 质生产力快速发展等方面发挥重要作用。 随着人工智能技术的快速发展，大模型训练对算力的需求呈指数 级增长，促进了运营商、政府、行业和企业进行算力中心的建设。各 类算力资源如何实现高效整合，服务于千行百业，进而实现算力的商 业闭环是业界普遍关心的话题。本白皮书针对算力发展新态势和算力

AI）应用和工具产品的出现，为文本创建、图像视频生 成、代码生成以及研发流程等工作带来了全新的智能 体验，极大地提升了生产力，提高了生产水平。 Gen-AI 应用的出现离不开大模型的支持。大模 型是基于海量参数进行自监督学习的预训练模型，凭 借更强的学习能力、更高的精准度以及更强的泛化能 力，正在成为人工智能技术发展的焦点。随着大模型 的快速成熟，其参数规模呈百万倍增长，随之而来的 是算力需求的剧增，芯片算力的增长速度与模型参数 2024.09.012 文章编号：1007-3043（2024）09-0068-06 中图分类号：TN915.5 文献标识码：A 开放科学（资源服务）标识码（OSID）： 摘 要： 人工智能训练的计算复杂度逐年猛增，所需的智能算力从每秒千万次运算增加 到数百亿次，甚至进入千亿级别，促进了大规模智算中心的建设。智算中心主 要满足智算算力的需求，其布局、建设及维护方案与传统的云资源池存在较大 据模型表现和模型算力需求，业界一般认为一个经过 充分训练的百亿参数的模型可认定为大模型 ［1］。大模 型遵循的三大统计特征如下。 a）Scaling Law。模型表现依赖于模型规模、计算 量和数据量，这些因素之间呈现幂律关系 ［2］。 b）Chinchilla Law。模型大小和数据量要同等比 例扩展，即数据量需达到参数量的 20 倍，模型训练结 果才能达到饱和 ［3］。 c）智能涌现。只有训练计算超过 10 22或训练损失

大模型参数量级飞涨，相应训练集需同比提升。李开复定义 AI 2.0 时代的 特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各 领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似 推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前 大语言模型参数均在十亿量级以上。同时，Deepmind 研究表明，模型参数的 上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此，大模型 参数在十亿级以上发展并受限于优质数据集的增速是 AI 发展的必然趋势。 大模型增长挑战芯片算力和内存，无法实现完整端侧部署。大模型训练和推 理的三大瓶颈是算力、显存和通信，根据我们的测算，算力方面 GPT-3 训练 所需算力为 121528 TFLOPS，若 30 天内完成，需要 1558 颗 A100。内存角度， GPT-3 训练至少需要 3.2T 内存，至少 44 张 A100，推理任务则主要受显存限 制，需要 4 至 8 张 百亿参数大模型具备涌现能力，训练数据需等比例提升 .............................. 5 大模型的参数下限：AI2.0 时代，基础大模型参数指数级增长 ................................ 5 大模型的参数上限：参数的增加需要同等量级的训练集增加 .................................. 6 大模型训练对硬件的挑战：算力、内存和通信

大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统 的大规模集群，超节点域内可达百 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 术，成为驱动千行百业 颠覆性变革的核心力量。大模型所展现出的涌现能力与通用潜能，正在重构人类对创新的想象边界， 但同时也对底层智算基础设施提出更高要求和挑战：模型参数规模从千亿迈向万亿乃至更高，训练 数据量呈指数级增长，传统松散耦合的集群架构已难以满足高效的计算需求，智算基础设施正开始 新一轮的技术革新。 在此背景下，超节点应运而生。它并非偶然的技术产品迭代，而是智算需求与系统创新深度共振