....58 3.3.2 批量大小与训练步数优化..........................................................60 3.3.3 正则化与 dropout 策略.............................................................62 4. 模型训练与验证................. .........................................................................64 4.1 训练环境配置......................................................................................66 4.1.1 硬件资源配置方案......... 69 4.2 训练过程监控......................................................................................71 4.2.1 训练损失与评价指标跟踪..........................................................73 4.2.2 训练过程中的异常检测.

AI）应用和工具产品的出现，为文本创建、图像视频生 成、代码生成以及研发流程等工作带来了全新的智能 体验，极大地提升了生产力，提高了生产水平。 Gen-AI 应用的出现离不开大模型的支持。大模 型是基于海量参数进行自监督学习的预训练模型，凭 借更强的学习能力、更高的精准度以及更强的泛化能 力，正在成为人工智能技术发展的焦点。随着大模型 的快速成熟，其参数规模呈百万倍增长，随之而来的 是算力需求的剧增，芯片算力的增长速度与模型参数 2024.09.012 文章编号：1007-3043（2024）09-0068-06 中图分类号：TN915.5 文献标识码：A 开放科学（资源服务）标识码（OSID）： 摘 要： 人工智能训练的计算复杂度逐年猛增，所需的智能算力从每秒千万次运算增加 到数百亿次，甚至进入千亿级别，促进了大规模智算中心的建设。智算中心主 要满足智算算力的需求，其布局、建设及维护方案与传统的云资源池存在较大 据模型表现和模型算力需求，业界一般认为一个经过 充分训练的百亿参数的模型可认定为大模型 ［1］。大模 型遵循的三大统计特征如下。 a）Scaling Law。模型表现依赖于模型规模、计算 量和数据量，这些因素之间呈现幂律关系 ［2］。 b）Chinchilla Law。模型大小和数据量要同等比 例扩展，即数据量需达到参数量的 20 倍，模型训练结 果才能达到饱和 ［3］。 c）智能涌现。只有训练计算超过 10 22或训练损失

技术生态与市场格局 正在加速重构。 生成式人工智能基于海量数据训练、推理生成新的输出，并能以文本、音频和图像等形式创建新内容。 智算中心是支持生成式AI工作负载的新型数据计算中心，基于AI计算架构，提供AI应用所需算力服务、数据 服务和算法服务的算力基础设施，它融合高性能计算设备、高速网络以及先进的软件系统，为人工智能训练 和推理提供高效、稳定的计算环境。据测算，2023年全球生成式AI市场规模，包括硬件、软件以及服务等， 长到2028年1436EFLOPS（图1-2）。全球算力基础设施高速发展，而以支持AI/LLM为目标构建的新型智算 中心成为数字新基建的重要底座。 趋势洞察 01 图1-1 生成式人工智能市场 趋势洞察 02 随着大模型训练参数以及GPU集群规模的不断提升，智算中心网络组网规模持续扩展，接入速率从 200Gbps升级至400Gbps/800Gbps乃至1.6Tbps，无损、低时延性能要求严格，推动智算中心网络以及智 放等，提升用户体验与商业价值。DeepSeek算法与芯片深度适配，不仅降低对高端GPU的依赖，也推动算 力供应链自主化。高效的算法一方面减缓了AI训练的算力需求，另一方面AI应用的普及导致AI训练与推理的 侧重点发生转变，预计未来几年推理算力占比将远超训练部分。 1.2 技术破局：从GPU集群到分布式协同一体 建设和运营智算中心需要巨大的资本投入，包括购买昂贵的AI芯片、建设高密度机房等。AI工作负载对

用户反馈机制 ...........................................................................118 7.2 软件更新与模型再训练 .................................................................... 120 7.3 故障处理与支持 ............ 数据采集与预处理：利用现有的智能视频监控设备，实时收集 各类场景的视频数据，并进行格式转换、降噪、分割等预处 理，确保数据的质量和可用性。 2. 模型训练与优化：基于收集到的数据，构建深度学习模型，进 行有效的训练与优化。重点针对异常事件的识别，如暴力冲 突、事故发生等，训练模型时需考虑不同场景和光线条件的变 化。 3. 实时监控与预警：通过智能监控平台，实时分析各类视频数 据，并自动识别潜在的安全隐患。一旦监测到异常事件，系统 2. 介绍 AI 大模型在视频分析中的优势，如深度学习算法的应 用，能够处理复杂场景并提高识别准确率。 3. 提出具体的实施方案，包括系统架构设计、数据采集与处理流 程、模型训练与优化，以及如何与现有的公共安全体系整合。 4. 讨论在实际应用过程中可能面临的技术、法律和伦理挑战，并 提供切实可行的解决方案。 5. 最后，预期该系统能提高公共安全事件的响应速度和处理效

模型构建与训练..................................................................................37 4.2.1 特征选择与工程.........................................................................40 4.2.2 模型选择与训练..... 还可以通过持续学习和优化，动态调整评估模型， 适应市场变化和新的风险特征。 然而，将 DeepSeek 应用于金融贷款评估也面临一定挑战： - 技术实施成本较高，包括硬件投入、系统集成和模型训练等方面； - 数据安全和隐私保护问题尤为突出，需要严格遵循相关法规和行 业标准； - 模型的透明性和可解释性有待提升，以确保评估结果的 公正性和可信度。 综上所述，金融贷款评估行业正处于传统模式向智能化转型的 度上逐渐显现出局限性，亟需引入更为先进的技术手段以提升评估 能力。DeepSeek 技术作为一种基于深度学习的智能分析工具，正 是在这一背景下被引入金融贷款评估领域。该技术通过大规模数据 训练，能够自动提取复杂的特征模式，并在高维数据空间中进行精 准预测，从而显著提升贷款风险评估的准确度和效率。 DeepSeek 技术的核心优势在于其能够处理非线性、高维度且 结构复杂的金融数据。传统的评估模型往往依赖于人工设计的特征

.......................................................................................70 4.3.2 模型训练与优化................................................................................................ .90 6. 模型训练与优化....................................................................................................................................................................91 6.1 训练数据集构建...... 架构，采用千亿级参数规模，通过 海量通用语料和保险领域专业数据的多阶段训练，实现了对保险条 款、医学报告、事故描述等专业文本的语义理解和逻辑推理能力。 模型训练过程中采用了动态掩码技术和课程学习策略，逐步提升对 长文本、复杂逻辑关系的处理能力，确保在理赔场景中能够准确理 解投保人提交的多样化材料。 模型的核心技术优势体现在三个方面：首先，通过领域自适应 预训练（Domain-adapted Pretraining）技术，在通用语言理解

的智能化管理和应用， 助力电子政务向更高效、更智能的方向发展。 1.2 deepseek 模型概述 DeepSeek 模型是一种基于深度学习的自然语言处理（NLP） 技术，旨在通过大规模数据训练和优化，实现对复杂文本的高效理 解和生成。该模型结合了最新的深度学习算法和大规模数据集，能 够在多领域、多任务场景下表现出色。DeepSeek 模型的核心架构 基于 Transformer，通过多头自注意力机制和位置编码技术，能够 的政策文件、法律法规、公共服务信息等文本数据，实现自动化分 类、关键词提取、问答生成等功能。通过预训练和微调，模型能够 适应特定的政务需求，例如政策解读、法规咨询、公共服务指南等。 DeepSeek 模型还支持多语言处理，能够满足不同地区的政务需求， 提升服务的覆盖范围和适应性。 DeepSeek 模型的优势在于其高效性和可扩展性。通过分布式 训练和优化算法，模型能够在短时间内处理大规模数据，并保持良 好的性能。此 行。 为了更好地展示 DeepSeek 模型的技术特点，以下列举其关键 特性：  多任务学习能力：支持分类、生成、问答等多种任务，适用于 复杂的政务场景。  高效训练与推理：通过分布式训练和优化算法，缩短训练时间， 提升推理速度。  增量更新与在线学习：支持根据新数据进行模型更新，适应不 断变化的政务需求。  多语言支持：能够处理多种语言的文本数据，满足跨地区、跨 语言的政务需求。

人工智能教育面临的挑战及对策 人工智能从诞生伊始，就是一门需要将理论与实践充分融合， 并在实际应用场景中开展实训论证的学科。比如，人工智能的 算法演进通常都是为了解决某一场景中的具体需求，应用场景 的变化以及对更高训练、推理效率和精度的要求，使更多新模 型、新算法被提出。而新算法在提出后，也需要在实际场景中 不断进行实践应用，才能积累更多的结果数据，进而对算法实 施反向迭代优化。 所以人工智能教育的本质，也是通过合理的课程设置和实训环 往缺乏适用于人工智能教育的实训环境，相关的实训实验室通 常是在原有的电教室、微机室基础上改造而成，在应对大规模 学生进行人工智能实操时，往往存在以下问题： • 缺乏规模化人工智能训练、推理所需的算力储备，传统 PC 在执行人工智能训练、推理时效率低下，而要大规模采购 专用设备又必然使教育机构面临巨大成本开支。 • 缺乏面向不同应用场景、不同软件框架的软硬件优化方案， 同时异构设备之间也难以实施有效协同。 IT 系统数据 彼此割裂，无法打通人工智能教学所需的从理论到实践的闭环； 另一方面，人工智能教学管理者也缺乏有效的手段，针对不同 实践场景进行课程编排、开发 / 运行环境部署和配置，以及对 训练 / 推理任务调度实施管理。 同时，教育机构部署在教室等处的 IT 设备在以往大多用于支 持课件演示、课程管理等应用，在算力输出上很难应对规模化 大并发的人工智能实训所需，而依赖云端数据中心又很容易受

逐包负载均衡技术 24 23 目录 4.2.3 拥塞控制技术 26 4.2.3.1 端网协同拥塞控制技术 4.2.3.2 FlexBuffer拥塞控制技术 28 26 4.2.3.3 拉远训练精准流控技术 29 4.2.3.4 AI ECN 2.0技术 30 4.2.4 在网计算技术 31 4.2.5 在网存储技术 31 4.2.6 高稳韧性技术 33 4.2.6.1 故障恢复技术 的目标， 2.1 数据中心网络产业发展趋势 2 3 并阐述了算力内网络高性能传输调度要求，以及无损网络技术应用要求。数据中心 网络连接算力，其性能直接决定了整个数据中心的实际算力水平。以大模型训练为 例，需要同时协调数千张甚至数万张算力卡资源，数据吞吐量成为AI计算的关键瓶 颈，需要高效的数据流水线支持，对网络的带宽、时延和可靠性都提出了极高要求。 因此，要提升数据中心算力服务能力，就必须进一步提升数据中心网络性能。根据 性运营枢纽”的跃迁，谁就将在未来激烈的数字化和智能化竞争中占据先机。 2.3 智算数据中心网络发展趋势与挑战 AI产业正迎来前所未有的快速发展期，呈现出几大显著趋势变化。 1）大模型规模指数级增长，头部OTT大模型持续摸高，大模型训练带动网络发展 模型性能竞赛白热化: 2025年上半年，OpenAI的GPT-4.5、Google的Gemini 2.5 Pro、Anthropic的Claude 4等模型在复杂推断能力上持续突破。例如，Gemini

....25 3.1.1 模型规模与性能评估..................................................................27 3.1.2 训练数据来源与质量..................................................................28 3.2 系统架构设计............ ......................................47 5. 模型训练与优化..........................................................................................48 5.1 预训练模型选择........................................... 5.1.1 开源模型评估.............................................................................53 5.1.2 预训练任务设计.........................................................................56 5.2 微调策略..........