本地完成一部分的训练，然后把训练的梯度传到谷歌的云端，这样谷歌只看见一 个梯度，它并没有获得这个用户的设备以前的聊天内容，这样在设计上有一种 privacy by design 的设计优点。有很多这样的安卓设备，比如：Parameter Server 设备是谷歌的云端服务器，它开始会有一个全局的初始化模型，云端服务器会把 模型推到各个设备上，然后各个设备基于本地的数据来优化模型，得到一个更新 的梯度，把这个更新 的梯度，把这个更新的梯度发给服务器，服务器收到这么多梯度之后，会更新全 局模型，然后发到这些设备上，这些设备又迭代，直到这个模型在某种程度上收 敛为止，这就是联邦学习最开始的一个雏形。 3. 国内联邦学习与谷歌联邦学习的区别 区别一： DataFunTalk 成就百万数据科学家！ 39 大概在 2018 年左右，国内开始引入联邦学习概念，与谷歌的联邦学习相比有了 一些发展和改变。两者主要的区别是谷歌的联邦学习主要是面向海量移动设备的 首先是原版横向跨设备的联邦学习。因为它设计上只传梯度，梯度本质是一个函 数，它是根据初始的模型以及本地的数据算出来的一个函数，那么这个函数可能 是跟原数据是相关的，不能说有梯度就算不出原数据了，那多大程度上相关呢？ 其实算出来是有一定的难度，但是有一些学者也能算出来，比如说假设我们训练 的模型是一个简单模型，比如逻辑回归，我们有了一堆梯度跟原始数据的这种关 系 ， 可 以 通 过 解 方

常，可以使用学习率调度器（如余弦退火或线性衰减）来动态调整 学习率，确保在不同训练阶段都能保持合适的更新步长。 批量大小也是一个重要的超参数，它直接影响模型训练的稳定 性和内存占用。较大的批量大小可以提高训练速度并减少梯度更新 的方差，但可能会降低模型的泛化能力。相反，较小的批量大小虽 然能够提升模型的泛化性能，但可能导致训练过程更加不稳定。因 此，需要在内存允许的范围内，通过实验找到一个平衡点。 训练轮数的 权重衰减系数：0.0, 1e-4, 1e-3  Dropout 率：0.1, 0.2, 0.3 为了进一步提高调优效率，可以使用贝叶斯优化（Bayesian Optimization）或基于梯度的优化方法（如 HyperBand）来自动 搜索最优超参数组合。这些方法能够根据历史实验结果动态调整搜 索方向，从而在较少的实验次数内找到更优的超参数配置。 最后，建议在调优过程中使用交叉验证（Cross-Validation） 后将学习率按固定比例降低，适用于任务较为稳定的场景。选择哪 种衰减策略可以根据具体任务的特点和训练数据的分布来决定。 此外，可以考虑引入自适应学习率优化器，如 AdamW 或 Ranger。这类优化器能够根据梯度信息动态调整学习率，减少对 手工设置学习率的依赖。在使用自适应优化器时，仍需注意初始学 习率的设置，通常可以设置为一个较小值（例如 1e-4 到 1e-5 之 间），以避免训练初期的参数更新幅度过大。

资料来源：ChatGPT，Google，国信证券经济研究所整理 大模型训练对硬件的挑战：算力、内存和通信 内存方面，大模型训练的内存可以大致理解为参数、优化器状态、激活、梯度四 部分的和。它们大致分为两类：静态内存和动态内存。参数、优化器状态较为固 定，属于静态内存，激活和梯度等中间变量属于动态内存，是最主要的内存占用 原因，动态内存通常是静态内存的数倍。 图9：静态内存 图10：动态内存 资料来源：知乎，国信证券经济研究所整理 2 个字节，参数和优化器状态合计占用内存 1635G。而动态内存，根据不同的批量大小、并行技术等结果相差较大，通常是静 态内存的数倍。更简洁的估算方法，可以假设典型的 LLM 训练中，优化器状态、 梯度和参数所需的内存为 20N 字节，其中 N 是模型参数数量，则 1750 亿参数的 GPT3 大概需要 3.2TB 内存。 推理所需内存则较小，假设以 FP16 存储，175B 参数的 GPT3 推理大约需要内存 80G A100，如果以 FP32 运算，则需要 10 张。 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 9 表2：大语言模型的计算 公式 注释 模型参数 优化器内存 梯度内存 激活重计算 模型训练内存 需求 模型推理内存 需求 资料来源：Eleutherai，国信证券经济研究所整理 图11：模型大小与设备内存的增长示意图 资料来源：NVIDIA，国信证券经济研究所整理

杂度呈指数级上升。组网规模的扩大还引发了负载均衡难题，传统ECMP（等价多路径路由）算法在“少流 大流”场景下易引发链路拥塞，使网络有效吞吐量骤降至理论值的10%-60%。 超高带宽与低时延需求 大模型训练中，GPU间梯度同步和中间激活值传递需满足微秒级时延要求。以InfiniBand和RoCEv2为代 表的RDMA技术虽能将应用层时延降至5微秒，但在万卡集群中仍面临瓶颈。例如，在GPT-3训练中，通信 耗时占比 图2-1是智算中心组网的逻辑架构和物理架构。智算中心逻辑上分为AI计算集群区、通用计算区、存储区 以及管理区，在网络层面，划分为参数面、样本面、业务面及管理面四个网络平面。参数面网络承担AI训练 和推理的模型参数的同步与聚合（如梯度交换），需满足超高吞吐、超低时延和高可靠性，通常采用RDMA （如RoCEv2或InfiniBand）和无损组网技术，以支持大规模分布式训练。样本面网络，用于传输训练所需的 原始数据（如多模态样 新的重点方向之一。 集合通信层作为分布式训练的通信基石，承上启下提供大模型预训练的网络集合通信操作，主要为All Reduce、All Gather和Broadcast等，通过融合计算与通信、梯度压缩等技术，减少通信开销，提供高效数 据聚合与同步能力，提升大规模集群训练效率。 图2-2 智算网络技术体系 智算网络核心技术 08 智算网络的高可靠性通过多层冗余与快速故障恢复机制，确保业务连续性。包括采用双平面架构、双上

的模型，如 BERT 或 GPT； 对于图像识别任务，卷积神经网络（CNN）或视觉 Transformer（ViT）可能是更优的选择；而在决策优化场景中， 强化学习算法如深度 Q 网络（DQN）或策略梯度方法则更为适 用。 在算法设计过程中，需综合考虑以下因素：首先，数据的规模 和质量是决定算法选择的重要依据。大规模数据集通常需要高计算 能力的算法，而数据质量则直接影响模型的泛化能力。其次，计算 在算法实现阶段，首先需要明确智能体的核心任务和环境交互 方式。根据任务需求，选择合适的算法框架，例如基于强化学习的 Q-learning、深度 Q 网络（DQN）或策略梯度方法（PG）。对于 复杂的多智能体系统，可以考虑使用多智能体深度确定性策略梯度 （MADDPG）或独立 Q-learning 等方法。 在实现过程中，需按照以下步骤进行： 1. 环境建模：构建智能体的仿真环境，确保环境能够准确模拟真 型结构。对于 DQN，需设计全连接神经网络或卷积神经网络 （CNN）来近似 Q 值函数。对于策略梯度方法，需设计策略 网络和价值网络。以下是一个 DQN 的网络结构示例： 3. 参数初始化：对模型参数进行初始化，通常使用随机初始化或 预训练模型的方式。初始化过程中需注意避免梯度消失或爆炸 问题。 4. 训练过程： o 数据采集：智能体与环境交互，采集状态、动作、奖励 和下一个状态的数据。

数据增强：集成常用的数据增强技术（如随机裁剪、旋转、翻 转等），提升模型的泛化能力。 2. 混合精度训练：支持 FP16 混合精度训练，减少显存占用并加 速训练过程。 3. 梯度累积：当显存不足时，支持梯度累积技术，通过多次小批 量数据更新梯度。 4. 并行化处理：支持多进程数据加载与预处理，减少 I/O 瓶颈， 提高整体训练速度。 通过以上设计，模型训练模块能够高效、灵活地完成各类模型 的训练任 在模型训练方案中，训练算法的选择是整个系统性能提升的关 键环节。首先，需要根据具体的业务场景和数据特点，确定适用的 算法类别。对于结构化数据，常用的算法包括基于树的模型（如决 策树、随机森林、梯度提升树等）以及线性模型（如线性回归、逻 辑回归等）。对于非结构化数据（如图像、文本、音频），深度学 习方法（如卷积神经网络 CNN、循环神经网络 RNN、Transformer 等）通常表现更优。 计算，显著提升系 统响应速度。 在算法优化方面，模型训练的效率至关重要。可以采用梯度裁 剪、学习率衰减等技术来加速收敛，避免过拟合。同时，对于深度 神经网络，可以使用混合精度训练（如 FP16）来减少显存占用并 提高计算速度。对于大规模数据集，建议采用小批量训练（Mini- batch）策略，结合梯度累积技术，平衡计算效率与模型性能。 数据库查询优化也是提升系统性能的关键。建议对高频查询的

l 第 12 页 1. 数据预处理 • 数据清洗、标准化及特征工程 2. 模型训练 • 输入：标准化后的数据集 • 昇腾集群分布式计算： • 多节点并行计算梯度 • 参数服务器架构更新模型参数 • 节点间同步最新参数 • 验证评估： • 定期计算预测误差 • 反馈调优信号指导模型优化 3. 模型压缩 • 将 FP32 转换为 INT8 量化推理模型 倍，显著提升训练效率。 技术细节：采用梯度累积（累积 4 批次更新一次参数） ，优化训练 过程。 硬件配置：昇腾 910B ×8/ 节点， RoCE v2 网络（带宽 200Gbps ）， 构建高效分布式训练环境。 框架优化：自动并行策略（数据并行 + 模型并行混合）， 提升分布 式训练性能。 优化器选择：分布式优化器（ Horovod+ 昇腾通信库）， 优化梯度 同步和参数更新。

因子合成：通过对抗生成网络（GAN）模拟市场环境变化， 生成具有鲁棒性的合成因子  跨市场关联分析：利用图神经网络（GNN）挖掘不同资产间 的非线性传导关系 预测模型构建 监督学习模型在收益率预测方面展现显著优势。梯度提升树 （XGBoost/LightGBM）与深度神经网络的混合架构可同时处理结 构化数据（如价量指标）与非结构化数据（如新闻情绪）。实证研 究表明，集成模型的年化预测准确率较传统统计方法提升 异构计算架构：使用 Kubernetes 编排 CPU/GPU 混合计算资 源  低延迟数据管道：Apache Kafka 实现微秒级事件流处理  风控沙箱：在 PyTorch 框架中集成梯度截断和异常检测模块 实际运营数据显示，AI 量化交易系统在 2023 年美股市场的订 单流预测准确率达到 68.7%，较传统方法提升 22.4 个百分点。但 需注意其存在模型漂移风险，建议采用集成学习方法组合 趋势跟踪或均值回 归）明确模型类型，通常包括监督学习模型 （LSTM、Transformer）、强化学习模型（PPO、DQN）以及集 成方法（XGBoost、LightGBM）。对于低频策略，梯度提升树因 其特征重要性解释性强且训练效率高而成为首选；高频场景则需采 用时序模型，例如通过 LSTM 捕捉市场状态记忆性或使用 Transformer 处理多品种协整关系。 数据适应性是模型设计的关键约束条件。若输入为异构数据

（RNN）或变换器（Transformer）用于序列数据处理。模型架构 的选择应基于任务的特定需求，如处理速度、准确率和模型的复杂 性。 模型训练的过程中，优化算法的选择同样重要。常用的优化算 法包括随机梯度下降（SGD）、Adam 等。这些算法的优化策略直 接影响到模型训练的效率和最终性能。此外，学习率的设置和调整 也是训练过程中的关键因素，可以采用学习率衰减或自适应学习率 方法来提高训练效果。 输入数据经过充分的清洗、标准化和向量化处理，以便模型能够高 效学习。针对大规模数据，可以采用分布式训练策略，利用多 GPU 或 TPU 集群进行并行计算，以缩短训练时间。 在模型优化方面，常用的技术包括学习率调度、梯度裁剪、正 则化等。这些技术能够有效防止过拟合，提升模型泛化能力。此 外，可以采用混合精度训练（Mixed Precision Training）来加速 训练过程，并减少内存占用。对于超参数调优，可以采用网格搜 误差（MSE）适用 于回归任务，而对比学习任务则可能采用 InfoNCE 损失。优化器 的选择直接影响模型收敛速度和最终性能，AdamW 因其自适应性 在实践中广泛应用。在优化过程中，梯度裁剪可防止梯度爆炸，确 保训练稳定性。 在训练过程中，监控和评估模型性能至关重要。通过划分训练 集、验证集和测试集，可实时监控模型的训练损失、验证损失以及 关键指标（如准确率、F1 分数、BLEU 分数等）。早停（Early

端侧处理瓶颈。在网 计算通过在交换机或网卡中嵌入可编程处理单元，在数据流经网络设备时实时执行特定计算 任务。例如，在分布式训练中，多个GPU需将梯度数据汇总并平均，传统方式是将所有梯度 传至某节点集中计算，而在网计算可在交换机中逐跳或分层完成梯度聚合，仅将最终结果传 回终端。在网计算技术不仅可以减少传输数据量，而且可减少通信次数，从而提高集合通信 效率并加速应用性能。 图21 在网计算技术