金融业AI大模型智算网络研究报告成为AI算力集群的线性度和稳定性的关键,也面临新的挑战: 一是高性能传输挑战。大模型需要大量的数据进行训练和推 理,千亿模型单次计算迭代内,梯度同步需要的通信量达百GB 量级;MoE稀疏模型下张量并行的卡间互联流量带宽需求达到数 百至上千GBps量级。服务器节点间互联网络会承载数据并行和流 水线并行流量,千亿参数模型如GPT-3并行训练节点间带宽需求 达到13.5GB(108Gbps),如表2所示。万亿模型参数面带宽需求 型参数面带宽需求 增加到200Gbps至400Gbps。AI智算网络需提供更高的带宽来支持 数据快速传输,并且支持算力的横向扩展能力。 表2 千亿稠密模型GPT3千卡PTD训练通信量 注:PDT,P 指 Pipeline 并行,D 指 Date 数据并行,T 指 Tensor 并行 参数:模型 GPT3-175B,h=12288,S=2048,Ndecoder=96,B=1536,D=16,T=8,P=8 也带来了模型参数量增大,数据规模增大,集群算力急剧提升的 需求。网络性能 10%的提升,能够撬动整体性能、投入产出和能 耗效能数倍的提升,因此高算力集群的构建,依赖高性能互联的 网络。 一是使用高带宽网络设备释放算力性能。千亿参数大模型训 练过程中通信占比最大达 50%,且模型越大、通信占比越高。以 GPT3.5为例,当接入带宽提升16倍,通信占比从35%降低至3.7%, All-Reduce 训练周期缩短 14 倍。由此可见网络带宽是构建高集10 积分 | 33 页 | 1.70 MB | 1 天前3
2025年超节点发展报告-华为&中国信通院沿着 “规模定律”不断演进,从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程,其参数与集群 规模实现“双万” 跨越,行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统以太网带宽难以承受;同时,伴随算力规模扩大,万级处理器带来的故障常态化,对自动化 运维与 RAS 能力提出了更高要求。在这样的背景下,超节点的出现成为了面向大模型未来发展的必 模型为代表的人工智能技术,成为驱动千行百业 颠覆性变革的核心力量。大模型所展现出的涌现能力与通用潜能,正在重构人类对创新的想象边界, 但同时也对底层智算基础设施提出更高要求和挑战:模型参数规模从千亿迈向万亿乃至更高,训练 数据量呈指数级增长,传统松散耦合的集群架构已难以满足高效的计算需求,智算基础设施正开始 新一轮的技术革新。 在此背景下,超节点应运而生。它并非偶然的技术产品迭代,而是智算需求与系统创新深度共振 与生态发展格局,清晰界定了超节点需具备的技术特征与系统属性,为产业界提供了具有前瞻性的 洞见和系统标准参考,助力行业在算力发展中找准技术方向,推动算力从规模堆砌走向效率跃迁。 国家超级计算广州中心主任 卢宇彤 当前,千亿乃至万亿参数的大模型与 MoE 等先进架构的兴起,对计算基础设施提出了前所未有 的苛刻要求。传统的硬件堆叠模式已难以满足其对于算力规模、通信效率及系统稳定性的需求。《超 节点发展报告》深刻阐述了20 积分 | 31 页 | 4.79 MB | 1 天前3
2024年汽车AI大模型TOP10分析报告(59页 PPT)0 等最新技术 全球首个百亿中英对话生 成模型 Plato-XL 2019.07 全球首个大规模隐变 量对话模型 Plato 文心一言大模型 4.0 2021.12 全球首个知识增强千亿大模型 鹏程 · 百度 · 文心 2024.06.28 文心一言大模型 4.0 Turbo 2021.12 全球最大中文跨模态生成 模型 Ernie-viLG 2021.07 全球首个知识增强百亿 包含不同参数规格的模型, 以 适配不同的业务场景。十亿级参数的 Pangu E 系列可支撑手机、 PC 等端侧的智能应用; 百 亿级参数的 Pangu P 系列 ,适用于低时延、 高 效率的推理场景;千亿级参数的 Pangu U 系 列 适用于处理复杂任务;万亿级参数的 Pangu S 系列超级大模型能够帮助企业处理更为复杂的 复杂逻辑推理是大模型成为行业助手的关键。 盘古大模型 5.0 将思维链技术与策略搜索深 合作落地(工程师仅需调用华为云提供的 API 就可以用场景理解大模型来完成给视 频 数据分类的工作) 。 但是大模型的训练成本高昂。 GPT-3 训练一次的成本可能 在 12 00 万人民币。 而华为方面 ,在训练千亿参数的盘古大模型时 ,也调用了超过 2000 块 的昇腾 910 ,进行了超过 2 个月的训练 , 成本极高。 一方面选择小样本 训练 , 通过自 监督的方法 , 以更少的标注数据来做训练10 积分 | 59 页 | 27.94 MB | 1 天前3
【完整报告】2025中国具身智能产业星图准、地方定赛道、园区做承载、基金做杠杆、场景做牵引”的系统推 进模式。区域竞争不再是简单的“给钱、给地”,而是围绕“技术闭环 —量产能力—数据回流—商业闭环”展开的全链条竞速,未来 2-3 年 将进入“万台级量产、千亿级集群、场景全面渗透”的关键窗口期。 (一)总体趋势:从“单点突破”到“系统布局” 在国家战略层面,2025 年国务院《政府工作报告》首次将“具身 智能”与“智能机器人”并列纳入未来产业培育清单,标志着其从部委 ”垂 直整合,北京侧重原始创新,广东注重场景牵引,四川、吉林聚焦医 24 工交叉,山东、天津发力“AI+制造”改造;另一方面,“市—区—园” 三级递进,深圳、广州、杭州、成都、苏州等城市将“千亿级产业集 群”拆分为“特色园—孵化器—中试线—场景集”,并配套 100-150 亿元 量级的产业基金。 技术供给层面,部委文件中首次出现“具身大小脑模型”“全身运 动控制”等术语,政策关注点从“大语言模型”延伸到“多模态感知—运 标准、检测底座,实现“全生命周期”治理。 (二)区域特点:北京重创新、长三角强生态、珠三角促出海 京津冀以原始创新为核心定位,成为具身智能产业重要策源地。 北京突出“国家战略科技力量”,计划 2027 年形成“千亿级”产值,致 力于打造“全球具身智能开源高地”;天津依托老工业基地优势,“AI+ 25 制造”特色显著,布局 37 个工厂级场景,并提供 500 万元改造补贴, 目标成为“AI 改造老工业城市样板”。长三角凭借完整产业链与活跃20 积分 | 42 页 | 2.41 MB | 1 天前3
2025中国适老化智能科技行业洞察报告紧急联系手环/手表 陪伴机器人 数字疗法产品 智能相框 老年人专用社 交软件 认知障碍筛查与训练软件/游戏 适老化改造 科技赋能 养老产业十二大类 适老化智能科技产品 x x 市场规模:千亿蓝海,蓄势待发 Ø 中国适老化智能科技产品市场规模在过去几年中实现了高速增长,根据亿欧数据,2025年市场规模将 达到5554亿元,并有望在2030年接近1万亿规模,成为银发经济中增长最快的赛道之一。 外防控”,形成预防-干 预-康复的闭环。 医疗与消费电子产业边界加速融合 x x 建议:构建协同发展生态,激活银发经济新动能 Ø 当前中国适老化智能科技行业在政策驱动与技术革新下已形成千亿级市场规模,但仍面临标准缺失、 支付瓶颈及数字鸿沟等核心挑战。需通过政策引导、企业创新与消费者教育三方协同,推动行业从单 一硬件销售向“产品+服务+生态”转型。 资料来源:三个皮匠报告网研究绘制10 积分 | 25 页 | 9.33 MB | 1 天前3
基于大数据的智慧税务建设方案(79页WORD-智慧税务)存放的文件超过一定数量甚至会造成文件查找效率急剧下降。 采用的分布式存储系统单卷可支持300PB以上的存储空间,高效的管理上千亿个文件, 单目录可以高效支持千万级的文件数量。分布式存储系统拥有高效的多元数据服务器集群 技术和高效的海量文件检索技术,在存放上千亿文件的同时保持极高的文件检索效率。统 能够在单个目录下高效管理上千万个文件的存储系统,在单目录下存放上千万数量文件时, 仍然能够提供每秒数万的文件检索效率。 以上的存储空间,高效的管理上千亿个文件, 单目录可以高效支持千万级的文件数量。分布式集群存储系统拥有高效的多元数据服务器 集群技术和高效的海量文件检索技术,在存放上千亿文件的同时保持极高的文件检索效率。 分布式集群存储系统能够在单个目录下高效管理上千万个文件的存储系统,在单目录下存 放上千万数量文件时,仍然能够提供每秒数万的文件检索效率。 单目录下高达千万级的文件,单一文件系统文件数量支持超过千亿(实际案例:26020 积分 | 80 页 | 3.76 MB | 1 天前3
湖南大学:2025年智算中心光电协同交换网络全栈技术白皮书模型规模 典型硬件 GPU 数量 训练成本(美元) 1 亿~10 亿 V100/A100(数十卡) <100 <10k 百亿级 A100/H100(数千卡) 1,000-5,000 1M-10M 千亿级 H100(万卡级) 5,000-10,000 10M-100M 万亿级+ H100/B100(数万卡) >20,000 100M-500M+ 大模型参数量达到万亿,迭代训练需使用数据并行、流水线并行、 了极高的要求。 下表展示了不同模型规模单次梯度同步数据量的大小。 模型规模 典型 GPU 数 量 单次梯度同步数 据量 通信敏感度 十亿参数 数十卡 10GB 至 50GB 中等 千亿参数 数百至千卡 300GB 至 800GB 高 万亿参数 数千至万卡 大于 1TB 极高 电交换机的交换性能依赖其内部交换芯片,交换芯片的性能由其 交换容量(switch capacity)衡量。交换芯片的交换容量 了整体性能的提升。 网络延迟瓶颈 大模型训练需要多机多卡完成该轮所有集合通信操作后才可进行 下一轮迭代,这种同步性特征要求智算网络必须提供极低的长尾时延, 避免出现木桶效应[8]。根据理论推算,对于千亿参数规模的大模型训 练来说,动态时延由 10us 增加至 1000us,GPU 有效计算时间占比将 降低 10%左右。同样,大模型推理对网络时延也有着更高的要求,以 确保能够为用户提供优质的推理服务。20 积分 | 53 页 | 1.71 MB | 1 天前3
大模型技术深度赋能保险行业白皮书151页(2024)线上渠道拓展:建立或优化官方网站、移动APP、社交媒体等线上销售渠道,提供便捷 的保险购买、咨询和理赔服务。同时,与第三方平台合作,拓宽销售渠道,覆盖更多潜在客 户。中国人保移动销售平台“人保e通”实现保费收入过千亿,推动了车生活、家生活、健康 管理等多品类客户服务线上化。 智能化客户服务:引入智能客服机器人,实现24小时不间断的客户服务。通过自然语 言处理技术,机器人能够理解客户需求,提供准确的解答和建议,提升客户满意度。 拟人化程度。具体包括:可以识别同业保 单、能够听懂方言、说话自然、友好的数字人和硬件机器人形象等。 3.2.1.1 多层次大模型构建 �� 不同尺寸的大模型具有不同的性能及成本。相对来说,千亿级模型具备卓越性能,但 成本及数据需求高;百亿级模型则在保持较高性能的同时,成本更为可控;而更小尺寸的 模型则适用于特定任务,部署灵活且成本最低。因此,在具体应用选型时,保险公司应根据 自身实 为满足内部多样化场景的需求,阳光正言GPT的建设采用了多尺寸大模型构建的 思路。 (1)千亿级大模型建设采用采购商业大模型和基于开源大模型自研两种方案,根据具 体业务场景择优选择。考虑到千亿级大模型训练需要的算力和数据巨大,主要研发推理加 速技术,以提高模型响应速度、并发并降低硬件成本。利用提示词、检索增强生成和智能体 等技术充分激活千亿级大模型的理解、推理和规划等高级能力,赋能办公文秘、应用开发、 车险全20 积分 | 151 页 | 15.03 MB | 1 天前3
Lindorm一站式车联网数据平台解决方案(14页 PPT)A R A 云 栖 大 会 车联网数据特点 100+ 项指标 数千项指标 汽车保有量 百万级 / 千万 级 数据采集频度 100ms/1s/10s 性能 数千列大宽表实时写入 数千亿数据实时检索 国标 GB_T 32960 企标 智能业务 多元化 存储、检索、计 算、 AI 成本 PB+ 规模数据 动态列 车辆增加信号 第三方机构观点 / 数据,仅供参考,不代表本公司观点10 积分 | 14 页 | 1.62 MB | 1 天前3
AIGC引领保险数智化变革(17页 PPT )数据开发 模型训练 应用推理 数据采集 可视化 模型仓库 调度优化 湖仓一体 数据管理 资源监控 工程化 数据安全 9 灵活 提供百亿及数百亿的两个模 型版本,并通过 DMOE 技 术 实现千亿乃至万亿模型 的支 持,提供灵活的模型 选择 高效 单卡完成模型推理部署,既 能够满足数十人并发需求, 支撑数百人日常使用,极大 降低模型部署和使用成本 专业 数十年行业客户理解,十数10 积分 | 18 页 | 1.03 MB | 1 天前3
共 67 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7
