电子AI+系列专题:DeepSeek重塑开源大模型生态,AI应用爆发持续推升算力需求) 强化学习实现 性能突破。 多头潜在注意力 (MLA) 通过低秩联合压缩技术,大幅削减了注意力键 (keys) 和值 (values) 的存储空间,显著降低了内存需求。 DeepSeekMoE 架构采 用了更为精细粒度 的专家设置,能够更加灵活且高效地调配资源,进一步提升了整体的运行效率和表现。 DeepSeek 模型对跨节点的全对全通信机制进行优化, 充分利用 InfiniBand 和 度训练技术,不仅极大地加快 了训练速度,还大幅降低了 GPU 内存的消耗。 DeepSeek-R1-Zero 通过强化学习架构创新实现突破性性能,核心技术创新体现在训 练效能优化策略、双维度评价体系、 结构化训练范式三个维度。 DeepSeek-R1 采用分阶段强化学习架构演进,包括冷启动阶段、面向推理的强化学习、拒绝采样 与监督式微调、全场景强化学习等。 l AI 应用爆发在即,算力需求持续攀升,关注 竞争加剧。同时, AI 模型向多模态全方位转变, AI 应用百花齐放,企业主动拥抱 AI 应用市场。因此,模型数量、模型参数、数据总量的持续增长及 AI 应用需求推动 全球算力爆发式增长。在英伟达 GPU 随着架构的不断演进及算力的成倍增长,于 AI 大模型训练中得到广泛运用的同时,为了满足 CSP 客户更高 性能和更好功能的需求, 定制化芯片 ASIC 的需求持续提升,牧本钟摆从标准化逐渐摆向定制化。与之0 积分 | 38 页 | 1.95 MB | 7 月前3
电子AI+系列专题:复盘英伟达的AI发展之路为例,在 32 位的单精度浮点数数据下,训练 阶段所需 GPU 数量为 1558 个,谷歌级应用推理阶段所 需 GPU 数量为 706315 个。 l 英伟达开辟 GPGPU 加速计算格局, GPU 架构演进及产品布局赋能 AI 时代。 英伟达 (NVIDIA) 成立于 1993 年,总部位于美国加利福尼亚州圣克拉拉,是一家人工智能计算公司。据 JPR 数据, 4Q22 英伟达独立 GPU 出货量占比 平台。 自 2015 年以后,随着 AI 浪潮迅猛推进,公司业务不断多元化, 向数据中心、游戏、移动设备、 汽车电子等市场发展。公司 GPU 产品能够并行计算的性能优势满足深度学习需求,通过对 GPU 架构升级不断推出新产 品,其运算性能得到显著提升,广泛 用于数据中心等计算密集领域。 请务必阅读正文之后的免责声明及其项下所有内容 复盘英伟达的 AI 发展之 路 英伟达业务模式拟打造成类似于计 资料来源:金十数据,国信证券经济研究所整理 表:不同技术架构 AI 芯片比较 种类 定制化程度 可编辑性 算力 价格 优点 缺点 应用场景 GPU 通用型 不可编辑 中 高 通用型较强、适合大规模并行运算;设计和制造工艺成熟。 并行运算能力在推理段无法完全发挥。 高级复杂算法和通用性人工智能平台。 FPGA 半定制化 容易编辑 高 中 可通过编程灵活配置芯片架构适应算法迭代,平均性能较高;功耗较低; 开发时间较短。0 积分 | 30 页 | 1.27 MB | 7 月前3
中国推理算力市场追踪报告,2025H1-沙利文首家实现DeepSeek模型全栈国产化推理服务落地的运营商级云平台。 02 未来推理算力长序列与超大模型推理优化成为关键,国产软硬件 协同与生态成熟推动推理普及 03 中国算力正朝着“训推一体”融合架构快速发展,以支撑大规模 模型与多模态应用的高效低延迟推理。国产AI芯片与推理框架不 断优化,结合模型压缩、量化、动态推理等技术,进一步提升能 效比和部署灵活性。 3 沙利文市场研读 | 2025/08 400-072-5588 8 中国:人工智能系列 市场研读 | 2025/02 来源:沙利文、头豹研究院 关键发现 中国推理算力的发展核心聚焦于解决高实时性、低时延与高并发需求。其关键技术突破在于 采用P/D分离架构,通过预填充(Prefill)与解码(Decoding)实例分工,并利用高性能 RoCE网络实现KV Cache同步,从而兼顾首Token低时延与后续Token生成效率。 中国推理算力核心技术分析 需<50毫秒。 物理距离影响:推理终端与算力中心距离越远, 时延越长。 爆发性增长:AI应用推理需求持续增长,对算力 基础设施提出更高要求。 2)海量用户推理的核心挑战 3)关键技术:P/D分离架构(以KV Cache为中心) 低成本保障用户体验(低时延)。 低成本满足亿级日访问量。 同时实现首Token低时延和后续Token持续 低时延。 推理终端与算力中心距离导致时延增加。10 积分 | 12 页 | 1.12 MB | 1 月前3
金融行业银行客户经理基于DeepSeek构建AI Agent智能体应用方案(237页 WORD).45 3. 技术架构与实现...................................................................................................................................................................48 3.1 系统架构设计........ FY2025 高净值客户覆盖 率 60% 85% Q2 技术实现路径上,将重点突破三个核心能力:通过微调 DeepSeek 模型构建超过 200 个金融专属意图识别的对话引擎,集 成 RAG 架构实现实时政策文档检索,并建立客户-产品匹配度动态 计算模型。该方案已在试点分行完成 POC 验证,理财推荐场景的 转化率达成 18.7%,显著高于人工经理的 14.2%基准水平。项目落 地后将分三阶段替代客户经理 智能体功能设计 智能体功能设计围绕银行客户经理的核心工作场景展开,通过 DeepSeek 大模型的多模态交互、知识库整合及实时决策能力,构 建覆盖客户服务全流程的智能化解决方案。系统采用模块化架构, 确保功能可扩展性与银行业务的高适配性。 客户交互模块实现全天候自然语言对话,支持语音、文本及视 频多通道输入。智能体可自动解析客户查询意图,准确率需达到 92%以上(基于历史工单测试数据),对理财产品推荐、贷款条件10 积分 | 247 页 | 2.05 MB | 1 月前3
浙江省地标-大中型体育场馆智慧化建设和管理规范.... 2 5 总体要求 .......................................................................... 2 6 系统架构 .......................................................................... 3 7 业务应用及平台要求 ....... 陆俊杰、罗立彦、韩剑、章明。 本标准为首次发布。 DB33/T 2305—2021 1 大中型体育场馆智慧化建设和管理规范 1 范围 本标准规定了大中型体育场馆智慧化建设和管理相关的总体要求、系统架构、业务应用及平台要求、 安全管理、保障管理等方面的要求。 本标准适用于大中型体育场馆的智慧化建设、改造以及日常管理,小型及其他类体育场馆可参照使 用。 注:在不引起混淆的情况下,本标准中的“大中型体育场馆”简称为“场馆”。 根据场馆建筑功能分区、服务对象等因素合理配置智慧化设施设备,进行统筹规划、综合利用。 6 系统架构 6.1 总体框架 智慧体育场馆系统架构应运用互联网、大数据、云计算、人工智能等现代数字技术进行设计,包括 硬件感知层、核心技术层、基础平台层、业务应用层、应用展示层以及网络安全等级保护体系、技术规 范体系,智慧体育场馆总体架构图见图1。 移动应用 数字可视化 大屏展示 场馆运营指 挥平台 场馆综合运维管控平台0 积分 | 20 页 | 613.17 KB | 6 月前3
经济开发区“智慧园区”可行性研究分析报告闸机、智 慧管网、智慧井盖、智慧路灯等。 4、十大核心智慧应用包括有经济运行、能耗监测、环保监测、 安全监测、安全应急、园区招商、党建服务、公共服务、智慧城管、 智慧管网。 (三)总体技术架构 30 经济开发区“智慧园区”项目项目建议书 面向内蒙古准格尔经济开发区提供综合管理支撑,是园区运营 和管理的智慧大脑,提供可视化管理、人员管理、物联感知、事件 追溯、运营分析、应急决策等需求。 号的组合显示、窗口移动、叠加等各种需求;通过拼接控制器,可 以实现大屏幕显示系统的图像拼接和全屏显示、单屏显示、图像的 缩放与叠加,并能够实现网络应用图像信号和多路非网络计算机信 号的混合显示。 2)系统架构 指挥运营中心(IOC)展示大屏系统采用全彩色 LED 显示屏。 全彩色 LED 显示屏系统一般由 LED 全彩显示屏屏体、控制系统、计 算机系统、软件系统、视音频处理系统、电气系统、散热系统、结 成熟组件、服务运行业务支撑的集约化支撑。通过模块级的复用和 组装,可高效构建多个业务服务满足智慧园区的各项需求,保障信 息安全和信息共享的同时,实现信息的综合集成调度和共享应用。 (2)平台架构 大数据平台总体架构如下图所示: 大数据平台是智慧园区信息化建设的核心平台,是实现集约化 建设的关键。平台包括数据中台、服务中台和应用中台三个部分。 1)数据中台 数据中台是集约化服务平台的数据使能平台,搭建于在大数据10 积分 | 164 页 | 16.45 MB | 7 月前3
某银行数据中心项目可行性研究报告(174页 WORD)布式+微 服务+云原生”为特点的新一代核心业务系统建设、面向智能营销、智能风控、开放金 融等新业务的数字化转型。 2) 关键核心技术和金融信创应用:分布式技术的普及和应用可以全面解绑 “集中式”架构, 为国产数据库、服务器和操作系统的使用创造了有利的条件; 3) 数字人民币规模推广:数字人民币作为央行的法定数字货币,当前已经经历了两轮 10+1 的试点。伴随第三批试点城市落地,数字人民币应用的广度和深度有望进一步加强。 为深入推进金融行业数字化转型,今年陆续出台了相关行业政策。2022 年 1月,中 国银保监会《关于银行业保险业数字化转型的指导意见》指出,加大数据中心基础设 施弹性供给。优化数据中心布局,构建多中心、多活架构,提高基础设施资源弹性和持 续供给能力。加快构建面向大规模设备和网络的自动化运维体系,建立“前端敏态、后端 稳态”的运行模式,推进基础设施虚拟化、云化管理。建立对信息科技资源全方位覆盖的 统一监控 年,XX银行积极推进组织变革,打造“强大总行、敏捷分行”组织体系,实施 科技、零售、企金三大条线改革。其中,科技改革重在强化科技的支 撑和引领作用,提升科技规划、建设管理、安全能力,拓展原有“一办+一部门 +XX数金”的架构,形成“一委员会+四部门+XX数金”,包括数字化转型委员会、金融科 技部、科技运维部、安全保卫部、数据管理部、XX数金。科技条线的重点任务之一是提 升场景生态服务能力,积极连接 F(金融机构)、G(政府)、10 积分 | 193 页 | 10.49 MB | 1 月前3
中国零售数字化企业出海现状与趋势白皮书新兴竞争对手不断涌入的背景下,传统实体零售商正通过主动推进数字化变革以 维持市场地位。然而,企业自建数字化平台面临资金投入大、技术复杂度高的双重 挑战,尤其对缺乏专业技术储备的实体企业而言,系统研发过程中需要克服技术 架构搭建、数据资源整合与智能化应用开发等多重行业性难题。 数据驱动的商业决策需求增加。许多零售商在日常经营活动中过度依赖资深店长 的主观经验判断,这类个人决策模式存在较强随机性且缺乏科学验证依据。此外, 全渠道服务能力薄弱。在消费市场加速向线上迁移的背景下,实体零售商面临构 建全渠道服务体系的迫切需求。然而多数企业受制于数字化基础薄弱,既未能搭 建完整的线上销售场景,也缺乏整合多渠道数据的底层架构,导致消费者画像碎 片化、服务响应迟滞等问题。这种线上线下运营体系断层,不仅造成对用户的关键 触点无法有效衔接,还因数据协同能力缺失导致精准营销与个性化服务难以落 地,引发消费体验降级与潜在销售机会流失的困境。 面临非法数据访问、系统越权操作乃至信息窃取篡改等风险,这不仅威胁供应链 稳定性与客户信任度,更可能引发运营流程中断等连锁反应。与此同时,消费者对 隐私保护的重视程度持续提升,零售商需通过升级安全架构实现数据全链路加密 与实时风险监测,以防范网络攻击、恶意程序渗透等新型威胁,保障其业务的连续 性与用户信息的安全性。 助力零售赢在数字时代 Empower Retailers to Thrive10 积分 | 39 页 | 19.55 MB | 6 月前3
金融垂类大模型试用体验【AI金融新纪元】系列报告(一)股市场“互联网 + 金融 +AI” 第一股 ,同花顺凭借十余年的人工智能技术积累 ,再度创新 ,推出了 HithinkGPT 大模型。此款大模型 采用 transformer 的 decoder-only 架构 ,提供 7B 、 13B 、 30B 、 70B 和 130B 五种版本选择 ,最大允许 32k 文本输入 ,支持 API 接口 调用、 网页嵌入、共建、私有化部署等能力 ,并为用户提供一站式标注和评测服务。 每月可新增数千亿 tokens 优质预训练数据以及数十万条优质微调数据, 确保数据的实时性和准确性。 2 )模型训练创新优化。构建了包括数据配比实验方案、 scaling law 实验体系、模型架构优化、分布式训练框架优化、硬件加速技术等 科学高效的大模型训练体系, 能以更低的训练成本高效地完成 HithinkGPT 大模型家族( 7B 、 13B 、 30B 、 70B 和 130B )的训练。 金融 Token 位置编码改进的 Transformer 同花顺 HithinkGPT 7B 、 13B 、 30B 、 70B 、 13 0B Transformer-decoder-only 架构 数据来源:公司官方网站,公司官方公众号,东吴证券研究所 数据来源: SuperCLUE ,东吴证券研究所10 积分 | 25 页 | 1.60 MB | 1 月前3
电子行业:AI大模型需要什么样的硬件?-20240621-华泰证券-40页LPDDR5X,相较当前主流的 8GB LPDDR4X,成本提 升 300%;3)电源:电池/电源管理芯片升级,但弹性相对较小;4)光学:AI 推动屏下摄 像头应用取得突破。软件方面,新一代 AI 智能手机在系统架构和应用方面更加匹配个性化、 场景化服务需求。 软件方面,与功能机和前代智能机相比,新一代 AI 智能手机更加注重场景化服务能力。前 代智能机在功能机的基础上增加了手机 OS 和内嵌语音助手,并针对用户不同需求推出独 健康管理/生活服务/角色扮演/高效办公/游戏助手等场景化需求。 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。 10 电子 图表9: 功能机/智能机/新一代 AI 智能手机系统架构变化 资料来源:OPPO《AI 手机白皮书》(2024.2),华泰研究 据 IDC,全球 AI 手机 2024 年出货量有望同比增长 233%至 1.7 亿台。中国 AI 手机所占份 等);2)CPU+独立 GPU;3)CPU+NPU+GPU 处理器+独立 GPU 等组 合作为处理 AI 负载主力的算力架构方案或将长期共存。2022 年,据 IDC 数据,ARM 架构 CPU 在 PC 市场的市占率约 11%,主要布局厂商为苹果。2023 年 10 月,高通推出的基于 ARM 架构 X Elite 芯片具备突出的 AI 性能表现,符合 AI PC 发展趋势,有望带来 ARM CPU 在 PC0 积分 | 40 页 | 2.60 MB | 7 月前3
共 23 条
- 1
- 2
- 3
