英特尔携手合作伙伴探索基于语音识别的智能教学辅 助能力 • 语音识别等人工智能技术在智慧教育场景中的应用 • 基于语音识别能力构建教学辅助能力 • 扩展 OpenVINO ™ 工具套件自定义层，提升语音识别推理 效率 基于英特尔优化方案的应用案例 • 思必驰：与英特尔携手打造精准、高效的语音识别应用， 加速智慧教育前行步伐 打造高效人工智能教学与实训解决方案 英特尔携手合作伙伴持续探索人工智能教学场景建设 基于英特尔优化方案的应用案例 • 联合伟世：“云 - 边 - 端” 协同，采用先进硬件与创新理念 打造高效人工智能教学实训平台 • 五舟科技：高性能硬件助力打造高校人工智能教学平台 优化方案设计、提升推理性能，助力智能课堂行 为分析 英特尔与合作伙伴共同探索课堂行为分析在智慧教育 场景中的应用 • 人工智能行为分析解决方案开发及挑战 • 面向教育场景的行为分析方案设计 • 针对行为分析的英特尔产品优化方案 IT 基础设施也面临着严峻挑战。如图 1-1-3 所示， 这些挑战包括： • 人工智能应用对算力的高要求：与学校已有的校园网、电子 白板、平板电脑等信息化设备相比，人工智能应用因其数据 量大、推理要求高、计算负载密集等特点，要求学校信息化 系统具有更高的算力。 • 人工智能应用如何与教学环节无缝对接：与教学环节的紧密 结合，使人工智能应用有别于传统多媒体课件等校园信息化 应用，尤其是

GPT3/4在深度推理和问题解决⽅⾯有所⽋缺，OpenAI-o1通过思维链（ChainvofvThought）增强推理能⼒，将复杂问题分 解成更⼩、更易处理的步骤；⽽DeepSeek R1在展现卓越推理能⼒同时，训练和推理成本极低 BERT BERT在文本分类、命名实体识别等 语言理解任务表现出色。也是医疗AI 小模型年代主要技术路线 “大数据、小算力、专用决策” GPT 为内容创造和自动推理开辟可能性 为内容创造和自动推理开辟可能性 “大数据、大算力、通用模式” 基于DS-v3构建推理模 型，通过强化学习提升推 理能力，且训练成本极低 AI技术演变路线 5 理解Chatgpt,J⼀个AI领域的“⼯程奇迹” Chatbot： ⽂本交互式应⽤ Gpt3： 预训练⼤模型 Prompt engineering 提⽰词⼯程 RLHF 强化学习 Nvidia A100（A800） ⾼性能卡 SFT 监督微调 RDMA 语⾔模型，拥有6710亿参数（激活参数370亿）。作为通⽤⼤语⾔模 型，其在在知识类任务（知识问答、内容⽣成等）领域表现出⾊ • DeepSeek-R1 是基于 DeepSeek-V3-Base 训练⽣成的强化推理能⼒模型，在 数学、代码⽣成和逻辑推断等复杂推理任务上表现优异 更低的研发成本* 更⾼效资源利⽤ $5.5M%vs.%OpenAI’s%$100M+ 使⽤~2,000%GPUs,%竞品使⽤% 10,000+%GPUs

智能要在碳达峰目标的约束下追赶美国，算力与电力问题需要重估。 算力需求增长、能耗及排放增加的速度，始终快于算力效率、功耗效率、排放 效率提升的速度，这是导致用电量会持续增长的根本原因。生成式 AI 在内容生 成与推理方面，创造出越来越有价值的应用，而这些应用的算力、能耗与排放 的密集度也迅速上升。 来自不同行业和专业背景的机构，对智能算力的电力消费进行了为数众多的研 究，基本逻辑大同小异：先根据芯片等硬件的算力与功率，估算出数据中心的 的预期并不一致，而中国面临的首要问题是如何克服芯片能效提升的瓶颈。 第一章： 来源：Hugging Face，未尽研究，环球零碳 说明：对数轴。每进行 1000 次查寻，完成每种推理任务平均消耗的电能。 不同推理任务的用电量 10 1 0.1 0.01 0.001 2.907 图像生成 图像描述 生成 摘要生成 文本生成 对象检测 图像分类 标记分类 掩码语言 建模 提取式 户预算的 增长能否赶得上前两者的增长，以及电力电网建设的增长赶不赶得上前三者的 增长。不少年初的研究低估了去年英伟达 GPU 的出货量。此外，其中算力需求 的增长，既包括训练需求的增长，也包括推理需求的增长，两者都存在较高不 确定性。 因此，部分报告假定了不同的 AI 算力增长情景，也产生了不同的用电增长估算 结果。高盛认为届时美国 AI 用电占比约 20%，semianalysis 则认为可能超过

智能要在碳达峰目标的约束下追赶美国，算力与电力问题需要重估。 算力需求增长、能耗及排放增加的速度，始终快于算力效率、功耗效率、排放 效率提升的速度，这是导致用电量会持续增长的根本原因。生成式 AI 在内容生 成与推理方面，创造出越来越有价值的应用，而这些应用的算力、能耗与排放 的密集度也迅速上升。 来自不同行业和专业背景的机构，对智能算力的电力消费进行了为数众多的研 究，基本逻辑大同小异：先根据芯片等硬件的算力与功率，估算出数据中心的 服芯片能效提升的瓶颈。 第一章： AI 改变能源 智算如何引领新型电力系统 来源：Hugging Face，未尽研究，环球零碳 说明：对数轴。每进行 1000 次查寻，完成每种推理任务平均消耗的电能。 不同推理任务的用电量 10 1 0.1 0.01 0.001 2.907 图像生成 图像描述 生成 摘要生成 文本生成 对象检测 图像分类 标记分类 掩码语言 建模 提取式 问答 户预算的 增长能否赶得上前两者的增长，以及电力电网建设的增长赶不赶得上前三者的 增长。不少年初的研究低估了去年英伟达 GPU 的出货量。此外，其中算力需求 的增长，既包括训练需求的增长，也包括推理需求的增长，两者都存在较高不 确定性。 因此，部分报告假定了不同的 AI 算力增长情景，也产生了不同的用电增长估算 结果。高盛认为届时美国 AI 用电占比约 20%，semianalysis 则认为可能超过

DeepSeek coder 发布 LLM 发布聊天版本 2023 年 8 月 2024 年 5 月 DeepSeek R1-Lite- Preview 发布 宣称在逻辑推理、数学推理和实 时 问题 解决 等任 务上 超越 OpenAI O1 ，但《华尔街日报》测试发现 OpenAI O1 在部分问题上更快。 12.26 DeepSeek 年 11 月 2023 年 5 月 2025.1.20 低成本完美对标 OpenAIO1 ，突破精确语义理解及复杂推理任务 数学 + 编程领域大幅领先， DeepSeek-V3 训练成本不足 Meta/OpenAI 的 10% ， DeepSeek-R1 推理成本仅为 OpenAI o1 的 3% ，成为开源模型 SOTA 。 低成本 自我验证机制： AI 的 " 错题本系 统 " • 混合专家模型的 " 智能路由器“ • 多头潜在注意力 MLA ：空间压缩 术 • 训练框架加速： 16 到 3 的量化压 缩， 通信降低 89% • 推理加速：预加载，动态批处理 等 • 模型、数据、工具链、部署全开 源 • 蒸馏技术使能第三方模型性能 DeepSeek 大模型解读： 通过系统优化实现极致性能， 完全开源 + 免费商用，挑战 A 国

个蓄冷罐 智算中心——室外区域 04 室外配 置 设计理念、标准与进度 Design Concept, Standards, and Progress 网络环境 大模型训练与推理、 OCR 识别、具身 话机器人、长文本 阅读、深度分析、 隐私计算、 GPU 虚化、 文生图、 文生视频、生信计 算； 应用场景 电信联通移动三家 运营商高速网络接 采用国产信创算力 服务器与 N 系列 算力服务器异构融 合设计方案，支持 部署万卡级别的混 训混推； AI 算力资源池容 量最少可部署 20000 卡，为感 知 AI 、生成式 AI 、推理 AI 、物 理 AI 等各阶段人 工智能应用场景提 供稳定的算力资源 支撑； 完备的多租户服务 运营能力，用户隔 离，保证数据安全。 提升集群效率，支 持大集群资源管理 与调度，支持上万 21504KW ； 2) 建设 5 个 128 合计 640 台算力服务器组成的推理集群，主卡选用 5090, 合计消纳 320 个 12KW 机柜，单台 算力服务器最大功耗 6KW 计算， 640 台服务器合计消纳 IT 功率约 3840KW; 3) 建设 5 个 128 合计 640 台算力服务器组成的推理集群，主卡选用 H20, 合计消纳 320 个 9KW 机柜，单台算 力服务器最大功耗

2.1 模型压缩与量化..........................................................................103 6.2.2 分布式推理优化..........................................................................107 7. 业务逻辑集成......... 和大模型解析合同文档，将处理速度从小时级缩短至分钟 级 - 动态知识更新：建立可实时更新的金融知识图谱，确保政策变动 和产品条款变更能在 1 小时内同步至所有终端 - 合规性保障：在模型推理层嵌入监管规则校验模块，确保所有输 出符合《商业银行法》和巴塞尔协议 III 要求 某股份制银行的实践表明，接入大模型后其信用卡审批流程从 72 小时缩短至 8 分钟，同时通过动态调整授信额度模型，坏账率下 18%。这些案例印证了智能化转型不仅是技术升级，更是银行业 重塑竞争力的战略选择。 1.2 DeepSeek 大模型在金融领域的应用潜力 随着金融行业数字化转型的加速，DeepSeek 大模型凭借其强 大的自然语言处理、知识推理和多模态分析能力，为银行业务智能 化升级提供了突破性技术支撑。该模型在金融领域的应用潜力主要 体现在三个维度：首先，其千亿级参数规模与金融知识库的深度融 合，可实现对复杂金融术语、监管政策及市场动态的精准解析，例

与市场格局 正在加速重构。 生成式人工智能基于海量数据训练、推理生成新的输出，并能以文本、音频和图像等形式创建新内容。 智算中心是支持生成式AI工作负载的新型数据计算中心，基于AI计算架构，提供AI应用所需算力服务、数据 服务和算法服务的算力基础设施，它融合高性能计算设备、高速网络以及先进的软件系统，为人工智能训练 和推理提供高效、稳定的计算环境。据测算，2023年全球生成式AI市场规模，包括硬件、软件以及服务等， 放等，提升用户体验与商业价值。DeepSeek算法与芯片深度适配，不仅降低对高端GPU的依赖，也推动算 力供应链自主化。高效的算法一方面减缓了AI训练的算力需求，另一方面AI应用的普及导致AI训练与推理的 侧重点发生转变，预计未来几年推理算力占比将远超训练部分。 1.2 技术破局：从GPU集群到分布式协同一体 建设和运营智算中心需要巨大的资本投入，包括购买昂贵的AI芯片、建设高密度机房等。AI工作负载对 网络 在云计算阶段，云服务器主要是CPU服务器，每台服务器配置1-2颗CPU芯片即可。AI工作负载分为两 大类 — AI训练以及AI推理。人工智能训练过程将首先创建AI模型。它包括数据集合，模型选择，模型训练， 模型评估，模型部署和模型监控，涉及密集使用GPU。模型开发完成后启动推理业务，为最终用户提供业务 支持或与模型交互。因此大模型的训练基于更大规模的GPU并行计算，单服务器内部署GPU数量提升至4颗、

.....................................................................................5 图表 3 数据查找及推理分析................................................................................................. 为政务客户提供“交流能说会道、推理见微知著、创作标新立异、安全固若金汤” 的政务智能新体验。 根据发布会，目前星智政务大模型在包括武汉等几个城市落地过程中。  针对垂直政务领域，实现大模型技术体系全栈优化 基于 70+城市数字化治理实践经验针对政务垂直场景进行全栈优化。星智政 务垂直领域大模型基于政务垂直领域的特点对大模型技术体系进行全栈优化，能 够提供超大规模分布式训练、多框架高性能推理、高性价比算力资源和高效率开 星智政务垂直领域大模型具备面向政务领域内部的命名实体识别、命名实体去歧、 以及政务领域事项推理能力，同时基于 LLM 大语言模型，以数字人“小鲸”为载体， 面向“问政”与“看数”两个场景，满足（1）政务工作人员的政务大屏解读和（2） 基层民众与网格员的政务执行咨询两大方面的数据咨询需求，精准实现面向政务相 关事项的查询、推理、分析以及问答等能力的落地应用。 图表 2 星智政务大模型智慧城市政务大屏

模型的算力和功耗成比例增长，昇腾 910B 芯片 TDP 为 392 W，单台训练服务器功耗达到 5.2 kW。以 GPT-3 为例，训练所需电量达到 1 287 MW（碳排放为 502 t），每天推理需要用电50万 kWh，冷却设备所需的 水达到70万 L，对电力资源和水资源都是巨大挑战 ［9］。 c）对 GPU跨厂家协同、跨代际演进的挑战。跨厂 家 GPU 因为软件生态、底层算子不同，导致上层模型 产品，国内 GPU 的产能和生态面临巨大挑战。 1.3 存储需求和挑战 AI 大模型的训练和推理都会涉及到数据的存取。 在训练之前的数据预处理阶段，需要对海量数据进行 处理，包括格式对齐、归一化、去重、隐私保护、异常值 处理等。训练阶段涉及海量小文件的训练数据存取 和训练过程中参数文件的周期性保存；在推理阶段， 需要读取本地存储的模型参数，并对实时样本进行处 表1 算力需求和模型参数规模 其中GPU利用率一般为 30%~75% 童俊杰，申 佳，赫 罡，张 奎 运营商智算中心建设思路及方案 数据通信 Data Commuincation 69 2024/09/DTPT 理，输出推理结果。 AI大模型的训练和推理对存储带来的挑战如下。 a）对数据访问性能的挑战。一方面是大量小文 件带来的元数据访问挑战，另一方面则是海量小文件 并发快速读取、Checkpoint 周期保存参数对数据存取