英特尔携手合作伙伴探索基于语音识别的智能教学辅 助能力 • 语音识别等人工智能技术在智慧教育场景中的应用 • 基于语音识别能力构建教学辅助能力 • 扩展 OpenVINO ™ 工具套件自定义层，提升语音识别推理 效率 基于英特尔优化方案的应用案例 • 思必驰：与英特尔携手打造精准、高效的语音识别应用， 加速智慧教育前行步伐 打造高效人工智能教学与实训解决方案 英特尔携手合作伙伴持续探索人工智能教学场景建设 基于英特尔优化方案的应用案例 • 联合伟世：“云 - 边 - 端” 协同，采用先进硬件与创新理念 打造高效人工智能教学实训平台 • 五舟科技：高性能硬件助力打造高校人工智能教学平台 优化方案设计、提升推理性能，助力智能课堂行 为分析 英特尔与合作伙伴共同探索课堂行为分析在智慧教育 场景中的应用 • 人工智能行为分析解决方案开发及挑战 • 面向教育场景的行为分析方案设计 • 针对行为分析的英特尔产品优化方案 IT 基础设施也面临着严峻挑战。如图 1-1-3 所示， 这些挑战包括： • 人工智能应用对算力的高要求：与学校已有的校园网、电子 白板、平板电脑等信息化设备相比，人工智能应用因其数据 量大、推理要求高、计算负载密集等特点，要求学校信息化 系统具有更高的算力。 • 人工智能应用如何与教学环节无缝对接：与教学环节的紧密 结合，使人工智能应用有别于传统多媒体课件等校园信息化 应用，尤其是

GPT3/4在深度推理和问题解决⽅⾯有所⽋缺，OpenAI-o1通过思维链（ChainvofvThought）增强推理能⼒，将复杂问题分 解成更⼩、更易处理的步骤；⽽DeepSeek R1在展现卓越推理能⼒同时，训练和推理成本极低 BERT BERT在文本分类、命名实体识别等 语言理解任务表现出色。也是医疗AI 小模型年代主要技术路线 “大数据、小算力、专用决策” GPT 为内容创造和自动推理开辟可能性 为内容创造和自动推理开辟可能性 “大数据、大算力、通用模式” 基于DS-v3构建推理模 型，通过强化学习提升推 理能力，且训练成本极低 AI技术演变路线 5 理解Chatgpt,J⼀个AI领域的“⼯程奇迹” Chatbot： ⽂本交互式应⽤ Gpt3： 预训练⼤模型 Prompt engineering 提⽰词⼯程 RLHF 强化学习 Nvidia A100（A800） ⾼性能卡 SFT 监督微调 RDMA 语⾔模型，拥有6710亿参数（激活参数370亿）。作为通⽤⼤语⾔模 型，其在在知识类任务（知识问答、内容⽣成等）领域表现出⾊ • DeepSeek-R1 是基于 DeepSeek-V3-Base 训练⽣成的强化推理能⼒模型，在 数学、代码⽣成和逻辑推断等复杂推理任务上表现优异 更低的研发成本* 更⾼效资源利⽤ $5.5M%vs.%OpenAI’s%$100M+ 使⽤~2,000%GPUs,%竞品使⽤% 10,000+%GPUs

智能要在碳达峰目标的约束下追赶美国，算力与电力问题需要重估。 算力需求增长、能耗及排放增加的速度，始终快于算力效率、功耗效率、排放 效率提升的速度，这是导致用电量会持续增长的根本原因。生成式 AI 在内容生 成与推理方面，创造出越来越有价值的应用，而这些应用的算力、能耗与排放 的密集度也迅速上升。 来自不同行业和专业背景的机构，对智能算力的电力消费进行了为数众多的研 究，基本逻辑大同小异：先根据芯片等硬件的算力与功率，估算出数据中心的 的预期并不一致，而中国面临的首要问题是如何克服芯片能效提升的瓶颈。 第一章： 来源：Hugging Face，未尽研究，环球零碳 说明：对数轴。每进行 1000 次查寻，完成每种推理任务平均消耗的电能。 不同推理任务的用电量 10 1 0.1 0.01 0.001 2.907 图像生成 图像描述 生成 摘要生成 文本生成 对象检测 图像分类 标记分类 掩码语言 建模 提取式 户预算的 增长能否赶得上前两者的增长，以及电力电网建设的增长赶不赶得上前三者的 增长。不少年初的研究低估了去年英伟达 GPU 的出货量。此外，其中算力需求 的增长，既包括训练需求的增长，也包括推理需求的增长，两者都存在较高不 确定性。 因此，部分报告假定了不同的 AI 算力增长情景，也产生了不同的用电增长估算 结果。高盛认为届时美国 AI 用电占比约 20%，semianalysis 则认为可能超过

智能要在碳达峰目标的约束下追赶美国，算力与电力问题需要重估。 算力需求增长、能耗及排放增加的速度，始终快于算力效率、功耗效率、排放 效率提升的速度，这是导致用电量会持续增长的根本原因。生成式 AI 在内容生 成与推理方面，创造出越来越有价值的应用，而这些应用的算力、能耗与排放 的密集度也迅速上升。 来自不同行业和专业背景的机构，对智能算力的电力消费进行了为数众多的研 究，基本逻辑大同小异：先根据芯片等硬件的算力与功率，估算出数据中心的 服芯片能效提升的瓶颈。 第一章： AI 改变能源 智算如何引领新型电力系统 来源：Hugging Face，未尽研究，环球零碳 说明：对数轴。每进行 1000 次查寻，完成每种推理任务平均消耗的电能。 不同推理任务的用电量 10 1 0.1 0.01 0.001 2.907 图像生成 图像描述 生成 摘要生成 文本生成 对象检测 图像分类 标记分类 掩码语言 建模 提取式 问答 户预算的 增长能否赶得上前两者的增长，以及电力电网建设的增长赶不赶得上前三者的 增长。不少年初的研究低估了去年英伟达 GPU 的出货量。此外，其中算力需求 的增长，既包括训练需求的增长，也包括推理需求的增长，两者都存在较高不 确定性。 因此，部分报告假定了不同的 AI 算力增长情景，也产生了不同的用电增长估算 结果。高盛认为届时美国 AI 用电占比约 20%，semianalysis 则认为可能超过

DeepSeek coder 发布 LLM 发布聊天版本 2023 年 8 月 2024 年 5 月 DeepSeek R1-Lite- Preview 发布 宣称在逻辑推理、数学推理和实 时 问题 解决 等任 务上 超越 OpenAI O1 ，但《华尔街日报》测试发现 OpenAI O1 在部分问题上更快。 12.26 DeepSeek 年 11 月 2023 年 5 月 2025.1.20 低成本完美对标 OpenAIO1 ，突破精确语义理解及复杂推理任务 数学 + 编程领域大幅领先， DeepSeek-V3 训练成本不足 Meta/OpenAI 的 10% ， DeepSeek-R1 推理成本仅为 OpenAI o1 的 3% ，成为开源模型 SOTA 。 低成本 自我验证机制： AI 的 " 错题本系 统 " • 混合专家模型的 " 智能路由器“ • 多头潜在注意力 MLA ：空间压缩 术 • 训练框架加速： 16 到 3 的量化压 缩， 通信降低 89% • 推理加速：预加载，动态批处理 等 • 模型、数据、工具链、部署全开 源 • 蒸馏技术使能第三方模型性能 DeepSeek 大模型解读： 通过系统优化实现极致性能， 完全开源 + 免费商用，挑战 A 国

2.1 模型压缩与量化..........................................................................103 6.2.2 分布式推理优化..........................................................................107 7. 业务逻辑集成......... 和大模型解析合同文档，将处理速度从小时级缩短至分钟 级 - 动态知识更新：建立可实时更新的金融知识图谱，确保政策变动 和产品条款变更能在 1 小时内同步至所有终端 - 合规性保障：在模型推理层嵌入监管规则校验模块，确保所有输 出符合《商业银行法》和巴塞尔协议 III 要求 某股份制银行的实践表明，接入大模型后其信用卡审批流程从 72 小时缩短至 8 分钟，同时通过动态调整授信额度模型，坏账率下 18%。这些案例印证了智能化转型不仅是技术升级，更是银行业 重塑竞争力的战略选择。 1.2 DeepSeek 大模型在金融领域的应用潜力 随着金融行业数字化转型的加速，DeepSeek 大模型凭借其强 大的自然语言处理、知识推理和多模态分析能力，为银行业务智能 化升级提供了突破性技术支撑。该模型在金融领域的应用潜力主要 体现在三个维度：首先，其千亿级参数规模与金融知识库的深度融 合，可实现对复杂金融术语、监管政策及市场动态的精准解析，例

.....................................................................................5 图表 3 数据查找及推理分析................................................................................................. 为政务客户提供“交流能说会道、推理见微知著、创作标新立异、安全固若金汤” 的政务智能新体验。 根据发布会，目前星智政务大模型在包括武汉等几个城市落地过程中。  针对垂直政务领域，实现大模型技术体系全栈优化 基于 70+城市数字化治理实践经验针对政务垂直场景进行全栈优化。星智政 务垂直领域大模型基于政务垂直领域的特点对大模型技术体系进行全栈优化，能 够提供超大规模分布式训练、多框架高性能推理、高性价比算力资源和高效率开 星智政务垂直领域大模型具备面向政务领域内部的命名实体识别、命名实体去歧、 以及政务领域事项推理能力，同时基于 LLM 大语言模型，以数字人“小鲸”为载体， 面向“问政”与“看数”两个场景，满足（1）政务工作人员的政务大屏解读和（2） 基层民众与网格员的政务执行咨询两大方面的数据咨询需求，精准实现面向政务相 关事项的查询、推理、分析以及问答等能力的落地应用。 图表 2 星智政务大模型智慧城市政务大屏

DeepSeek 带来 AI 行业变革，但对电力行业仍有三个不变的影响 DeepSeek R1 开源模型于 1 月 20 日发布，在更低的成本下实现和 OpenAI o1 相当的数学、代码、自然语言推理能力，不仅推动国内 AI 产业对海外的 快速追赶，也为 AI 相关行业带来较大变化。我们认为 DeepSeek 带来 AI 行业三个变化：成本变革，训练成本和 Token 调用价格不到海外模型的 30%； 相比美国，中国虽然互联网大厂在过去 2 年资本开支有 12%的复合增长，但 仅为美国同行增速的不到三分之二、总量的不到十分之一。根据 IDC 预测 2025-27 年国内人工智能服务器工作负载中超过 70%将用于推理，仅不到 30%为训练，因此即使 DeepSeek 大幅下降训练算力，对国内冲击相对较小。 根据信通院，截止 2022 年末中国算力规模 302EFlops，结合主要云厂资本开 支和芯片出货预测，我们预计 .................................................................................. 8 图表 7： 国内数据中心推理卡和训练卡参数一览..........................................................................................

推广该模型的使用； 至于 微软将其集成到现有的软件产品和服务中去以增强用户体验。 1 、 三大科技巨头同日接入 DeepSeek 2 月 1 日：中国电信“息壤 ”平台接入，华为昇腾云服务部署推理服务。 2 月 3 日： 中国联通“星罗 ”平台集成，覆盖 270+ 骨干云池。 2 月 5 日： 中国移动适配全版本模型，火山引擎支持多尺寸部署 1 、 中国基础电信运营商接入 DeepSeek 样例数据 模型规模 显存需求（推理） 显存需求（训练） 推荐 GPU 数量 量化技术支持 7B 10-16GB 24-32GB 1-2 FP16/INT8 13B 20-24GB 48-64GB 2-4 FP16/INT4 32B+ 40GB+ 80GB+ 4+ FP8/QLoRA 部署 DeepSeek 大模型时，算力配置需根据模型规模（参数量） 、应用场 景 （推理 / 训练） 、并发需求及性能目标综合规划。 80GB / H100 80GB 大显存 、 高带宽， 支持 NVLink 多卡互 联 （推荐训练场景） RTX 4090 24GB / RTX 6000 Ada 48GB 性价比选择（适合中小规模推理 / 微调） CPU AMD EPYC 7xx3 / Intel Xeon Scalable 多核（ 64+ 核心） 支持 PCIe 5.0 ， 保障 数 据预处理与多 GPU 通信 内存 显存容量

级分级， AI 已不仅仅是能进行对话的聊天机器人（ L1 ），而是逐步进化到智能体 （ L3 ）阶 段——一个能思考、并能主动采取行动的 AI 系统。 强大算力保障大模型训练与推理的可持续性 能源供给保障大模型训练与推理的可持续性 HuggingFace 等平台提供开放、可扩展的 环境，支持灵活的 AI Agent 的开发 基准测试、评估框架的可用性以及与实际工 具的集成支持 AI jazzyear.com 生态系统成熟度 产业生态与应用场景 L4 创新者 能协助发明创造的 AI L2 推理者 像人类一样能够解决问题的 AI L5 组织者 可以完成组织工作的 AI 能源供给 开源模型和社区合作 LLM 是 AI Agent 的“大脑”， 近半年在推理侧实现大幅进步 AI Agent 大规模语言模型（ LLMs ） GPU 算力供 给 3 02 学术 & 咨询界 BC 心 am 数据来源：公开资料、甲子光年智库总结整理 www.jazzyear.com 7 名称 Chatbot Copilot Agent 对话能力 ★ ★ ★ 推理能力 ★ ★ ★ 记忆能力 （特指长记忆能力） ★ ★ 工具能力 ★ 规划能力 ★ 行动能力 ★ 含义 人类完成绝大部分工作， 类似向 AI 询问意见，了解 信息， AI