从 DeepSeek 探讨大语言模型 在建筑及能源行业的应用趋势和技术方法 汇报人：赵阳 浙江大学能源学院制冷与低温研究所 2025.2.14 报 告 提 纲 临近奇点： AGI 将带来颠 覆 结论和展望 DeepSeek 等带来的新范 式 大语言模型应用的科研案例 能源领域传统 Al 发展困 境 当下 Al 到了哪种程 度 John J.Hopfield 报 告 提 纲 当下 Al 到了哪种程度 能源领域传统 AI 发展困境 … … … … DeepSeek 等带来的新范式 大语言模型应用的科研案例 · 临近奇点： AGI 将带来颠覆 结论和展望 …… 长期以来，能源领域人工智能止步于信息化阶段，发展范式陷入困境 15/80 口能源领域智能化目前大多停留在 环节是整个项目的天花板 2025 年 2 月，麻省理工学院何凯明指出： Al 正在悄然重塑全球科研生态：“过去，不同学科间的交流 像隔着一堵高墙；如今，人工智能正成为所有科学家都能听懂的通用语言 " 。 自动化 工程热物理 新能源 化工 软件 工程 人工 智能 范式困境主要原因三：周期长、链条多、人员配合难度大效率低 18/80 口需要多个 团队 深度长期协作，难度大成本高

打造自适应 AI 运维智慧体： 大语言模型在软件日志运维的实践 刘逸伦 华为 2012 实验室 本科毕业于南开大学 ，硕士毕业于美国佐治亚理工学院。研究方向包括 AI 智能运维 ，大模型质量评估以及大模型提示策略 ，在相关领域以第一作者、 通讯作者身份在 ICDE 、 ICSE 、 IWQoS 等顶级国际会议 / 期刊发表 10 余篇 论文。 刘逸伦 华为 2012 文本机器翻译实验室工程 日志是机器语言：大规模网络、软件系统在运行过程中每天会产生 PB 级别的日志，这些日志是一些类自然语言的文本，实时描述了设备 的运行状态、异常情况。 (2) 传统网络运维是机器语言的人工翻译过程：为了维护网络的稳定，运维人员会持续监控设备的运行状态，希望准确、及时地检测异常和 突发事件。网络日志是设备运行维护最重要的数据源，运维人员通常会通过解读日志中的自然语言、语义信息来发现问题、分析根因。 分析根因。 (3) 自动日志分析是机器语言的自动翻译过程： 日志文本种类繁多、数量庞大，且多数日志为非结构化文本，无法通过人工方式监控和检测 全部的日志。更重要的是，分析设备日志需要丰富的领域知识，耗时耗力；简单的规则配置也无法理解文本的语义信息。 化⽂本 类 自 然 语 ⾔ 半 结 构 观点 1 ：软件日志运维是从机器语言向自然语言的 转化 转化 表：一些网络基础设施

游：带 AI 功能手机销量涨 120% 。 2 、提振算力产业链：助力国产算力成 长 一、算力产业链：让国产算力 “能用、好用 ” 1. 语言模型概述 2. Transformer 结构 3. 语言模型构建流 程 二、 大语言模型技术原理 数据是用于训练 AI 的，也就是 AI 算法通过大量的数据去学习 AI 中算法的参数与配置， 使得 AI 的预测结果与实际的情况越吻合 千亿上万亿。 人工智能核心要素 语言是人类与其他动物最重要的 区别之一 逻辑思维以语言的形式表达 知识以文字的形式记录和传 播 如果人工智能想要获取知识 ，就必须懂得理解人类使用的不太精确、可能有歧义、 混乱的语言。 1 、语言模型概 述 语言模型（ Language Model ， LM ） 目标是建模自然语言的概率分 布 词汇表 V 上的语言模型由函数 P(w1w2.. wm 看作一个变量 ，那么它具有 |V|m 种可能。 按照《现代汉语词典（第七版）》包含 7 万词条，句子长度按照 20 个词计算，模型参数量达到 7.9792* 1096 的天文数字。 1 、语言模型概 述 由此， w1w2...wm 的生成过程可以看作单词逐个生成的过程。首先生成 w1 ，之后 根 据 w1 生成 w2 ，再根据 w1 和 w2 生成 w3 ， 以此类推，根据前 m −

更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用 。 这 意味着一次训练就可以将模 型应 用于多种任务，无需重新 训练 语言生成能力 大模型可以生成更自然 、更流 利 的语言，减少了生成输出时 呈现 的错误或令人困惑的问题 3.1 大模型的概 念 3.2 大模型的发展历 程 大模型发展历经三个阶段 ，分别是萌芽期、 沉淀期和爆发 期 3 ） ，预训练大模型包含了预训练大语言模型（可以简称为“大语言模 型”） ，预训练大语言模型的典型代表包括 OpenAI 的 GPT 和百度的文心 ERNIE ， ChatGPT 是基于 GPT 开发的大模型 产品， 文心一言是基于文心 ERNIE 开发的大模型产品 人工智能 机器学习 深度学习 预训练大模型 预训练 大语言模型 预训练大语言模型 GPT 文 心 ERNIE 深度学习模型 预训练模型 文心一言 ChatGPT 语言大模型 是 指 在 自 然 语 言 处 理 （ Nat u ral La ng uage Processing ， NLP ）领域中的一类大 模型， 通常 用于处理文本数据和理解自然语言 。 这类大模型 的主要特点是它们在大规模语料库上 进行了训练， 以学习自然语言的各种语法 、语义和语境规则 。 代表性产品包括 GPT

）：以模型为核心，是对真实世界的模拟和解释 • 用语言逻辑方法获取理论模型：模糊 • 用解析数学方法获取数学模型：精确 • 用计算数学方法获取数据模型：近似 • 用机器学习方法获取概率模型：复杂 • 用人工神经网络获取网络模型：黑盒 • 超过两层的神经网络可以逼近任意连续函数 人类智能 • 抽象（语言）：概念，数字，理 念 • 逻辑（理性）：归纳，演绎，类 专用任务模型： NLP 、 CV 、 Gaming…… 2. 通用任务模型： AIGC • Diffusion 、 transformer ◼ 从 NLU+NLG 到 LLM （大语言模型） 1. 语言逻辑和数据集蕴含了人类的认知智能 2. LLM 是人类的认知智能的实现方式之一 3. LLM 的原理很简单；工程很复杂；效果很神奇 3. 推理能力（涌现）：一般需要 10B 以上， 时刻）：表现是慢思考；本质是合成数 据 有些是产品能力，不是模型本身的能力： RAG Function Call 1. 语言能力： 一本正经地说话，语言顺畅， GPT 时达 到 • NLG+NLU ：语言理解、语言表达（包括温度和情商） • 人类语言、代码语言、 XX 语言 2. 知识能力：海量公开知识，言之有物， GPT-2 时达 到 • 顺带学习（基座模型）：文字中蕴含了知识

更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用 。 这 意味着一次训练就可以将模 型应 用于多种任务，无需重新 训练 语言生成能力 大模型可以生成更自然 、更流 利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 1.1 大模型的概 念 1.2 大模型的发展历 程 大模型发展历经三个阶段 ，分别是萌芽期、 沉淀期和爆发 期 1 练模型包含了预训练大模型（可以简称为“大模型”） ，预训练大模型包含了预训练大语言模型（可以简称为“大语言模 型”） ，预训练大语言模型的典型代表包括 OpenAI 的 GPT 和百度的文心 ERNIE ， ChatGPT 是基于 GPT 开发的大模型产 品， 预训练大模型 预训练 大语言模型 预训练大语言模型 GPT 文 心 ERNIE 1.3 人工智能与大模型的关 系 深度学习模型 文心一言是基于文心 ERNIE 开发的大模型产 品 语言大模型 是 指 在 自 然 语 言 处 理 （ Nat u ral La ng uage Processing ， NLP ）领域中的一类大 模型， 通常 用于处理文本数据和理解自然语言 。 这类大模型 的主要特点是它们在大规模语料库上 进行了训练， 以学习自然语言的各种语法 、语义 和语境规则 。 代表性产品包括

Big-data Driven ，模型基于大规模语料训练而成； Multi-tasks Adaptive ，支持多种任务 ，包括自然 语言生成 NLG 和自然语言理解 NLU 类的任务； AI 大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模 型 产业研究 战略规划 技术咨询 2 Few-shot (Zero-shot) ，在少甚至无标注样本的 条件下支持推理（自监督学习）。 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 提出 Transformer 框架在机器翻译中取得显著进步 ，其分布式学习和强大编码能力受到广泛关注。 2018 年 Google 和 OpenAI 基于 Transformer 提出了预训练语言模型 BERT 和 GPT ，显著提高了 NLP 任务的性能 ，并展示出广泛的通 用性。 众多预训练模型相继涌现， OpenAI 以 GPT2 、 GPT-3 、 ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮

机器人编程，就是针对机器人为完成某项作业进行程序设计。 工业机器人编程是机器人技术的一个重要方面，它是与机器人所采 用的控制系统相一致的。为了用简单的方法描述作业、操控机器人， 机器人的语言应运而生。在本节中，主要详细介绍示教编程。 本 节 导 入 1 、示教编程 图 6-1 示教再现式机器人控制系统工作原理 示教盒 记忆装置 伺服放大 示教部分 再现部分 公共部分 工作装置 难以与其他操作同步 很难规划复杂的运动轨迹 以及准确的直线运动 难以与传感信息相配合 机器人语言编程是指采用专用的机器人语言来描述机器人的动作 轨迹。机器人语言编程实现了计算机编程，它具有良好的通用性，同 一种机器人语言可用于不同类型的机器人。此外，机器人编程语言可 解决多台机器人之间协调工作的问题。 2 、机器人语言编程 离线编程是在专门的软件环境支持下，用专用或通用程序在离线 情况下进行机器 两种情况 机器人语言提供一种通用的人与机器人之间的通信手段。它是一 种专用语言，用符号述机器人的运动，与常用的计算机编程语言相似。 1 、工业机器人语言的发展概况 1975 年 IBM 公司研制出 ML 语言 随后又研制出 AUTOPASS 语言 1974 年 在 WAVE 语言的基础上开 发了 AL 语言 1973 年 美国斯坦福大学开发了第一种 机器人语言—— WAVE

DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 陈博远 北京大学 2022 级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 北大对齐小组 DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 DeepSeek-R1 Zero 及 R1 技术剖析 RL 驱动下自然涌现 Long-CoT 能力 传统 RLHF 背景下， SFT 通常被认为是不可或缺的一步，其逻辑先用大量人工标注的数据来让 模型 初步掌握某种能力（如对话或者语言风格），然后再用 RL 来进一步优化性能 DeepSeek-R1 系列跳过对于大规模人工标注数据的依赖 无需构建和维护高质量的 SFT 数据集，而是让模型直接在 RL 环境中进行探索 https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1 DeepSeek-R1 Zero 的问题： 长推理过程可读性差、语言混合，帮助性低 Research Questions: 能否在 Zero 基础上兼顾推理性能的同时，提升模型的帮助性和安全性？例如产生 Clear & Coherent CoT

提出“智能”的行为主义定义，即通过外在表现而非内在机制判 断 智能。 2. 技术目标： 1. 为早期人工智能研究提供了明确方向，例如自然语言处理和对话 系统的开发。 2. 启发了后来的聊天机器人 ( 如 ELIZA,ChatGPT) 和语言模型的 发 展。 一、人工智能发展简史了解 CDC 疾控 人 1.2 人工智能的诞生 人工智能的诞生可以追溯到 20 世纪 50 年代 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用。这 意味着一次训练就可以将模型应 用于多种任务，无需重新训练 二、大模型：人工智能的前沿 语言生成能力 大模型可以生成更自然、更流利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 2.2 大模型的发展历程 萌芽期：模型小 ( 参数 <1 亿 ) 、任务单一、依赖人工设计规则。 突破期：标志事件是 可以更准确地解决难题，具有更广泛的常识和解决问题的能力。 2023 年 12 月，谷歌发布大模型 Gemini, 它可以同时识别文本、图像、音频、视频和代码五种类型信息，还可以 理解 并生成主流编程语言 ( 如 Python 、 Java 、 C++) 的高质量代码，并拥有全面的安全性评估。 2024 年 12 月， DeepSeek 迅速崛起，震撼全球，使得人工智能进入“普惠”时代