的总体目标，强调要适应科技信息化发展大势，以信 息化推进应急管理现代化，提高监测预警、监管执 法、指挥决策、救援实战、社会动员等应急管理能力。 大语言模型是具有大规模参数的深度学习模 型，通过对海量文本的训练习得语言的统计规律， 从而具有理解和生成自然语言的能力，实现人机之 间的有效通信。自2018年双向编码表示模型（bidirec⁃ tional encoder representations from pre-trained transformer，GPT），人工智能领域 自然语言处理方向的重大突破，引领了大规模预训 练模型及应用研究的热潮。大语言模型技术的迅猛 进展正深刻地影响着机器系统智能化的轨迹，标志 着进入一个新的人工智能时代。从 BERT 到 GPT [1-2]， 这些模型通过深度学习和海量数据训练，不仅推动了 自然语言处理技术的边界，也正在改变知识获取和创 新的模式，将对应急管理体系发展、能力要求以及实 金（20BZZ037）, 广 东 省 哲 学 社 会 科 学 规 划 项 目 （GD24XGL075）资助 *通信作者简介 黄欢（1976— ）, 男, 湖南常德人, 硕士, 助理研究员。 基于大语言模型技术的智慧应急应用： 知识管理与应急大脑 龚 晶 1 黄 欢 2，* （1. 暨南大学 公共管理学院/应急管理学院，广州 510632；2. 暨南大学 党委政治保卫部/人民武装部，广州 510632）

从 DeepSeek 探讨大语言模型 在建筑及能源行业的应用趋势和技术方法 汇报人：赵阳 浙江大学能源学院制冷与低温研究所 2025.2.14 报 告 提 纲 临近奇点： AGI 将带来颠 覆 结论和展望 DeepSeek 等带来的新范 式 大语言模型应用的科研案例 能源领域传统 Al 发展困 境 当下 Al 到了哪种程 度 John J.Hopfield 报 告 提 纲 当下 Al 到了哪种程度 能源领域传统 AI 发展困境 … … … … DeepSeek 等带来的新范式 大语言模型应用的科研案例 · 临近奇点： AGI 将带来颠覆 结论和展望 …… 长期以来，能源领域人工智能止步于信息化阶段，发展范式陷入困境 15/80 口能源领域智能化目前大多停留在 环节是整个项目的天花板 2025 年 2 月，麻省理工学院何凯明指出： Al 正在悄然重塑全球科研生态：“过去，不同学科间的交流 像隔着一堵高墙；如今，人工智能正成为所有科学家都能听懂的通用语言 " 。 自动化 工程热物理 新能源 化工 软件 工程 人工 智能 范式困境主要原因三：周期长、链条多、人员配合难度大效率低 18/80 口需要多个 团队 深度长期协作，难度大成本高

打造自适应 AI 运维智慧体： 大语言模型在软件日志运维的实践 刘逸伦 华为 2012 实验室 本科毕业于南开大学 ，硕士毕业于美国佐治亚理工学院。研究方向包括 AI 智能运维 ，大模型质量评估以及大模型提示策略 ，在相关领域以第一作者、 通讯作者身份在 ICDE 、 ICSE 、 IWQoS 等顶级国际会议 / 期刊发表 10 余篇 论文。 刘逸伦 华为 2012 文本机器翻译实验室工程 日志是机器语言：大规模网络、软件系统在运行过程中每天会产生 PB 级别的日志，这些日志是一些类自然语言的文本，实时描述了设备 的运行状态、异常情况。 (2) 传统网络运维是机器语言的人工翻译过程：为了维护网络的稳定，运维人员会持续监控设备的运行状态，希望准确、及时地检测异常和 突发事件。网络日志是设备运行维护最重要的数据源，运维人员通常会通过解读日志中的自然语言、语义信息来发现问题、分析根因。 分析根因。 (3) 自动日志分析是机器语言的自动翻译过程： 日志文本种类繁多、数量庞大，且多数日志为非结构化文本，无法通过人工方式监控和检测 全部的日志。更重要的是，分析设备日志需要丰富的领域知识，耗时耗力；简单的规则配置也无法理解文本的语义信息。 化⽂本 类 自 然 语 ⾔ 半 结 构 观点 1 ：软件日志运维是从机器语言向自然语言的 转化 转化 表：一些网络基础设施

请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 | 2023年05月31日 超 配 电子 AI+系列专题报告 边缘 AI：大语言模型的终端部署，推动新一轮终端需求 核心观点 行业研究·行业专题 电子 超配·维持评级 证券分析师：胡剑 证券分析师：胡慧 021-60893306 021-60871321 hujian1@guosen.com.cn huhui2@guosen 特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各 领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似 推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前 大语言模型参数均在十亿量级以上。同时，Deepmind 研究表明，模型参数的 上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此，大模型 参数在十亿级以上发展并受限于优质数据集的增速是 AI 发展的必然趋势。 8GHz 的占比 36%，价格在 1000 美金以上的占比 13%，即旗舰机型占比较低，随着 AI 大模 型在边缘端落地，有望推动新一轮换机潮。 以大语言模型为核心，以语言为接口，控制多 AI 模型系统，构建“贾维斯” 式智能管家。我们认为大语言模型不仅可以实现对话、创意，未来也有望作 为众多复杂 AI 模型的控制中心，同时也是接受用户指令的交互窗口，实现 《钢铁侠》电影中“贾维斯”式综合智能管家。23

然后, 对不同具身智能系统架构进行介绍, 并总结了目前具身智能模型的数据来源, 包括 模拟器、模仿学习以及视频学习; 最后, 对基于大语言模型 (Large language model, LLM) 的具身智能系统面临的挑战与发 展方向进行讨论与总结. 关键词 大语言模型, 大型视觉模型, 基础模型, 具身智能, 机器人 引用格式 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春. 基于大模型的具身智能系统综述 intelligence, AI) 技术提高具身智能的表 现则成为学界与产业界的关注重点. 最近的研究表 明, 通过扩大语言模型的规模, 可以显著提高其在 少样本学习任务上的表现, 以 GPT-3 (Generative pre-trained transformer 3)[4] 为代表的大语言模型 (Large language model, LLM) 在没有进行任何参 收稿日期 2024-08-01 仅通过文本交互来指定任 务和少样本示例就能很好地完成各类任务. 在此之 后, 具有优秀泛化能力与丰富常识的基础模型在计 算机视觉、自然语言处理等领域都展现出令人瞩目 的效果. GPT-4[5]、LLaMA[6]、LLaMA2[7]、Gemini[8]、 Gemini1.5[9] 等大语言模型能与人类进行流畅的对 话, 进行推理任务, 甚至进行诗歌和故事的创作; BLIP (Bootstrapping language-image

游：带 AI 功能手机销量涨 120% 。 2 、提振算力产业链：助力国产算力成 长 一、算力产业链：让国产算力 “能用、好用 ” 1. 语言模型概述 2. Transformer 结构 3. 语言模型构建流 程 二、 大语言模型技术原理 数据是用于训练 AI 的，也就是 AI 算法通过大量的数据去学习 AI 中算法的参数与配置， 使得 AI 的预测结果与实际的情况越吻合 千亿上万亿。 人工智能核心要素 语言是人类与其他动物最重要的 区别之一 逻辑思维以语言的形式表达 知识以文字的形式记录和传 播 如果人工智能想要获取知识 ，就必须懂得理解人类使用的不太精确、可能有歧义、 混乱的语言。 1 、语言模型概 述 语言模型（ Language Model ， LM ） 目标是建模自然语言的概率分 布 词汇表 V 上的语言模型由函数 P(w1w2.. wm 看作一个变量 ，那么它具有 |V|m 种可能。 按照《现代汉语词典（第七版）》包含 7 万词条，句子长度按照 20 个词计算，模型参数量达到 7.9792* 1096 的天文数字。 1 、语言模型概 述 由此， w1w2...wm 的生成过程可以看作单词逐个生成的过程。首先生成 w1 ，之后 根 据 w1 生成 w2 ，再根据 w1 和 w2 生成 w3 ， 以此类推，根据前 m −

更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用 。 这 意味着一次训练就可以将模 型应 用于多种任务，无需重新 训练 语言生成能力 大模型可以生成更自然 、更流 利 的语言，减少了生成输出时 呈现 的错误或令人困惑的问题 3.1 大模型的概 念 3.2 大模型的发展历 程 大模型发展历经三个阶段 ，分别是萌芽期、 沉淀期和爆发 期 3 ） ，预训练大模型包含了预训练大语言模型（可以简称为“大语言模 型”） ，预训练大语言模型的典型代表包括 OpenAI 的 GPT 和百度的文心 ERNIE ， ChatGPT 是基于 GPT 开发的大模型 产品， 文心一言是基于文心 ERNIE 开发的大模型产品 人工智能 机器学习 深度学习 预训练大模型 预训练 大语言模型 预训练大语言模型 GPT 文 心 ERNIE 深度学习模型 预训练模型 文心一言 ChatGPT 语言大模型 是 指 在 自 然 语 言 处 理 （ Nat u ral La ng uage Processing ， NLP ）领域中的一类大 模型， 通常 用于处理文本数据和理解自然语言 。 这类大模型 的主要特点是它们在大规模语料库上 进行了训练， 以学习自然语言的各种语法 、语义和语境规则 。 代表性产品包括 GPT

大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测。这使得它 们在解决复杂问题和应对新的场 景时表现更加出色 学习能力强 大模型可以生成更自然、更流利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 语言生成能力 学习到的知识和能力可以在不同 的任务和领域中迁移和应用。这 意味着一次训练就可以将模型应 用于多种任务，无需重新训练 可迁移性高 1.2 大模型的发展历程 ，预训练大模型包含了预训练大语言模型（可以简称为“大语言模 型”），预训练大语言模型的典型代表包括OpenAI的GPT和百度的文心ERNIE，ChatGPT是基于GPT开发的大模型产品， 文心一言是基于文心ERNIE开发的大模型产品 人工智能 机器学习 深度学习 深度学习模型 预训练模型 深度学习 预训练大模型 预训练 大语言模型 预训练大语言模型 GPT 文心ERNIE 文心ERNIE ... ChatGPT 文心一言 1.4 大模型的分类 语言大模型 视觉大模型 多模态大模型 是指在自然语言处理（Natural Language Processing，NLP）领域中的一类大模型，通常 用于处理文本数据和理解自然语言。这类大模型 的主要特点是它们在大规模语料库上进行了训练， 以学习自然语言的各种语法、语义和语境规则。 代表性产品包括GPT系列（OpenAI）、Bard

智能（Intelligence）：以模型为核心，是对真实世界的模拟和解释 人类智能 • 抽象（语言）：概念，数字，理念 • 逻辑（理性）：归纳，演绎，类比 • 计算（模型）：科学方法 • 基于观测经验，发现规律 • MIT：一切问题都是模型问题 • 模型：一个映射，一个函数 科学范式 • 用语言逻辑方法获取理论模型：模糊 • 用解析数学方法获取数学模型：精确 • 用计算数学方法获取数据模型：近似 Diffusion、transformer ◼ 从NLU+NLG到LLM（大语言模型） 1. 语言逻辑和数据集蕴含了人类的认知智能 2. LLM是人类的认知智能的实现方式之一 3. LLM的原理很简单；工程很复杂；效果很神奇 01 对AI技术的认知：大模型的能力边界 用人工神经网络获取网络模型：深度学习-Transformer模型-大语言模型 大语言模型的核心原理：数据化-语义化-NTP（Next Token Token Prediction） 大语言模型的三层能力：语言能力-知识能力-推理能力 1. 语言能力：一本正经地说话，语言顺畅，GPT时达到 • NLG+NLU：语言理解、语言表达（包括温度和情商） • 人类语言、代码语言、XX语言 2. 知识能力：海量公开知识，言之有物，GPT-2时达到 • 顺带学习（基座模型）：文字中蕴含了知识 • 压缩：幻觉 • 遗忘：微调（迁移学习），尤其是RLHF

DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero的关键启示 ➢ 传统RLHF背景下，SFT通常被认为是不可或缺的一步，其逻辑先用大量人工标注的数据来让模型 初步掌握某种能力（如对话或者语言风格），然后再用RL来进一步优化性能 ➢ DeepSeek-R1 系列跳过对于大规模人工标注数据的依赖 ➢ 无需构建和维护高质量的SFT数据集，而是让模型直接在RL环境中进行探索 ➢ 类比：初 languagemodels.co/p/the-illustrated-deepseek-r1 15 DeepSeek-R1 技术 Pipeline 总览 ➢ DeepSeek-R1 Zero 的问题：长推理过程可读性差、语言混合，帮助性低 ➢ Research Questions: ➢ 能否在Zero基础上兼顾推理性能的同时，提升模型的帮助性和安全性？例如产生 Clear & Coherent CoT 并且展现出通用能力的模型