习等方面介绍具身智能训练的数据来源, 探讨大模 型如何为机器人训练带来丰富的数据; 最后在第 5 节对全文进行总结并提出研究方向. 1 感知与理解 在与环境的交互中, 具身智能通过摄像头、麦 克风等传感器接受原始数据, 并解析数据信息, 形 成对环境的认知. 在处理此类信息时, 大模型有着 强大的优势, 能有效处理整合多模态的输入数据, 捕获各模态之间的关系, 提取为统一的高维特征, 形成对世界的理解 其中感知的信息来源于环境与 人类用户. 1.1 多模态模型理解 多模态模型, 尤其是多模态大模型 (Large multi- modal model, LMM) 具有理解图像、场景文本、图 表、文档, 以及多语言、多模态理解的强大能力[29], 可 以直接用于具身智能对环境的理解, 并通过提示词 使之输出结构化内容如控制代码、任务分解等指令. 2 自 动 化 HumanPlus[39], GELLO[40], GC-DA[41] MineDojo[31], VRB[32], Baker 等[33], RoboCLIP[34], Seo 等[35], Han 等[36] 图 1 基于大模型的具身智能工作概览 Fig. 1 Overview of embodied intelligence work based on large models 1 期 王文晟等:

行 融合，形成完整的三维点云模型。 点云生成后，采用三维重建技术将其转换为可视化的三维模 型。常用的重建技术包括表面重构、高度图生成等，这需要根据具 体的应用需求选择合适的算法。例如，对于结构物的建模，可能更 侧重于表面重构，而对于地形的建模，则可采用高度图生成策略。 通过实景三维建模技术呈现出的模型具有以下特点：  高精度：通过激光雷达技术，模型的精度可达到厘米级。  高效性 力，能够有效处理复杂的时空数据，适应不同场景下的任务需求。 在本方案中，我们将结合铁路沿线的特定需求，探讨深度学习模型 的具体应用，以及其在实际操作中的实现方式。 首先，要确定深度学习模型的主要任务，这些任务通常包括图 像识别、目标检测、语音识别以及视频分析等。针对铁路沿线三维 环境数据，我们特别关注以下几个方面的应用： 1. 图像与视频分析：通过卷积神经网络（CNN）对铁路监控视 频进行实时分析，有效识别铁路沿线的设备和障碍物，确保安 等。标准化则是将数据处理到一个统一的尺度上，常见的标准化方 法有 Z-score 标准化和 Min-Max 缩放，这将确保不同特征在建模 时具有相同的重要性。 为了具体说明数据清洗与预处理的流程，可以使用以下的流程 图展示各个步骤之间的关系： 数据清洗与预处理的每一步都应细致执行，最终目的是为构建 一个准确、可靠的三维 AI 模型提供高质量的数据基础。执行这些 清洗与处理操作时，可以借助一些数据处理工具和框架，如

的元年。 ChatGPT的问世，如同一颗石子投入平静的湖面，激起了全球科技领域的滔天巨浪。它不 仅深刻改变了人机交互的方式，更预示着一个由大模型引领的智能新时代的到来。比尔· 盖茨的赞誉、马斯克的断言以及马化腾的深刻洞察，都从不同角度揭示了大模型技术对于 人类社会发展的深远影响。而国家网信办等七部门联合发布的《生成式人工智能服务管理 暂行办法》，则为中国大模型技术的健康发展提供了坚实的政策保障和合规框架。 TABLE OF CONTENTS 图目录 大模型产业图谱· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 9 图1 保险业大模型应用成效初现· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 22 图2 国内人工智能政策· · · · · · · · · · · 30 图3 阳光正言GPT技术架构图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 53 图4 S-Eval评测体系架构图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 59 图5 S-Eval评测方法示意图· ·

............................. 43 综合算力指数 图 目 录 图 1 综合算力指数体系 4.0.......................................................................................11 图 2 省级行政区综合算力指数 Top10....................... .... 14 图 3 省级行政区综合算力指数 Top10 历年情况.................................................... 14 图 4 省级行政区算力分指数 Top10......................................................................... 16 图 5 省级行政区算力分指数-算力规模 .17 图 6 我国在用标准机架数量分布............................................................................ 17 图 7 我国在用智算规模（FP16）分布....................................................................18 图 8 省级行政区算力分指数-算力质效

............................................................................................... 1 图目录 ................................................................................................. 23 3 图目录 图 1 智算中心服务架构图 ..................................................................................................... 6 图 2 智算项目集成交付流程图 ............................. .................................... 8 图 3 智能建造数字化平台 ..................................................................................................... 9 图 4 老旧机楼智算改造和节能焕新 .......................

LEVEL 1 研发模型结构 LEVEL 2 研发预训练模型 LEVEL 3 基于模型 SFT LEVEL 4 直接调用 大模型产业生态图 大模型产业链上的生态，根据大模型生态上不同企业的定位，分成了四个等级的企业： • 自研大模型结构的企 业 • 不用训练，直接调 用大模型 API 的企业 • 研发预训练模型的企业 ③Agent 模式 调用插件 / 复杂工作流 响 应用户对话 ② 工作流模 式 指定工作流响应 用户对话 文档拆分 重排序 （ rerank) ① 官方插件 文档解析 / 混元文生 图 .. 汽车 语音助手 零售 电子 说明书 金融 代理人 辅 助 ... ① 标准模式 内置 RAG 最优流 程 文档解析 多轮改写 文旅 虚拟 导游 政务 一网 通办 难点：企业知识格式多样、图文并茂 复杂排版的阅读顺序 复杂的子元素识别 复杂的表格结构 跨栏段落 跨图段落 少线表格 无线表格 有线表格 段落内图像 段落内公式 表格内图像 表格内公式 跨表段落 图表文环绕 纵向多栏 图 / 图注群组 表 / 表注群组 横向多栏 传统 OCR 技术局限：识别精度低、元素易丢 失 高准确的复杂文档解析、切分能力 基于 OCR

(BMS) 内部联动 外部指令联调 边缘计算与网关 控制终端 .PLC 实时域系统 信息域系统 系 统 框 图 运营管理 AI 算 法 大数据分析 BIM/CIM 加 持 访 客 与 信 息 发 布 会 议 管 理 灯 用电能耗趋势图 1225 12:30 环境监测 监测项目 室内湿度 室内温度 室内甲醛 室内噪声 室内熙应 室内 C 2⁰ 京内 PM25 水 泵 2 4 3 1 % 商线 室 内 PM2..5 趋势 图 0. 19123012453.0013.1513301345 用电量 1 千万度 室内甲醛趋势图 智慧园区管理平台 在岗状态 单位

源效率，自主化运营将显著推动供 应链的循环性。 实现自主智能供应链 7 1. 构建坚实且安全的数据基础 2. 投资关键AI技术，加速规模化 战略布局 3. 重构人与技术的协作模式 图1 企业应对中断的反应时间与恢复时间 敏捷性 4天 11天 从中断或变更中 恢复的时间： - 60% 应对中断的 反应时间： - 62% 1至5个月（视具体问题而定） 此外，企业预计通过自主化运营能缩减约16% 作业流程通过智能决策辅 助系统得到增强，该系统能 提供操作建议与洞察以优化 决策。 作业流程可部分实现自动化。 • • 自主化运营流程/自我优化。 AI助手支持人工进行行动规划 与生成。 • • 图2 自主化征程：一场贯穿四大成熟度阶段的真正转型 成熟度 等级定义 自主化指数 实现自主智能供应链 真正意义上的自主智能供应链包含两大维 度（见图2）：任务自动化与决策自主化。在任务 自动化层面，机器将取代人工执行具体任务。例 异常或风险检测及预警 评估与根因分析 内部及与供应商共同执行改进计划 27. 28. 29. 客户支持 现场服务 订单到回款 客户与现场支持 图3 端到端供应链活动被划分为29项具体活动，并根据任务相似性归入9个集群 实现自主智能供应链 12 图4 大多数活动集群将在智能系统的驱动下经历重大转型， 部分集群未来将迈向高度自主化 自主化成熟度 [全球专家组观点] 预警、风险、改进 5

解、交流和融合，提供在一个更全面、完整、系统的 218 www.jc2.org.cn 2期 认知结构下对现实世界的事物，及其规律的新发现和 深入理解，从而推动知识结构的不断迭代与演进。 图1 基于大语言模型技术的多模态数据挖掘 Fig. 1 Multi-modal data mining based on large language models technologies 1.2.3 警、社会动员、监管执法、救援处置等应急管理全场 景应用。 决策指挥层：为所有应急管理业务辅助决策。 2.1 辅助决策功能薄弱 决策指挥层的辅助决策功能相对比较薄弱，尤 其是在重大及以上级别的突发事件非常态业务的临 图2 应急管理系统架构图 Fig. 2 The architecture diagram of emergency management system 龚晶等：基于大语言模型技术的智慧应急应用：知识管理与应急大脑 空间明确的常规决策是理性分析的过程，即：分析评 估备选方案并确定最优方案。系统可以提供更精确 的数据、更优化的数据处理流程、更智能的模型和 算法等方式，来辅助最优方案选择。当问题空间不 明确，则只能依靠决策者直觉判断进行临机决策。 图3 决策分析的两条路径 Fig. 3 Two approaches to decision-making analysis 2.2 知识管理缺陷 目前的知识库中所存储和管理的应急知识仅限 于应急预案、行动指南、历史案例、法律规范等显性

解决特定的智能问题 里程碑： ChatGPT 的成 功 AI 1.0 时代 AI 2.0 时代 图像分类 文本分类 信用评估 房价预测 销量预测 客户分群 新闻聚类 广告定向 社区发现 文生图 文生视频 语音与对话 影视与广告 文章报告 问答内容 人像写真 广告图片 样例代码 测试用例 视频生成 分类 聚类 回归 文本生成 语音生成 代码生成 图像生成 Multi-task 多领域数据通用接口 桌面和移动应用 服务应用 意图识别 情感分析 问答 文本生成 图片生成 声音生成 图生成 Language Models are General-Purpose Interfaces Yaru Hao Et. al. DOI:arxiv-2206.06336 各种 服务器 办公 知识库和指令微调训练得到产业垂域大模型 提供 产业链图认知 产业主体画像 产业实体匹配 产业发展预测 产业数据探索 业报告生成等 个方向的特色能力。 产业垂域大模型 iChainGPT 产 业 网 链 大 模 型 使 用 海 量 产 业 数 据 和 知 识 图 谱 训 练 ， 创 新 性 地 引 入 了 “ 大 小 模 型 协同 ” 的智能体