电力人工智能多模态大模型 创新技术与应用 1 、研究背景 2 、关键技术 3 、应用案例 4 、未来展望 目 录 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科 学；其在历史上经过多个发展时期，形成了不同的技术流派； 深度学习是目前主流。 1950s—1970s 1970s 中期 1980s-2000s 通用模型 无需人类专家标注 高效互联通讯： NVLINK 、 HCCL ( 华为 ) 多模态通用模型： Qwen2-VL 等 . 背景 1—— 人工智能的概念及发 展 数据 算力 的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习，在多模态学习、 推理和通用人工智能方向取得重要进展，为人工智能的发展开启了新的阶段。 大模型 模态扩展 文本 检索增强 图像 / 视频 大规模基础模型 音频 电力大模型 医疗大模型。 Transformer 架构 注意力机制 多模态融合 0upr ake Wefert

o- series) 蒸馏 vs. 强化学习驱动：国内外现有各家技术路线对比分析及 Takeaways PRM & MCTS 的作用 从文本模态到多模态 其他讨论： Over-Thinking 过度思考等 未来方向分析探讨 模态穿透赋能推理边界拓展： Align-DS-V 合成数据及 Test-Time Scaling: 突破数据再生产陷阱 强推理下的安全：形式化验证 Formal 空间关系、几何模式和物体交互。这些合成数据集提供了可控环境，用于测试模型的视觉推理能力，并且可 以 无限生成训练样本。 文本渲染数据 是通过将文本内容转换为视觉格式创建的，使模型能够在不同模态下保持一致的文本处理能力。 通过将文本文档、代码片段和结构化数据转换为图像，确保模型无论接收的是纯文本输入还是截图或照片中的 文本，都能提供一致的响应。这也有助于增强模型在处理文本 Open Questions: Long-COT 指令数据扩展是否有助于慢思考推理能力？ 哪种 Long-COT 数据构造方式具有最佳样本效率？ Long-COT 及其扩展是否有助于多模态任务？ Takeaways from RedStar [1]: Long-COT 在有限数据下增强推理能力：小规模数据集（如 1.3k 个问题） 可以显著提升推理性能，尤其是在数学任务 中，

算 机 视 觉 AlexNet ( 图灵奖得主 Hinton) CAN (Gioodfellow. 图灵奖得主 Bengio) ResNet ( MSR. 引用 183222) 跨模态模型 DALL E2 (OpenAI) 2017 年 ， Google 提出 Transformer 框架在机器翻译中取得显著进步 ，其分布式学习和强大编码能力受到广泛关注。 2018 : 客服问答 工业 : 产品设计辅助 && 生产规划 教育 : 智能问答、试题生成 法律 : 智能法律助手，法律咨询 医疗 : 问诊，用药咨询 科研 问答理解类 常识、专业知识、多语言、多模态、角 色扮演 + 多轮对话、安全陷阱 推理类 情感推理、演绎推理、逻辑推理、归纳 推理、类比推理 创作表达类 文字创作 & 创意、内容改写 / 续写、修改 ，提升模型的通⽤性和可维护性。 参数规模扩展 为确保模型质量和性能，未来的大模型将采⽤更深层的⽹络结构和更庞⼤的数据集进⾏预 训练，尤其在数据量和参数量上将迎来显著跃升。 多模态融合 大模型将逐渐融入图⽚ 、⾳频、视频等多种模态信息 ，实现跨模态的交互与理解 ，从⽽拓 宽其应⽤场景和实⽤价值。 大模型小模型化 在产业应⽤层⾯ ，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实

AI 阅读 MCP 关键信息提 MCP AI 摘要 MCP 多模态知识解析 多模态数据开发与融合 360AI 企业知识库： 企业级智能体应用知识中枢 ， 专为企业打造的 AI 基础设施 全链路日志 多智能体协同 工作流编排 上下文工程 提示词工程 AI 护 栏 ② 领先的 AI 多模态知识库 & 知识解析技术 • 支持 29 种多模态数据 ，包括 pdf/ppt/doc/xls/ 图 / 音 / 视频 等 • OCR+360 新一代图文跨模态 VLM ，大小模型结合解析更精准 • 支持多模态交互（输入 / 输出） ，万物皆可交互 ④ 可为 Agent 提供超强 “ 上下文与记忆” 工具等进行采集； • 各种结构化数据库表也可以采集； ③ 领先的 AgenticRAG 技 术 • 以 Agent 重构传统 RAG ，提升问答准确率及效果 • 长链路、多跳、事实推理效果更佳 • 跨模态数据融合应用：打通结构化与非结构化知识 ⑤ 内置企业级敏捷 Agent 平台 + 丰富的知识类技能 + 知识类智能体市场 • 专业的知识类技能 ：比如文档解析、录音转写、发票识别 • 丰富知识类

、深度学习等重要演进历程， 正进入以大模型为支撑 、智能生成为特征的通用人工智能时代 。 第三次浪潮 2000-2020 ：数据挖掘 深度神经网络 第四次浪潮 2020- 至今： 智能生成 NPL\CV\ 多模态 大模型 第二次浪潮 80-90 年代： 知识工 程 专家系统 第一次浪潮 50-70 年代： 定理证 明 符号逻辑推理 人工智能发展脉络 通用人工智能 深度学习 专家系统 逻辑推理 年 1956 年 1980 年 1990 年 分水岭 r5 大模型（ Foundation Model ） 是指具有超大规模参数的人工智能模型， 包含 NPL\CV\ 多模态等类型 。 其突出特点： 同质化 。大模型任何一点改进就可以迅速覆盖整个 AI 社区 。 “ 涌现 ”特性 。大模型有超大规模的参数， 产生未曾预先设想的新能力 。 泛化能力强 复旦大学超算中心 模型类型 多模态训练模型结合人类 参与强化学习 多模态预训练模型 NLP 大模型 NLP 大模型 NLP 大模型 计算机视觉模型 计算机视觉模型 图、文 、音三模态 对话式大型语言模型 数据量 超过万亿单词的人类语言 数据集 中文多模态数据集 M6- Corpus 1.9TB 图像 292GB 文本 五大跨模态视频检索数据 集 40TB

数据， 解决特定的智能问题 ● 高效压缩信息表达知识 ● 持续提高泛化能力 ● 可有对齐自然语言表达， 价值 、 行为规范等 ● 持续地充分利用有效算力 ● 多模态信息归一化 (token 化 ) ● 扩展任务领域和专业知识 交通大模型 人工处理多个复杂任务的协同 交通 元素 模型 a 事件 发现 模型 b 数据 补全 模型 i 致因 分析 自动化能力、经验自学习能力。 智能感知 智能研判 智能信控 核心技术基础 图灵自研 AI 生产力平台 ， 以高效 AI 生产与标准应用集成为目标 ， 实现算法工程到行业 应 用端到端一站式落地 ， 2.0 版本面向多模态数据处理、异构大模型训推架构等提供工具化基础。 贯通数据、算法、 引擎、评测全流程， 综合提升模型开发与工程落地效率 40% + 支持百万级数据存储 、 预处理 、 自动化标注 、 3D 标注 、 寒武纪、 算能等系列硬件。 图灵 AI 生产力平 台 （ Turing - AICMS - 2.0 ） 依托鹏程 脑海多模态通用大模型 ∙ ， 通过多源异构知识语料与多模态特征编码协同提升多 模态生成式问题理解精度 ， 并结合微调垂域化训练 ， 推进 Turing 多模态大模型行业应用赋能。 多源异构知识语料库 领域知识向量化

取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模 态大模型 MiniGPT-4 、 mPLUG-Owl 、 Multimodal-GPT 、 LLaVA 以及国产大模型豆 包等。 多模态（ Multimodal ）指的是在信息处理和交流中同时使用多种不同的模式或媒介，如 文本、图像、音频和视频等。其核心在于通过结合不同的表达方式，增强信息的传递效果 和理解深度。多模态的意义体现在多个方 次，不同的人对信息的接收 方式各异，多模态能够满足不同学习风格或交流偏好的需求，从而提高理解和记忆效果。 此外，在人工智能和人机交互领域，多模态技术使计算机能够更自然地理解和响应人类的 交流方式，例如智能助手可以同时处理语音命令和视觉输入。多模态还能够增强表达能力， 在艺术和传播中通过多样化的表达方式提升创作的表现力和感染力。在数据科学和机器学 习中，多模态数据融合有助于提高模型的性能，例如在情感分析中结合文本和语音数据可 分析中结合文本和语音数据可 以更准确地判断情感状态。多模态通过整合不同的信息形式，帮助我们更有效地交流和理 解复杂的信息，广泛应用于教育、医疗、社交媒体和人工智能等领域。 10.5.1 CT 影像分析智能体 多模态大模型可以结合医学影像（如 X 光片、 CT 扫描、 MRI ）和患者的临床数据（如病史、实验室结 果）进行综合分析，从而提高疾病诊断的准确性。例如，通过分析胸部 X 光片和患者的症状，模型可以

通过 AI 平台赋能医院，构建智慧环境新体验，实现业务流、数据流、资金流的统一管控。 综合运营监管服务 多 模 态 AI 服 务 平 台 AI 服务 AI 服务 AI 服务 AI 服务 多模态应用 AI 服务 影像云平台 AI 服务 多 模 态 AI 服 医院 AI 驱动模式创新，打造覆盖区域各级医疗机构一体化多模态 AI 综合服务平台。 助力医学人工智能社会治理实验和国家智能社会治理实验特色基地建设，引领区域，辐射全国。 构建智慧医疗云平台 - 构筑区域医疗中心 xxx 县级中医院 乡镇卫生院 村卫生室 xxx 全科影像的互联互通和诊断 13 款影像 AI 应用一体化融合 多模态影像标注和训练管理 xxx 总院 xxx 北院 xxx 海南分院 xxx 无锡分院 xxx 舟山分院 xxx 卢湾分院 xxx 康复医院 xxx 古北医院 xxx 太仓医院 xxx 新发展医院 构建“未来医院”跨院区多模态 AI 技术融合平台 医疗 AI 能力涵盖：肺部 CT 检查、心脏 - 冠脉

需要多期图像联合查看，但不同期相有变形 • 肝病被认为是“亚洲病”，国外研究相对较少 商汤 SenseCare 肝脏智能产品 • 行业首发肝脏智能解决方案 • 覆盖 CT 与 MR 多模态数据，全方位助力疾病诊断 • 搭载肿瘤切除与肿瘤消融多种术式智能规划 • 无缝融入临床工作流，帮助医生提升效率 未来医疗治疗 中心 CHIMA SenseCare 肝脏产品从临床诊断到智能手术规 + 工具 + 方法论融合 • 助力高水平医院建设 智慧医学科研平台 全院级“多模态异构数据治理 + 智能工具应用 + 科研转化体系建设”支撑高水平医院建设目标 多模态异构数据治理 • AI 技术 + 疾病知识图谱融合 • 文本数据 + 影像组学 + 生物信 息等多模态数据治理 AI 技术赋能 • NLP 自然语言处理 • 深度学习 / 机器学习 专病数据填充 数据治理及标准化 统计分析 核心结果分析 绘制图表 结果解读 医学知识发 现 科研论文管理 辅助决策支持 构建肺癌专病库涵盖 68 个专病域， 951 个指标 AI+ 多模态专病探索研究 实现数据从业务到科研，从成果到临床的闭环应用，高效为临床研究者探索和挖掘科研成果。 以专科发展带动诊疗能力和水平提升。探索基于影像组学进行疾病诊断研究、基于宏基因组学分析进行诊断模型研究等。

能运用我市既有技术力量，构建各领域 AI 大模型。 以空间对象为核心、以空间治理支撑为目标的“跨模态”大模型 “ 后土”名称取自中国上古神话里掌管山岳土地变化的中央之神，寓意助力国土空间治理和自然资源管理 自然资源部信息中心与阿里云联合研发自然资源行业大模型一 —“后土”大模型。一个“跨模态大模型” , 在通用大模型基础 上， 通过海量自然资源行业数据训练，在自然资源知识问答、 影像视频 文本问答对 546 30 97 182 Sal 问答对 285 46 总计 731 76 97 182 1.1 工作背景 —— 自然资源部“后土”大模型 后土大模型 以 空间对象为核心的“跨模态”大模型 助力自然资源什业缩力提升 开始对话 智能体创理 《 山 将 位 , 泽 内 占 臣 《 ; 共 工 生 覆 土 ' 夜 土 生 下 空 喘 ， 空 喘 生 (LO) 2.2 总体架构 “1+N ” 大模型架构 权益维护 智能办公 智能审批 数据管理 智能体应用 (L2) 大语言模型 视觉大模型 多模态大模型 …… 一 个 构 建 平 台 格局优化 绿色低碳 底线守护 N 个 智 能 体 应