电力人工智能多模态大模型 创新技术与应用 1 、研究背景 2 、关键技术 3 、应用案例 4 、未来展望 目 录 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科 学；其在历史上经过多个发展时期，形成了不同的技术流派； 深度学习是目前主流。 1950s—1970s 1970s 中期 1980s-2000s 通用模型 无需人类专家标注 高效互联通讯： NVLINK 、 HCCL ( 华为 ) 多模态通用模型： Qwen2-VL 等 . 背景 1—— 人工智能的概念及发 展 数据 算力 的范式，使大规模预训练成为可能。近年来，大模型凭借超大规模参数和海量数据学习，在多模态学习、 推理和通用人工智能方向取得重要进展，为人工智能的发展开启了新的阶段。 大模型 模态扩展 文本 检索增强 图像 / 视频 大规模基础模型 音频 电力大模型 医疗大模型。 Transformer 架构 注意力机制 多模态融合 0upr ake Wefert

项目编号： 生态环境保护基于多模态 AI 大模型智慧 诊断应用 设 计 方 案 目 录 1. 引言........................................................................................................................................... ...........................................................................................9 1.3 多模态 AI 大模型的简介......................................................................................... .....22 3. 多模态 AI 大模型概述........................................................................................................................................................23 3.1 多模态学习的定义........

合分析）导致计算性能延迟增加 50% 以上，难以支 撑高价值场景（金融、物流、交通）等低时延响应 要求。 08 · 挑战三、高质量语料稀缺 政府、金融、医疗、制造等行业大模型专业语料稀缺， 海量多模态数据（文本、图像、传感器）待标注数 据占比高，高质量语料转化率低（语义缺失、时效 滞后等），无法满足行业大模型训练推理阶段对行 业标注数据的诉求。 · 挑战四、安全能力参差不齐 数据流通涉及数据提供方、使用方、服务运营方等 薄弱环节，无法满足全链路数据安全防护要求。 2、人工智能大模型语料发展与挑战 2.1 人工智能大模型语料发展趋势 1. 从大语言模型到多模态 / 具身智能大模型的语料演进 当前大模型技术正经历从弱人工智能（机器学习、神经网络、大语言模型）向通用人工智能（Agent、多模态、 具身智能）的范式跃迁。这不仅对于模型架构的设计理念进行了重构，同时也对大模型各阶段的训练语料提出 全新要求。 1942 1956 大模型技术发展演进阶段 09 公开数 2c 现象级应 首先，对多模态关联的复杂语料需求日益迫切。针对 大模型语料质量，传统纯文本数据已经无法支撑多 模态与具身大模型联合建模的需求。业界实践表 明，在多模态场景下的语料供给，需要进行跨模态 语料数据精准对齐，实践通过融合图文信息，运动 轨迹，场景数据，使得复杂论文的解析准确率提升 37%。此类多模态场景在处理包含图表、公式的复杂 文档时，需要在语料标准中体现语义逻辑关联能

本文提出了工业大模型赋能的新型流程工业智能工厂核心工业软件 体系. 该体系构建了基于大语言模型的工业大模型, 其架构分为模型底座层、公共能力层和业务应用 层. 其中, 公共能力层提供时序数据、图像数据、文本数据等多模态处理能力, 业务应用层则结合具体 业务场景开发了多种类型的智能体, 包括图表智能体、低代码智能体、感知智能体、分析智能体、诊 断智能体、决策优化智能体和控制智能体. 这些智能体能够准确执行人类通过自然语言发出的各项任 业软件的原理, 还需要深刻理解生产 工艺, 当前阶段流程工业智能工厂核心工业软件尚不具备这种能力. 近年来, 以大语言模型为代表的新一代人工智能技术发展迅速 [6], 特别是在结合工业多模态预训 练机制与多模态融合能力后, 为流程工业智能工厂建设带来了新的契机 [6,7]. 例如, 针对工业时序数据 的生成, MetaIndux-TS [8] 等模型展现了显著的进步, 能够有效解决数据稀缺问题. 工业大模型赋能的新型流程工业智能工厂核心工业软件体系 ChatGPT 的正式发布让人们看到了大模型为人类服务的曙光, 经过两年多的探索和发展, 除了类 似于 ChatGPT 的大语言模型, 视觉模型、多模态模型、专业领域模型等不同类型的模型在工业中都 进行了一定程度的概念验证和应用 [33]. 2025 年, 由中国深度求索公司开源的 DeepSeek R1, DeepSeek V3 大语言模型在自

始快速向⼯业、商业、家庭、应急、教育等潜⼒领域拓展。 特征之四，AI ⼤模型对⼈形机器⼈的赋能⽅⾯进展明显。⼤脑、⼩脑和肢体分⼯ 协作体系明确的同时，基于感知-决策-⾏动-反馈的逐步深度融合，多模态⼤模型、强 2 化学习等技术正驱动⼈形机器⼈的智能化⽔平快速提升。 特征之五，具⾝智能体之间的关系开始从单体智能向智能协作、群体智能演进。 从单个机器⼈的遥控，向多台机器⼈乃⾄异构机器⼈之间的⽆⼲预协作⽅向突破，但 感知模块作为具⾝智能的“信息采集和处理器”，通过建⽴对外部环境的感知和理 解，为决策和⾏动提供⽀持。感知模块主要⽤于对象识别、位置定位、场景理解等⽅ ⾯，通过摄像头、激光雷达等多种传感设备的输⼊数据进⾏处理，进⽽从不同模态的 数据中获得多维环境信息。humanoid robots 决策模块作为具⾝智能的“指挥中⼼”，接受环境感知信息后，完成⾼级任务规划和 推理分析，并⽣成决策指令。决策模块主要任务包括任务规划和推理分析，决策模块 成化设计⼤幅降低冗余结构，相同扭矩下重量较传统⽅案更轻，减轻机器⼈肢体负 载。 2.3.4 灵巧⼿ 灵巧⼿是模仿⼈⼿结构与功能的⾼性能末端执⾏器，以⼈类⼿部⻣骼、关节与运 动机理为设计原型，通过多⾃由度驱动、多模态传感与智能控制技术，实现对物体的 抓取、捏取、拧动、装配等精细操作，具备⾼度灵活性和精确控制能⼒，已⼴泛应⽤ 于多领域精细操作场景，是机器⼈与物理环境直接交互的核⼼功能部件。 宇树科技发布的

破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答、 析其面临的风险与挑战并进行展望，旨 在为大模型在该领域的研究提供新思路。 2 人工智能大模型发展概述 2.1 人工智能大模型发展与分类 随着人工智能技术的进步和深度学习算法的发展，以及海量多模态数据的爆炸式 增长，芯片、网络、算力等基础建设的持续增强，大模型也迎来了快速发展机遇。2014 年生成对抗网络 GAN（Generative Adversarial Network）[4]的出现，推动了生成式人工 Network）[4]的出现，推动了生成式人工 智能的革命性发展，随后以 Transformer[5]、BERT[6]为代表的预训练模型的诞生，颠覆 了以往的深度学习模型网络结构，大幅提高了模型训练速度和对多模态感知、创作和 推理的能力，同时模型的参数量级也从百万级跃升到了百亿级，甚至出现了千亿级大 模型。截止 2023 年 6 月，国内外有超过百种大模型相继发布，国外如 Stable Diffusion、 GPT-4、Med-PaLM

应用从“九死一 生”的探索，提升为“十之八九”的成功，真正产生可衡量的产业价值与社 会效益。 要实现如此宏大的变革，我们必须找到正确的实现路径。幸运的是，技术的 发展为我们指明了方向。大型语言模型，多模态大模型与智能体技术的崛起，构 成了工程智能的核心驱动力。大模型以其强大的知识融合、逻辑推理与自然语言 交互能力，成为了理解和处理工程领域复杂信息的“认知内核”；而智能体则扮 演了“超级执行者” 将分散 的各项技术能力进行高效整合与协同，通过打造统一的基础设施、数据资源、基 础模型与智能体能力等平台，为实现工程智能的规模化价值提供坚实的平台化支 撑。这一系统的构建，依赖于工程智能时空全模态基础模型关键技术、工程智能 推理决策关键技术、工程智能体关键技术等核心共性技术上的持续突破。 展望未来，工程智能的发展将呈现从知识问答走向工程推演决策、从碎片化 响应走向人模系统一体化及共生智 ...45 6.1 工程智能时空全模态基础模型关键技术..................................................45 6.1.1 时空全模态统一表征技术.................................................................. 45 6.1.2 时空全模态数据生成技术.............

2023年是中国医疗大模型发展的元年，各种医疗大模型已广泛应用于临床辅助决策、 医学研究、健康管理等多个场景。未来，医疗大模型有望实现多模态AI与医疗实践全 流程的深入链接，应用于医疗教育和临床培训，提高药物研发和药物反应监测等方面 的能力。但在实际应用中，医疗大模型仍面临一些挑战，如准确度、透明度和可解释 性等问题，以及对数据隐私和安全问题的担忧。本文主要探讨医疗大模型在医疗领域 的应用及其面临的挑战。 意度和医疗效率；二是分析患者反馈、社交媒体评论和医疗调查数据，发掘患者意见 和需求，为医疗机构提供建议，助力医疗服务改进和患者体验提升。如，东软针对医 疗领域推出添翼大模型，全方位融合医疗行业解决方案、产品与服务，添翼的多模态 数据融合能力可为医院管理者提供对话式交互和数据洞察，简化数据应用，实现精细 化医院管理。 在药物研发过程中，医疗大模型可预测药物-蛋白质相互作用和药物毒性等信息，从而 评估新药的功效和安全性，有 理复杂和变化的医疗问题 时具有优势。 在医学影像分析方面，传统医学影像分析需要专业的放射科医生或病理学家进行手工 解读，耗时且存在主观性。随着人工智能技术的发展，ChatGPT目前已经可以分析多 模态信息，在未来有望能够分析X光、CT扫描、MRI等医学影像，自动检测异常或疾 病迹象，提供快速的初步诊断。此外，它还可以学习大量样本，提高准确性和一致 性。 在医学研究和知识发现领域，传统医学研究依赖于繁琐的实验和文献回顾，速度较

模。通过这些改进， Janus-Pro 在多模态理解和文本到 图像的指令跟踪功能方面都取得了重大进步，同时还增强了文本到图像生成的稳定性。 n 作为在 GenEval 等评测中超越 DALL-E 3 和 Stable Diffusion 3-Medium 的开源模型， Janus-Pro 也展现出了更多应用潜力。 图表： Janus-Pro 多模态理解和视觉生成表现 资料来源： Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling ，中泰证券研究所 11 多模态： Janus-Pro 等开源多模态模型有望进一步提升应用能 力 理解金融应用的“降本增效 - 价值创 造 - 决策赋能”三个层次 2 n 我们认为金融行业人工智能的应用价值大体可以分为三个层次： 降本增效，价值创造与决策赋能。其中当下应用最广 均高度依赖人工操作，导致整个流程 十分复杂且效率低下。 DeepSeek 为银行信贷审批注入新动力， 助力审批流程实现智能化与自动化。 n 苏商银行应用 DeepSeek-VL2 多模态模型，通过构建“多模态技术 + 混合专家框架”的创新体系，实现对嵌套表格、影 像资料等复杂场景材料的精准解析，将信贷材料综合识别准确率提升至 97% 以上，信贷审核全流程效率提升了 20% 。 图表：苏商银行

a l t h ' n r s " , " Unrestricted © Siemens Healthineers, 2024 02 视觉大模型 (VLM) 04 多模态大模型 (Diffusion-related) 05 展望 01 大语言模型 (LLM) 03 语言视觉大模型（ VLLM ） AI 大模型概 览 s EMENS: H a l t - - - . 医学影像分析图谱 VLM 医学领域的应 用 © Siemens Healthineers, 2024 Digital Services 12 数据集名称 模态 Case 数量 描述 BraTS21 MRI 5004 Brain Tumor Segmentation LTS CT 131 Liver Tumor Segmentation MSD CT+MRI 注入医学领域知识 多模态理解 微调 + 定制编码器 高级推理 推理链提示 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 D&AYubo Ji 21 结合患者医疗影像和历史健康记录 辅助制定个性化治疗方案 视频理解（如手术视频） 多模态影像报告解读和生成 智能预问诊和常见疾病预诊断