项目编号： 生态环境保护基于多模态 AI 大模型智慧 诊断应用 设 计 方 案 目 录 1. 引言........................................................................................................................................... ...........................................................................................9 1.3 多模态 AI 大模型的简介......................................................................................... .....22 3. 多模态 AI 大模型概述........................................................................................................................................................23 3.1 多模态学习的定义........

推进速度加快。智能体大致可以分为六类，根据他们被设计出的 特点，可以作用在不同的应用领域上。不同类别的智能体给予应用层面上更多研 发方向，像目前关注度较高的自动驾驶技术、智能电网控制、能源管理等都能被 垂类智能体覆盖。结合多模态大模型，自动化和情感需求类智能体已落地。但商 业化智能体仍需考虑成本问题，由于智能体之间的交互过程可能出现错误循环且 输出结果不一定符合需求，tokens 成本远高于普通 LLMs。  人工智 与人工智能强国组成战略伙伴，共同发展 AI 科技。智能体发展能推动政府、金融、 制造、能源、医疗、零售等行业的智能化应用向多模态和跨模态转变。  投资建议：我们认为未来智能体（AI Agent）的前景十分广阔，随着大模型的发展， 智能体将从概念走向实际应用，成为各行业的重要助力。通过多模态大模型，智 能体能够整合图片、语音等异构数据，提高任务处理效率，并解决跨行业、跨领 域的问题。技术方面，智能体具备 亿美元，将在政府、金融、 制造、能源、医疗、零售等多个领域实现智能化应用。结合国家政策支持以及各 大企业的积极投入，智能体技术将不断进步，特别是在算力快速增长的背景下， AI Agent 的发展前景更加可期。多模态智能体的出现，将进一步推动各行业智能 化应用的升级，智能体的商业化将迎来新的突破。  建议关注：AI 算力、模型和应用：寒武纪-U、海光信息、景嘉微、龙芯中科、浪 潮信息、中科曙光、神州数码

具身智能的“大脑”能显著弥补机器人领域训练数据 少且专门化的缺点, 为系统提供强大的感知、理解、 决策和行动的能力. 此外, 基础模型的零样本能力 使得系统无需调整即能适应各种未见过的任务, 基 础模型训练数据的丰富模态也可以满足具身智能对 各类传感器信息的处理需求. 无论是视觉信息、听 觉信息, 还是其他类型的感知数据, 基础模型都能 够为具身智能提供全面和准确的理解. 在实际应用 中, 这意味着具身智能能够更好地适应环境变化 感知与理解 在与环境的交互中, 具身智能通过摄像头、麦 克风等传感器接受原始数据, 并解析数据信息, 形 成对环境的认知. 在处理此类信息时, 大模型有着 强大的优势, 能有效处理整合多模态的输入数据, 捕获各模态之间的关系, 提取为统一的高维特征, 形成对世界的理解. 如对大量无标签的互联网文本 和图像进行预训练的视觉模型, 能将图像与文本编 码到同样的向量空间中, 这种对齐不仅有利于对环 境的感知 用于具身智能感知与理解的方法, 讨论范围是文本、 图像和音频等信息, 其中感知的信息来源于环境与 人类用户. 1.1 多模态模型理解 多模态模型, 尤其是多模态大模型 (Large multi- modal model, LMM) 具有理解图像、场景文本、图 表、文档, 以及多语言、多模态理解的强大能力[29], 可 以直接用于具身智能对环境的理解, 并通过提示词 使之输出结构化内容如控制代码、任务分解等指令

。通过这些改进， Janus-Pro 在多模态理解和文本到 图像的指令跟踪功能方面都取得了重大进步，同时还增强了文本到图像生成的稳定性。 n 作为在 GenEval 等评测中超越 DALL-E 3 和 Stable Diffusion 3-Medium 的开源模型， Janus-Pro 也展现出了更多应用潜力。 图表： Janus-Pro 多模态理解和视觉生成表现 资料来源： Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling ，中泰证券研究所 11 多模态： Janus-Pro 等开源多模态模型有望进一步提升应用能 力 理解金融应用的“降本增效 - 价值创 造 - 决策赋能”三个层次 2 n 我们认为金融行业人工智能的应用价值大体可以分为三个层次： 降本增效，价值创造与决策赋能。其中当下应用最广 度依赖人工操作，导致整个流程 十分复杂且效率低下。 DeepSeek 为银行信贷审批注入新动力， 助力审批流程实现智能化与自动化。 n 苏商银行应用 DeepSeek-VL2 多模态模型，通过构建“多模态技术 + 混合专家框架”的创新体系，实现对嵌套表格、影 像资料等复杂场景材料的精准解析，将信贷材料综合识别准确率提升至 97% 以上，信贷审核全流程效率提升了 20% 。 图表：苏商银行

........................................................................................150 13.1 多模态能力扩展............................................................................................... 万元/每千用户。这些痛点严重制约了 CRM 系统在 智能经济时代的价值释放，亟需通过大模型技术实现根本性突破。 1.2 DeepSeek 大模型的核心能力 DeepSeek 大模型作为新一代多模态 AI 基础模型，在 CRM 系 统智能化升级中展现出三大核心能力优势。其基于千亿级参数的 Transformer 架构，通过行业知识增强训练和垂直场景微调，能够 显著提升客户关系管理的效率与精准度。 Dynamics、金蝶云星空）的无缝对接。其 接口协议采用 OAuth 2.0 认证机制，与 CRM 系统的用户权限管理 体系完全兼容，确保在单点登录（SSO）场景下的安全访问。 数据交互方面，DeepSeek 支持多模态输入输出处理能力，能 够适配 CRM 系统的结构化与非结构化数据格式： 1. 结构化数据处理 o 客户信息表字段映射（如客户名称、联系方式、交易记 录） o 销售漏斗阶段状态识别与分类 o

逻辑推理能力：DeepSeek在各种类型的推理任务中，模型性能取得全面提 升，能够对以数学、物理为代表的理科科目学习提供更强赋能。 l 多模态能力：据公布，多模态训练后DeepSeek大模型在科学任务、复杂推 理、数学代码等方面的表现均有提升。在学习过程中，DeepSeek的多模态能 力有助于提升图文结合的题目理解、输出多模态内容辅助学习，丰富AI教育应 用场景。 l 开源与低成本：DeepSeek作为开源大模型，开放模型架构、模型参数、技 深化与成本优化。 1、底层技术融合：构建DeepSeek-R1的通用智能推理能力与自研教育垂类大模型 “子曰”结合的混合架构，以提升复杂场景的AI教育能力精准度，并打造了基于 DeepSeek的多模态应用。 2、全线产品线接入：软件端，网易有道AI学习类App接入DeepSeek，以其深度思 维优势提升AI教育能力和个性化交互学习体验；此外，网易有道基于子曰教育大模 型自研的RAG引擎“QAn

2 多模态数据挖掘 大语言模型技术并不仅限于文本数据，也可用 于理解和生成包括图片、音频、视频等多种类型的 数据。例如，Sora 采用 Tansformer 架构重建图片处理 的扩散模型（diffusion models），能更准确地理解视频 片段（patches）在向量空间的正确时空关系，从而生 成接近现实的合乎逻辑又平滑过渡视频[17]。这种多 模态数据处理能力能够形成一个综合的多模态知识 表示，促进多模态数据的理解和融合，从而让模型 具有跨模态知识挖掘和创新的潜能。如图 1 所示， 现实世界的信息、状态和变化通过不同的媒介和技 术手段，可以转化为文本、图片、音频、视频、信号 等符号描述，如果说文本数据是对现实世界在文字 符号规则下的一个投影，那么图片、视频、传感器信 号等不同数据都可以看作是现实世界在不同符号规 则下的多个投影，大语言模型技术具有在高维数字 空间融合不同符号世界信息的潜能，利用高维空间 空间融合不同符号世界信息的潜能，利用高维空间 的多模态知识表示，能促进不同符号世界信息的理 解、交流和融合，提供在一个更全面、完整、系统的 218 www.jc2.org.cn 2期 认知结构下对现实世界的事物，及其规律的新发现和 深入理解，从而推动知识结构的不断迭代与演进。 图1 基于大语言模型技术的多模态数据挖掘 Fig. 1 Multi-modal data mining based on large language

· · · · · · · · · · · · · · · · · 10 1.1.2 算力：单芯片算力达新高，国产化初具规模· · · · · · · · · · · 12 1.1.3 模型：多模态崛起，端侧模型影响未来终端应用· · · · · · · · 14 2.1 全球保险行业的发展趋势· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 131 6.1.2 应用场景：由非决策类场景向决策类场景过渡· · · · · · · 135 6.1.3 多模态大模型：落地应用潜力巨大· · · · · · · · · · · · · · · · 136 6.2 行业实践建议· · · · · · · · · · · · · · · · · · · · · 突破。合成数据的应用，有效克服了现实世界数据在获取难度、规模限制及多样性不足等 方面的挑战；图形处理单元（GPU）和张量处理单元（TPU）等高性能计算硬件的飞速发展， 为算力提升提供了强有力的保障；多模态模型的突破性进展，打破了传统人工智能（AI）技 术界限，实现了信息处理能力的全面升级；视频生成模型的显著进步，更是让创意与想象 在数字世界中自由翱翔；而混合专家系统（MoE）架构的广泛应用，则进一步提升了模型的

元景RAG技术中级联 切分手段、自适应表格拆分与整合技术、多路检索融合方式进行解 析，提升元景大模型对相关内容的召回率。 造船规范知识问答  针对2D船舶设计图纸中不同标尺参数，运用元景多模态大模型进行 识别，精准输出设计参数信息，为设计师精准建模提供必要参考；  面向不同船厂的设计规范、图纸中不同类型的线材，运用元景视觉 大模型进行分割检测，有效提取船舶轮廓、不同船舱的设计要素， 增强长文本召回匹配度 自适应拆分 增强知识理解完整性 多路检索融合 增强检索能力多样性 支持OCR 解析能力 支持富文本知识 问答能力 支持答案出处 定位至原文 支持统计类 问答能力  针对多模态装备文档做精准 查询和智能问答，重点解决 长文本、复杂表格、数字序 列、OCR解析、网页资源解 析、统计类问答等挑战并快 速迭代，问答效果优于头部 竞品。业界首创RAG中的富 文本知识问答、来源出处定 DS很好纠结各应用需要一个超强大脑需求 各单位应用DS落地需要 工程化 套壳 1、安全监管增强+灌入企业价值观 2、灌入企业独有数据 3、推理算力消耗、效果等方面优化 …. 多模型 协同， 与外挂 AI工具 1、多模态、语音、视觉模型联动 2、挂RAG知识库、联网搜索优化等 3、接入智能体平台 ….. B端生产场景多数重复使用模型某一重复能力， 大量百亿级参数模型即可适用 • DS -V3/R1满血版推理需16-32张910B，LORA微

能性。相较于通用 AI 模型，审计智能体需要具备三个核心能力维 度：首先是领域知识的深度适配，包括国际财务报告准则 （IFRS）、美国通用会计准则（GAAP）等超过 2000 项条款的准 确解析；其次是多模态数据处理能力，既能解析 PDF 财报和扫描 凭证，又能处理 Excel 底稿和数据库日志；最后是可追溯的推理链 条，每个审计结论都必须具备可验证的逻辑路径。以下为审计智能 体与传统工具的对比差异： 流程自动化（RPA）的局部应用虽能提升基础核对效率，但在 面对非结构化数据（如合同文本、邮件通信）时仍显乏力。某上市 公司审计案例显示，其采购循环审计中仍有 62%的供应商资质验证 需要人工复核扫描件，这类场景亟需具备多模态处理能力的智能体 支持。同时，审计质量控制的最后一公里问题突出，现有系统缺乏 对审计底稿逻辑完备性的自动校验能力，导致约 28%的监管问询源 于底稿链条断裂。 在此背景下，构建深度融合审计专业知识的智能体成为破局关 步发展为 智能协同模式，最终实现审计质量和效率的质的飞跃。 1.3 DeepSeek 技术简介及其在审计中的潜力 DeepSeek 作为新一代大语言模型（LLM）技术平台，其核心 优势在于多模态数据处理、复杂逻辑推理和行业知识融合能力。该 技术采用混合专家模型（MoE）架构，通过万亿级 token 的审计行 业语料预训练，在会计准则、税务法规、风险识别等垂直领域展现 出超过 85%的准确率。其知识截止