交互体验则追求更加自然、流畅的感受。 单一传感模式由于其自身的局限性，无法同时兼顾这些需求。 然而，2025 年的感知技术将迎来全新的发展格局。它将在多个前沿领域展现出令人瞩目的突 破。多模态融合技术，将多种传感器的数据进行深度整合，为环境认知提供更丰富、准确的信息； 超低延迟网络技术，能够实现数据的实时传输，为远程控制和实时反馈提供有力支持；3D 空间 计算技术，将构建出逼真的三维空间 ........................................................................................ 2 第一章 多模态感知融合 .............................................................................................. ..................... 36 研究报告 2025 年全球感知技术十大趋势预测 5 第一章 多模态感知融合 Multimodal Perception Fusion 一、 技术详解 多模态感知融合，是一种综合性的技术手段，它旨在利用多种类型的传感器，全面采 集来自环境的多源数据，并通过先进的数据融合算法进行深度整合，从而获得比单一传感

(OpenAI) ERNIE(百度) CPM(智源) GLM(洁华) 2012 2013 2014 2015 2016 2017 2018 2019 2020 2022 2022 2023 跨模态模型 预训练模型 大模型 计 算 机 视 觉 自 然 语 言 处 理 认 知 感 知 来源：大模型驱动的群体智能行业白皮书 产业研究 战略规划 技术咨询 4 大模型参数规模不断增长，推动 �� Code �� Other �� 产业研究 战略规划 技术咨询 9 ���� 问答 理解类 推理类 数学类 创作 表达类 代码类 ���� 问答理解类 常识、专业知识、多语言、多模态、角 色扮演+多轮对话、安全陷阱 推理类 情感推理、演绎推理、逻辑推理、归纳 推理、类比推理 创作表达类 文字创作&创意、内容改写/续写、修改 /润色、文字处理、编辑/语义匹配、摘 要提取、关键、字提炼、标题生成、文 性和可维护性。 参数规模扩展 为确保模型质量和性能，未来的大模型将采⽤更深层的⽹络结构和更庞⼤的数据集进⾏预 训练，尤其在数据量和参数量上将迎来显著跃升。 多模态融合 大模型将逐渐融入图⽚、⾳频、视频等多种模态信息，实现跨模态的交互与理解，从⽽拓 宽其应⽤场景和实⽤价值。 大模型小模型化 在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实 用、更易于产业落地的小型化大模型。

模。通过这些改进， Janus-Pro 在多模态理解和文本到 图像的指令跟踪功能方面都取得了重大进步，同时还增强了文本到图像生成的稳定性。 n 作为在 GenEval 等评测中超越 DALL-E 3 和 Stable Diffusion 3-Medium 的开源模型， Janus-Pro 也展现出了更多应用潜力。 图表： Janus-Pro 多模态理解和视觉生成表现 资料来源： Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling ，中泰证券研究所 11 多模态： Janus-Pro 等开源多模态模型有望进一步提升应用能 力 理解金融应用的“降本增效 - 价值创 造 - 决策赋能”三个层次 2 n 我们认为金融行业人工智能的应用价值大体可以分为三个层次： 降本增效，价值创造与决策赋能。其中当下应用最广 均高度依赖人工操作，导致整个流程 十分复杂且效率低下。 DeepSeek 为银行信贷审批注入新动力， 助力审批流程实现智能化与自动化。 n 苏商银行应用 DeepSeek-VL2 多模态模型，通过构建“多模态技术 + 混合专家框架”的创新体系，实现对嵌套表格、影 像资料等复杂场景材料的精准解析，将信贷材料综合识别准确率提升至 97% 以上，信贷审核全流程效率提升了 20% 。 图表：苏商银行

两阶段强化学习 BERT Only Encoder GPT Only Decoder RoBERTa Only Encoder GPT Only Decoder Gemma-3 多模态推理融合 思维链推理 DeepSeek-R1 强化学习奠基人获得 2024 图灵奖 （ Discount Multiple Intelligences ） 人类多元智能 肢体 动觉 语言 智能 逻辑 数理 人际 关系 攻防对抗 幻觉问题 隐私保护 新一代人工智能面临的挑战 可解释性 多模态 价值对齐 人工智能 面临的挑战 合规伦理 算法共振 郑小林，浙江大学人工智能研究 攻击目标：风控模型 攻击手段：伪装成合作商户批量调用 API ，逆向工程 模型规则 恶意商户的 Prompt 可信金融大模型的研究框架 应用合规可信 数字化监管规则 金融合规测评 智能监管沙箱 人工智能可信 可解释 隐私保护 公平性 鲁棒性 可靠性 可溯源 多模态金融大数据（表格、文本、图谱、图片、视频等 ……） 金融数据可 信 Chatbot 模式 智能客服、投资咨询 营销问答…… 检索知识增强

转化为智能化业务流 程 。 四域 融合 知识 资产 智能化 岗位 技能 智能化 信息系统 与业务 全链条 本白皮书核心内容摘要： AI原生 • 基于大语言模型、多模态与多智能体架构，从底层 具备“智能内生性”；不仅能处理语言、视觉、音 频等多模态信息，还能在跨岗位、跨流程中自动协 同，形成覆盖知识—人才—业务—治理的智能化工 作流。 产业级 Know-How 工业级落地 • 结合行业知识、业务逻辑与隐性经验，沉淀出能够 融合，确保AI在企业内部不仅能跑通实验，更能支 撑长期运营，产生对KPI（人效、时效、质效与现 金流）的可量化贡献。 术语与名词表 数据来源：沙利文研究 企业级智能生产力 知识域 人才域 业务域 治理域 多模态模型 LLM RAG ROI 以AI原生能力为核心驱动力，将企业的私域知识资产、岗位技能和业务流程深度智能化，并与现有信息系统打通，在可信治理下运行。 企业内部外部的知识资产（文档、流程、 直接面向组织运营和价值创造环节（销售、客服、供应链、财务、研发等）的智能赋能域。 涵盖企业的战略规划、流程制度、合规风险与数据安全的智能治理域。 （Vision + NLP + Audio）：多模态模型是能够同时处理 不同类型数据模态（文本、图像、语音/音频、视频等）的AI模型. 大语言模型是基于海量文本数据训练的深度学习模型，具备 理解、生成和推理自然语言 的能力。 （Retrieval-Augmented

........................................................ 132 4. PolarDB-PG Al 最佳实践 3：PolarDB Al 多模态相似性搜索最佳实践 ......... 139 5. GraphRAG：基于 PolarDB+通义干问+LangChain 的知识图谱+大模型最佳实践 ................... 融合趋势的数据处理难点，周文超 博士概括了三点：第一，数据的多模态化；第二，算力的多元融合；第三，数据处理 的实时性。 数据的多模态：数据类型不再局限于传统的结构化数据，而是包括了图片、文档、图、 时序、交易等多种模态的数据，比如：IoT 设备数据、车机图像数据等，这些多模数 据是数据处理和分析的一大挑战。 算力的多元融合：算力也朝着多模态和异构方向发展。过去，无论是在操作系统、数 据 后也发现了现有大数据架构的不足：在信息维度上主要以结构化分析为主，图片、文 档等信息有待挖掘；在应用方面缺乏实时和敏捷的分析应用；在运维上多引擎组合极 大增加开发和运维成本。随着技术变革，大语言模型和 RAG 已实现多模态分析可拓 展更多信息维度，离在线一体引擎可实现了流、批处理及在线分析的场景融合。 在极需创新的当下，如何快速升级成可支撑未来 3~5 年业务创新的 Data+AI 架构？ 在拥有更多信

精准，以实现 神经功能的恢复、替代和增强，此类技术可视为脑调控技术。 1.脑感知技术原理与应用 脑感知技术以“解译脑机制”为前提，通过“利用脑信息”实 现脑状态监测，涵盖电、磁、光、超声等多模态信号采集与成像技 术。其核心目标包括脑功能状态评估、神经疾病预警诊断及人机交 互控制，技术路径按侵入程度可分为有创与无创两大类。 电信号感知技术包含有创与无创两类。创新方向聚焦于电极材料、 。 光信号感知技术包括功能近红外光谱（fNIRS）无创技术，通过检 测血红蛋白浓度变化间接反映神经活动，已广泛应用于认知科学研 究。创新方向聚焦于 fNIRS 与脑电图（EEG）、MEG 的多模态脑成像 系统融合，以提升时空动态解析能力。 超声信号感知技术通过超声多普勒效应检测血流动力学变化， 脑机接口技术与应用研究报告（2025 年） 3 如检测脑血流量、血氧水平，间接反映神经元代谢活动。需植入微型 超声探头，多用于啮齿类动物神经活动监测，临床应用尚处探索阶段。 2.脑调控技术原理与应用 脑调控技术以“解析脑机制”为基础，通过“干预脑活动”实现 神经功能调控。涵盖电、磁、光、超声、神经反馈等多模态刺激与 信号调制技术。其核心目标包括神经与精神疾病治疗和认知功能增强， 技术路径按侵入性可分为有创调控与无创调控两大类。 神经调控技术在早些年皆为开环调控，严格意义上，并不属于脑 机接口技术

加速数据处理、降低人工成本，虽大模型直接用于投资管理案例有限，但在投研分析等间接领域，技术融合已展现价值，驱动保险价值链降本增效、创新发展。 AI 技术在险企负债端与投资端用例图谱 自动化风险评估 多模态数据解析 非结构化信息识别 自动匹配核保要求 自动化生成核保建议 智能投顾辅助决策 投资组合管理 自动生成投资方案 产品开发助手 产品需求挖掘 产品形态设计 产品精算定价 个性化产品定制 : 全生命周 期服务 生成式 AI 与多模态技术的结合，使保险销售对客户多 维 信息的全面了解过程变得高效且精准。 在保险销售的初始环节， AI 技术通过多渠道数据整 合 与智能分析，提升客户触达效率与精准度。 基于对客户需求的精准分析，保险智能体能够为销售 人员提供智能的产品推荐与方案设计支持。 需求分析与风险评估 : 多模态 Ai 应用 产品推荐与方案设计 : 智能体的决策支持 系统能自动识别关键信息（如事故类型、损伤位置、损 失 程度等） ，并生成结构化的案件报告。 l 查勘环节：远程实时查勘、多模态数据融合 AI 系统通过 5G 音视频技术与定损员进行远程实时连线 ，结合计算机视觉技术对事故现场照 片 或视频进行像素级分析 ，识别百余种损伤类型（如凹陷、裂痕、掉漆等）。 l 定损环节：多模态融合的智能评估 OCR 技术能够自动识别医疗票据、保单等非结构化数据 ，将纸质凭证转化为结构化信息；

风险管理 交易执行 IT/行政/HR 业务流程×金融业务 营 销 和 运 营 分 析 决 策 中 后 台 运 营 资料来源：蚂蚁研究院，OpenAI官网，中金公司研究部 整理多模态数据 生成合成数据 整理多模态数据 征信报告解读 信用评估、定价、 授信、违约预测 信用评估/审批报告 风控、清结算 支付交易报告 内部运营降本增效 支付 智能客服 智能客服 智能客服 客户需求、市场趋势 在通用的内部办公应用场景之外，大模型在支 付、信贷、投顾、投研、保险五大金融业务场景中 均存在落地应用。 在支付领域，大模型主要被用于提升支付机构的 风险识别及反欺诈能力。其中，支付机构利用大模型 获取、整理、分析多模态数据，丰富风控数据维度； 此外，支付机构利用大模型生成大量合成数据以训 练、优化现有风控及反欺诈算法。例如，Mastercard 利用大模型建立合成数据集以优化风控模型。 在信贷领域，大模型主要应用于营销获客、客 能财富管理业务。 在资产管理（投研）领域，大模型通过对信息 的高效收集、整合、加工，有助于提升投研及投资 的“搜”“读”“算”“写”“用”五大环节的效率。 在搜索环节，大模型能够通过对多渠道、多模态信 息进行整合，快速响应数据收集请求，提升投研投 资活动获取信息的效率；在读取环节，大模型能够 提炼核心内容，提升投研人员的信息处理效率；在 运算分析环节，大模型能够辅助生成投资观点和决

新华三 AI 全栈解决方案能力布 局 AI 助手（ LinSeer Copilot ） 大模型使能平台（ LinSeer Hub ） 百业灵犀大模型 （ LinSeer LLM/CV/ 多模态） 2003 2013 2016 2018 分布式推理 / distributed-reasoning Ⅰ 任务计划 Ⅳ 响应生 成 大模型使能平台 LinSeer Hub 推理平台 跨模态 大模型 CV 大模型 插 件 库 大模型 12 NLP 向导化 图形化