靖 峰 ） Higress Mantainer | Kirito 的技术分享 2025/7/10 Higress AI 网关助力构建私有 MCP 市场 AI应用架构演进 实现快 维护成本高 模块化 负载均衡 服务管理 RPC技术 高密度部署 原子、自治 按量使用 极致弹性 Runtime 流量网关 微服务网关 ESB 云原生网关 Kubernetes AI 网关 SOA架构 MCP Server HTTP Service gPRC Service 企业 MCP Server SSE Streamable HTTP Higress SaaS 服务 夸克 高德地图 MCP 直接路由 MCP Porxy OpenAPI 转换 MCP 提供 OAS 3.0 文档 • 接口列表+描述 • 出入参结构+描述 • 调用凭证+描述 DB 转换 MCP 提供数据库连接信息 采用SLB提供负载均衡能力，对外暴露服务 4. 推荐采用streamableHTTP协议 5. Nacos集群模式部署，提供高可用能力 streamableHTTP Nacos MCP Router部署最佳实践 演示 time POD POD stdio streamableHTTP 高德MCP Router （智能 路由） Router （代理 模式） time 1. 使用Nacos MCP

单智能体通过试错学习适用于简单任务，而多智能体则在复杂环境中通过合作或 竞争调整最佳策略。当前，智能体主要应用在自动化和情感需求等领域，但商业 化进程仍面临成本挑战，特别是在智能体交互过程中出现的错误循环和高 token 消耗问题。另外，中国政府积极推动人工智能的发展，各地相继出台相关政策。 预计到 2026 年，中国人工智能市场规模将超过 260 亿美元，将在政府、金融、 制造、能源、医疗、零售等多个领 1 海内外政策推动人工智能发展加速 ................................................................... 13 3.2 算力规模高增，企业对 AIGC 的投入意愿强 ..................................................... 15 3.3 多模态智能体有望实现大规模商业化 .. 效能讨论：成本与价值间的博弈 打造智能体并不是 0 成本，大语言模型的 token 消耗就是最直观的成本展示。由于 智能体的运行机制内包含反思和深度学习，这使得其在 token 消耗方面比传统大语言模 型高。相比于单智能体，多智能体又多了一层交互端的消耗，当多个智能体讨论且进入 错误循环中，无效成本将会显著提升。所以在效能方面，对智能体进行成本讨论以及优 化策略十分重要。 在商用智能体中，更先进的大

利用人工智能分析挖掘技术，针对金融市场信息获取和分类需求，实现金融资讯大数据癿采集、检索、 分析、挖掘、推送等应用。 数据采集 互联网 数据 行内结构化 数据 利用全斱位高敁癿大数据采集技术，提供多来源、多渠道、 多时敁、 多类型数据癿获取和收集工具 和 数据采集 手段，实现数据癿全面融合。 路透、万得、彭博、 合作机构数据（保 险、证券等） …… 网页、社交媒体、 债券违约信息 ; 债券发行量 境内网站 新华社、外汇管理局、证监会、上交所、 深交所、东斱财富网等财经网站 境外网站（英文） 路透、彭博、纽交所、纳斯达克等境外网 站 利用全斱位高敁癿大数据采集技术，提供多来源、多渠道、 多时敁、 多类型数据癿获取和收集工具和 手段，实现数据癿全面融合。 数据采集 HIVE 搜索引擎 数据模型 分析模型 关系型数 据库 数据抽取 数据挖掘 数据汇总 关系型 数据库 图片 实时性要求高 实时性要求丌 高 集市区 缓冲区 1. 最终交易价格： 13,965 万元。 2. 交易标的： 晓奥享荣 3. 是否构成借壳上市： 不构成借壳上市 4. 股份发行价格： 17.36 元 / 股 5

........................................................................................112 6.3.2 高并发处理方案.............................................................................................. 异常交易识别时效 72 小时 ≤24 小时 200% 全量数据分析覆盖率 12% ≥90% 650% 审计调整事项回溯准确 率 68% ≥95% 40% 为突破这些限制，领先机构已开始探索智能审计路径。德勤 2024 年技术展望显示，采用机器学习模型的审计项目将关键风险 识别速度提升 3 倍，但模型可解释性不足导致 35%的审计结论难以 通过监管复核。这揭示出当前 AI 应用需要解决的核心矛盾：如何 构建智能体提效方案的核心目标是通过深度集成 DeepSeek 的 先进 AI 能力，解决审计行业在效率、精度和合规性方面的关键痛 点。具体而言，方案需实现以下多维度的突破： 效率提升 通过自动化处理重复性高、规则明确的任务，将审计人员从繁琐的 基础工作中解放。例如，智能体可实现： - 凭证扫描与数据录入自 动化，处理速度提升 5-8 倍 - 交易流水异常检测响应时间缩短至分 钟级 - 报告初稿生成效率提高

存储方案升级应对大数据量冲击：云服务商通过采用更高性能的存储设备和更高效的存储架 构，结合对数据布局的优化，提供贴合不同在线业务需求的个性化存储服务，例如低时延块 存储（数据库多副本场景，<0.1ms延迟）、高带宽弹性盘（大数据单副本场景，吞吐量达 ��Gbps）、高速临时存储等。 1.2 软硬一体协同优化，应对AI时代激增的数据冲击 AI预训练和推理过程需要存储和预处理海量的多模态数据，数据向量化趋势也非常显著，为保障 �� 挑战：企业多元业务需求与 海量AI数据的冲击 02 2.1 在线业务面临性能与效率的极限挑战 面对企业海量在线业务以及复杂的创新场景，现有的云基础设施常常难以应对用户在弹性、低时 延和高吞吐等方面的基础性能问题。 复杂应用的复合性能挑战：以游戏场景为例，其涉及复杂的图形渲染，以及物理环境模拟、 人工智能算法等，既需要高性能单核算力，支撑Unity和Unreal Engine等3D引擎的运行，也 存算分离架构带来网络、存储性能压力：在大数据、数据库场景中，存算分离架构使计算节 点和存储节点之间的数据传输量大幅增加。大数据平台运行时，CPU负载普遍在60%以上， 内存带宽利用率可高达80%以上。高负载情况下，保持算力的平稳输出非常重要，包括性能 的线性度指标以及资源隔离的力度等。特别在是高密度计算环境下，单服务器下的租户更 多，相关租户之间的故障隔离以及缓存、存储等资源的共享访问问题会更加突出，既要确保

大模型部署方案，确保其能够在银行环境中高效、稳定、安全地运 行。该方案将结合银行的实际业务需求和技术架构，从以下几个方 面展开：首先，明确大模型在银行系统中的核心应用场景，包括但 不限于客户服务、风险管理和运营优化；其次，设计高可用、高性 能的模型部署架构，确保系统能够支持大规模并发请求；再次，制 定严格的数据安全和隐私保护策略，确保符合金融行业的监管要 求；最后，通过持续的性能监控和优化，保障大模型在实际运行中 的稳定性和效率。 进行实时监控，识别潜在风险并生成预警报告。模型将能够分析复 杂的金融交易模式，识别异常行为，并及时提醒相关人员采取措 施。预期在风险事件的平均识别时间上，能够缩短至 1 分钟以内。 第四，确保系统的高可用性与安全性。在部署过程中，将采用 分布式架构和容错机制，保证模型在高峰期的稳定运行。同时，结 合银行现有的安全策略，设计多层次的数据加密与访问控制机制， 确保客户数据与交易信息的安全性。 需求分析 在银行系统中部署 Deepseek 大模型需要首先明确需求，以确 保解决方案能够满足银行业务的复杂性和安全性要求。银行业的特 殊性决定了其对数据处理、模型精度、响应时间以及合规性有着极 高的要求。因此，需求分析应从功能性需求、性能需求、安全需求 以及合规性需求四个方面展开。 首先，功能性需求方面，Deepseek 大模型需要支持多样化的 银行业务场景，包括但不限于客户服务、风险评估、反欺诈、智能

智能将为人类劳动力创造新的工作——甚至可能是全新的工作类别。例如， 保险公司需要更多的员工，来执行控制和管理的工作，因为虚拟工作者和算 6 法需要人工监督。事实上，根据埃森哲的研究，68%的保险公司高管预计， 智能技术将在未来三年内为他们的公司带来就业机会的净增长。 如果保险公司想要应用人工智能技术，就需要相关员工(数据科学家、人工智 能开发人员等)具备构建、使用和维护这些技术的技能。这意味着要引入一些 虑到数据的敏感性。这意味着要为人工智能的使用制定严格的指导方针，以 及完全符合法规的流程。 调研数据同时显示，52%的保险公司高管认为，人机协作对于实现他们的核 心战略非常重要；61%的保险公司高管预计，未来 3 年，需要与人工智能合 作的员工比例将会上升；68%的保险公司高管认为，人工智能将对他们的工 作产生积极影响。 流程管理：利用智能自动化颠覆商业模式 7 智 年彻底改变它们的业务模式。75%的保 险公司高管认为，未来 3 年，保险公司很有可能实现任务和流程的自动化。 63%的保险公司高管认为，智能技术会给保险公司带来彻底的变革。 67%的保险公司高管认为，智能技术会帮助企业在激烈的市场竞争中脱颖而 出。52%的保险公司高管认为，只有通过能够实时生成信息的智能技术，才 能实现更智能的决策。 图 2：保险公司高管对 AI 变革业务预判 8

个领域 的应用日益广泛。从工业自动化到智能家居，从金融服务到医疗健 康，智能体凭借其自主决策、学习和适应能力，正在改变传统行业 的运作模式。然而，智能体的开发与部署仍面临诸多挑战，如复杂 性高、开发周期长、跨领域适应性差等问题。为了应对这些挑 战，DeepSeek 智能体开发通用方案应运而生。该方案旨在为企业 提供一套标准化、模块化的智能体开发框架，帮助开发者快速构建 高效、可靠且可扩展的智能体系统。 技术栈复杂：智 能体开发涉及机器学习、自然语言处理、物联网等多个技术领域， 开发者需要具备跨学科知识。 - 可扩展性差：现有解决方案往往针 对特定场景设计，难以适应不同业务需求的变化。 - 维护成本高： 智能体系统在部署后需要持续优化和更新，缺乏统一的开发框架会 增加维护难度。 基于上述背景，DeepSeek 智能体开发通用方案通过整合先进 技术与行业最佳实践，提供了以下核心价值： 1 工具，缩短开发周期，提升开发效率。 4. 持续优化支持：通过数 据驱动的方式，实时监控智能体性能并提供优化建议，降低维护成 本。 通过这一方案，企业能够显著降低智能体开发的技术门槛，缩 短产品上市时间，同时确保系统的高可用性和可扩展性。例如，在 智能制造领域，某企业利用 DeepSeek 方案在三个月内完成了智能 生产调度系统的开发，生产效率提升了 20%。这不仅体现了方案的 实际价值，也为智能体技术在更多行业的推广提供了有力支持。

求 纳管资源组 按量计费算力池 大模型专属 GPU 算力 包月独享 核心收益 长上下文 (64~128K) 超大模型启动加速 独享 GPU 算力集群 私有 API 服务调用 高并发、高可用 企业级鉴权流控 算力投入持续降低 DeepSeek 全系 列 R1 、 V3 满血版 R1-Distill-Llama-70B R1-Distill-Qwen-32B R1-Distill-Qwen-14B 平台价值 内置蒸馏方案，开箱即用 内置全系模型，一键精调 多 验证成本高 算力投入大，优化成本长期存 在 配置自主可控，快速验证并发用量 统一资源纳管，灵活切换 启动阶段 痛点 一键多副本，快速线性扩缩容 持续升级推理加速，降本增效 故障多，无法长时间稳定运行 规模扩大，人 / 物料管理难度高 开源资源分散，准备周期长 解决技术问题，体验效果滞后 工具链易上手，快速验证效果 工具链易上手，快速验证效果 统一资源纳管，灵活腾挪算力 故障感知修复 + 监控，高可 用 细致的资源级权限管控 稳定期 痛点 稳定期 痛点 探索期 痛点 根据业务量探索资源用量 机型差异大，选型难 验证效果链路长，耗时久 算力空闲情况多， ROI 低 探索期 TI 平台价值 内置全系模型，一键部署 免费体验，快速验证效果 服务部署 蒸馏精调 启动阶段 业务量变化，服务调整难度大

传统软件 SaaS 平台 初始投资 高 低 更新维护 用户自主管理 供应商负责 可扩展性 限制多 灵活调整 数据访问 设备绑定 随时随地可访问 协作功能 限制多 实时在线协作 通过以上分析可以看出，SaaS 平台在当今数字化转型的背景 下，为企业提供了更高的灵活性、便利性与经济性，是实现人工智 能行业大模型应用的理想选择。随着技术的进步和市场接受度的提 高，SaaS 平台必将在未来的商业环境中发挥更为重要的作用。 分市场。这些公司通常注重用户体验，提供快速上手的工具和良好 的客户支持。 为了评估市场机会与挑战，可以从以下几个角度进行分析： 1. 目标用户画像： o 中小企业：预算较低，对技术支持要求高。 o 大型企业：专业需求多样，追求定制化与集成化解决方 案。 2. 行业内需求： o 数据分析与决策提升。 o 自动化客户服务与支持。 o 个性化推荐系统的构建。 3. 竞争分析： o 模型库，以支持不同研究课题和学生学习的需要，同时希望通 过开源或优价模式降低使用成本。  政府和公共部门 政府机构在提高公共服务效率、进行数据分析和决策支持等方 面越发依赖 AI 技术。它们需要安全性高、符合合规性的解决 方案来处理敏感数据，推动数字政府的发展。 市场规模方面，预计到 2025 年，全球人工智能市场将达到近 1900 亿美元，年均增长率超过 42%。在这一增长中，SaaS 模式的