鲲振宇智能 科技有限责任公司、中国质量认证中心有限公司 编写组成员（排名不分先后） 马季春 王曼 施晶峰 王月 张建峥 赵以爽 杨军刚 杨伊鸣 郭光鑫 吴茜 梁宇 栋 马凤鸣 党朝志 赵金辉 陈常水 颜万瑞 吴涛 顾剑波 谈儒猛 夏冬 胡铭珊 孙东旺、熊家振、许轶 版权声明 本研究报告版权属于全球计算联盟。 使用说明：未经全球计算联盟事先的书面授权，不得以任何方式复制、抄袭、影

该图片描述了项 目 & 文档 & 开发视图页面每 月 的使用趋势。其中横坐标 为 一天中的各个时间，纵坐 标 表示项目 & 文档 & 开发 视图页 面使用数量，单位为 个，总 体趋势在 9 月份有高 峰。 从应用角度来看，从文本、图片、 语音视频等全模态支 撑 LLMOps 运维系统。 语音 模型： Whisper GPT-4o 日志解析 异常检测 根因分析 报告生成 图片

5 未来规划和合作共建 未来规划和合作共建 Nacos MCP 社区讨论钉钉群 Nacos 社区讨论钉钉群 谢谢 Thank You Higress MCP 服务管理 岛 风 （ 徐 靖 峰 ） Higress Mantainer | Kirito 的技术分享 2025/7/10 Higress AI 网关助力构建私有 MCP 市场 AI应用架构演进 实现快 维护成本高 模块化

模型训练数据，以降低成本并提高弹性。通过分层存储策略，将热 数据存储在高速 SSD 或 NVMe 设备上，冷数据则迁移至成本较低 的 HDD 或对象存储中。 其次，数据存储需支持高并发读写操作，以应对银行业务的高 峰时段。为此，采用分布式存储系统，如 HDFS 或 Ceph，确保数 据分片和冗余存储，提高系统容错能力。同时，引入缓存机制，如 Redis 或 Memcached，缓存频繁访问的数据，进一步降低访问延 源，根据实际需求动态调整计算资源的使用量，避免过度配置。例 如，通过 AWS 或 Azure 的弹性计算服务，可以按需采购 GPU 资 源，降低固定硬件投资。 软件许可费用是另一个重要支出项，建议通过谈判获得批量许 可折扣，或选择开源解决方案以降低许可成本。此外，开发团队应 优化代码和算法，减少不必要的计算资源消耗，从而降低运行成 本。运维成本的控制可以通过自动化运维工具实现，如使用 Kubernetes

采用 Kubernetes 集群实现弹性资源调度，根据 CRM 业务峰谷特 征配置自动扩缩容策略。例如： - 工作日 9:00-11:00 自动扩容至 4 个 GPU 节点，处理客户咨询高 峰 - 夜间缩容至 1 个节点，降低 60%云计算成本 资源分配参数通过 Prometheus 监控实时调整，确保 GPU 利用率 保持在 75%-85%最优区间。 2. 模型推理加速 部署 TensorRT 采样点 达标阈值 监控工具 单请求 P99 响应时间 ≤1.8 秒 Prometheus 并发吞吐 500 并发 TPS ≥120 次/秒 Grafana 仪表 盘 资源占用 GPU 利用率峰 值 ≤85% NVIDIA DCGM 异常处理机制 当出现以下情况时自动触发降级策略： - 连续 3 次请求超时（>5 秒）自动切换至轻量化本地模型 - GPU 内存占用超过 90%时启动动态批处理限制

万元），网络设备 1 套（30 万元），预计总硬件 采购成本为 230 万元。  软件许可：数据库管理系统许可（50 万元），机器学习平台 许可（30 万元），开发工具许可（20 万元），预计总软件许 可成本为 100 万元。  培训费用：技术培训（20 万元），管理培训（10 万元），预 计总培训费用为 30 万元。  运维成本：日常运维（50 万元/年），设备维护（30 万元/ 年），预计总运维成本为

服务质量。支持上传图片和文字说明，并确保用户反馈的跟踪 和处理。 4. 个性化推荐：基于 AI 大模型的算法分析用户的乘车习惯，提 供个性化的乘车方案、线路提示及其他相关服务，比如避开高 峰期。 5. 数据可视化：通过图表和面板展示客流量分析、服务质量评估 等信息。用户可以直观地查看数据变化趋势，帮助他们做出更 合理的出行决策。 用户交互界面的设计还需考虑无障碍功能，确保满足老年人、 短了 20 秒。 在票务管理上，AI 大模型的应用同样展示了成功的潜力。某城 市的地铁公司采用基于机器学习的动态定价策略，以更好地匹配供 需关系。在高峰时段，票价会适度上调，鼓励部分乘客选择错峰出 行，而在非高峰时段，票价则相应降低。这一调整不仅提升了运营 的收益，也改善了整体乘车体验，成功吸引了更多人选择公共交 通。 最后，结合以上成功实例，城市轨道交通行业的 AI 大模型应 用

配置最大连接数=500，空闲超时 300 秒。 容灾与降级 - 熔断机制：当第三方系统（如税务数据接口）响应时间超过 2 ” ” 秒，自动切换至本地缓存数据，并标记 估算结果 。 - 流量削峰：非实时审计任务延迟至业务低谷期处理，通过定时任 务批量执行（如每日 0 点至 6 点）。 监控指标 部署 Prometheus+Grafana 监控以下核心指标： - API 平均响应时间≤200ms