将计算密集层绑定高算力设备，显存密集算子调度至大显存设备，以达到消除算力短板目的。 （4）通信-计算重叠优化：为了进一步减少通信延迟对整体吞吐的影响，调度器与底层 高性能异构通信协议深度协同，异步执行通信操作，并与后续非依赖计算（如下一微批次前 向传播）重叠，利用通信融合、环形拓扑优化等技术隐藏延迟，提升并行场景吞吐率。 （5）并行策略联动调度：系统智能地融合模型结构、集成 DAG/拓扑/负载数据及实时 阶段在英伟达不同代际 AI 芯片上的高效协同。 （2）在 KV Cache 高效传输方面：为减少 Prefill 和 Decode 间的传输延迟，实现异步 分层 KV Cache 传输方案，在 Prefill 阶段，每层完成即触发该层缓存的异步传输，同步开启 下一层计算，从而达到计算与通信的重叠。 基于 Splitwise 的异构混合推理方案，以对话追踪任务为场景和 A100 为基准，基于 提出具备高吞吐、低时延与强可扩展性的混合推理方案。 （1）在数据传输方面：构建异构 GPU 之间 KV Cache 高速异步传输引擎，支持异构 GPU 显存间高速直连传输与 GPU 显存-CPU 内存间异步非阻塞传输，支持按 Layer 或 Block 24 异步传输 KV Cache，显著降低异构 KV Cache 通信开销，提升推理吞吐。 （2）在调度方面：构建面向异构芯片的全局资源调度模块，支持从单

主要特点： 高可靠：通过事务日志、故障自动恢复等机制降低停机风险 高并发事务处理：通过高效利用内存缓存和优化资源调度，支持低时延、高并发的事务处理 集成性强：借助 MQ 消息队列，实现主机不同系统间异步通信，并提供完整事务处理和消息管理 主要特点： 高并发事务处理：主机应用一般高度定制，应用层与数据层紧密集成，提供高并发、高吞吐量事务处理能力， 尤其适用于需要快速响应的金融交易或实时数据处理 事务无锁化、分片并行调度等分布式技术，在云原生架构上重构主机中间件能力，支撑业务从“稳态运行”到 “敏态创新”的跨越。 (1) 分布式消息 主机消息队列 MQ 提供高性能与强一致的消息通信能力，实现系统解耦与异步通信，有效应对流量洪峰。 在此基础之上，分布式消息服务需进一步满足以下能力： (2) 分布式事务 传统主机通过 CICS 等中间件提供强一致性事务处理能力，云上场景分布式事务需满足以下能力： 准投递和强一致性， 如资金清算与跨境支付场景，交易指令通过指定队列，直达指定系统，避免广播式传递导致的安全风险与 处理冲突。发布订阅模式，基于一对多广播和动态扩展订阅方等技术实现，广泛应用于需要异步通信、实 时数据同步和事件驱动的场景，如股票行情推送场景，股票价格需毫秒级同步到千万级终端，通过此模式 实现实时数据分发。 ② 定时消息：基于分层时间轮算法实现任意时长的定时消息，结合时钟同步、线程优先级、消息预加载

开发平台、LangChain/LangGraph 等 Agent 框架，极大 降低了 Agent 开发门槛。 架构设计的模块化与可扩展性：结合 Kubernetes 和 Dapr 技术，实现了微服务化部署、弹性扩缩容和服务间异步 通信，为 Agent 系统的稳定性和可维护性提供了技术保障。 开源社区与行业标准的形成：AutoGPT、MetaGPT 等开源项目加速了 Agent 技术的普及，同时行业逐渐形成关于 数据隐 电子健康记录数据 AIDA数据 云基础设施 云计算 云数据库 设备 无服务器运算 AI基础设施 运维管理 监控与仪表盘 设备管理 智能AI运维 智能韧性 平台工程 配置管理 微前端 微服务架构 异步消息 RESTful API Serverless架构 设计系统 动态表单 打印套件 调度 API管理 企业应用集成 事件总线 数据流 服务网格 通知推送 Websocker通信

。 2.2.3.2 Function Flow Runtime Kit（任务并发调度服务） FFRT: Function Flow Runtime，一种并发编程框架，提供以数据依赖的方式构建异步 并发任务的能力；包括数据依赖管理、任务执行器、系统事件处理等。并采用基于协程的任 务执行方式，可以提高任务并行度、提升线程利用率、降低系统线程总数；充分利用多核平 台的计算资源，保证系统对所 场景绘制能力，供开发者便捷、高效地构建 3D 场景并完成渲染。 ⚫ 提供加载并解析 glTF 模型的能力，支持开发者将 glTF 模型文件置于应用文件沙盒 中，通过 ArkGraphics 3D 提供的异步接口完成模型的加载以及渲染。具体可见 Scene (场景管理)，glTF 相关介绍请参见 glTF-Specification。 58 ⚫ 提供自定义灯光（Light）、相机（ 统计模块负载，不自己开启线程。 ⚫ Worker 线程：执行常驻任务，常驻运行的 CPU 密集型、耗时任务。 ⚫ FFRT 任务池： - 系统任务：系统分发到 FFRT 线程的业务，例如异步 I/O 任务等，开发者无需关 注。 - 用户任务：开发者创建的 C/C++耗时任务，支持负载均衡及线程生命周期管理 等能力。 ⚫ pthread 线程：采用 C/C++开发的模块，需要后台运行或者耗时的

（二）服务层 - 内容安全防护 输入输出审核过滤。使用前文所述“内容安全护栏”实现对用户输入和模型输出执行 审核过滤。为适配多样化业务场景，针对文本、图像模态采用同步防控策略，针对音 频和视频采用异步防控策略，赋予用户对内容做拦截和撤回的能力。 3.3.3 持续提升防护能力 对内总结提炼防御方法，开展红蓝对抗驱动威胁识别能力升级；对外依托安全挑战赛 促进防御体系进化。 65 64 ALIBABA

数据源层包括园区各智能化子系统数据，各门户网站基础信息数据及城市公共信息数据。数据处理 层通过数据集成工具，按照统一的数据标准，进行数据的抽取、清洗与转换，支持数据的触发式更新、 增量更新、定时抽取等多种同步和异步的数据维护方案，在多种异构的数据库和数据源之间完成数据的 集成与存储。 数据服务层主要建有 GIS（地理信息系统）数据库、归档数据库、共享数据库、数据仓库，以及根 据需求建立的其他数据库。数