将计算密集层绑定高算力设备，显存密集算子调度至大显存设备，以达到消除算力短板目的。 （4）通信-计算重叠优化：为了进一步减少通信延迟对整体吞吐的影响，调度器与底层 高性能异构通信协议深度协同，异步执行通信操作，并与后续非依赖计算（如下一微批次前 向传播）重叠，利用通信融合、环形拓扑优化等技术隐藏延迟，提升并行场景吞吐率。 （5）并行策略联动调度：系统智能地融合模型结构、集成 DAG/拓扑/负载数据及实时 阶段在英伟达不同代际 AI 芯片上的高效协同。 （2）在 KV Cache 高效传输方面：为减少 Prefill 和 Decode 间的传输延迟，实现异步 分层 KV Cache 传输方案，在 Prefill 阶段，每层完成即触发该层缓存的异步传输，同步开启 下一层计算，从而达到计算与通信的重叠。 基于 Splitwise 的异构混合推理方案，以对话追踪任务为场景和 A100 为基准，基于 提出具备高吞吐、低时延与强可扩展性的混合推理方案。 （1）在数据传输方面：构建异构 GPU 之间 KV Cache 高速异步传输引擎，支持异构 GPU 显存间高速直连传输与 GPU 显存-CPU 内存间异步非阻塞传输，支持按 Layer 或 Block 24 异步传输 KV Cache，显著降低异构 KV Cache 通信开销，提升推理吞吐。 （2）在调度方面：构建面向异构芯片的全局资源调度模块，支持从单

有模块。同时，TS/JS 支持动态加载来延迟模块加载时机，但实现路径依赖异 步语义，要求整个调用链保持异步风格，开发成本较高。为解决该问题，ArkTS 运行时引入了 自动延迟加载（lazy import）机制：只需在 import 语句中添加 lazy 关键字，即可使模块在首次使用时按需加载，支持同步与异步调用场景， 无需改动业务逻辑结构。 此外，TS/JS 运行时通常为单线程架构，并仅提供基于消息传递的 应用开发的有些场景中，有些模块被使用的可能性很低，或者并不需要立 即被使用。针对这些模块，ArkTS 提供了两种优化启动性能的方法：动态加载 8 和延迟加载 9。  动态加载：使用一个异步函数来动态导入模块，返回一个 Promise 对 象，实现模块的异步加载，减少了启动时的加载量，提高了启动性能。  延迟加载：import 关键字后面加上 lazy，模块会在第一次被使用时自 动同步加载。 动态加载与延迟加载的对比： 2-3：ArkTS 对象共享机制 当多个并发实例尝试同时更新 Sendable 数据时，会发生数据竞争，例如 ArkTS 共享容器的多线程操作。因此，ArkTS 提供异步锁机制来避免不同并发实 例间的数据竞争，并提供了异步等待机制来控制多线程处理数据的时序。同时， 还可以通过对象冻结接口将对象冻结为只读，从而避免数据竞争问题。 Sendable 对象提供了并发实例间高效的通信能力，即引用传递，适用于开发者

主要特点： 高可靠：通过事务日志、故障自动恢复等机制降低停机风险 高并发事务处理：通过高效利用内存缓存和优化资源调度，支持低时延、高并发的事务处理 集成性强：借助 MQ 消息队列，实现主机不同系统间异步通信，并提供完整事务处理和消息管理 主要特点： 高并发事务处理：主机应用一般高度定制，应用层与数据层紧密集成，提供高并发、高吞吐量事务处理能力， 尤其适用于需要快速响应的金融交易或实时数据处理 事务无锁化、分片并行调度等分布式技术，在云原生架构上重构主机中间件能力，支撑业务从“稳态运行”到 “敏态创新”的跨越。 (1) 分布式消息 主机消息队列 MQ 提供高性能与强一致的消息通信能力，实现系统解耦与异步通信，有效应对流量洪峰。 在此基础之上，分布式消息服务需进一步满足以下能力： (2) 分布式事务 传统主机通过 CICS 等中间件提供强一致性事务处理能力，云上场景分布式事务需满足以下能力： 准投递和强一致性， 如资金清算与跨境支付场景，交易指令通过指定队列，直达指定系统，避免广播式传递导致的安全风险与 处理冲突。发布订阅模式，基于一对多广播和动态扩展订阅方等技术实现，广泛应用于需要异步通信、实 时数据同步和事件驱动的场景，如股票行情推送场景，股票价格需毫秒级同步到千万级终端，通过此模式 实现实时数据分发。 ② 定时消息：基于分层时间轮算法实现任意时长的定时消息，结合时钟同步、线程优先级、消息预加载

企业提供脱敏经营数据即可生成信用评分； 医疗工业领域破解核心数据分散难题，支持新药研发与 智能制造，推动数据安全共享与产业融合。 突破方向 隐私保护计算技术应重点突破以下方向： 通信优化：参数压缩（剪枝/量化）与异步调度减 少传输量； 分层防御：DP+HE加密梯度，TEE硬件隔离，协议层 隐私对齐，应用层对抗检测； 消除偏差：反事实样本对齐，个性化联邦微调，迁移 学习及端云协同提升泛化能力。 区块链发展需从以下四个方面实现突破： 针对以上问题，隐私保护计算技术应重点突破以下方向： 一是优化通信效率。从采用参数压缩与选择性传输减少数据传输量，以及异步更新与动态调度提高通信效率等两方面进 行突破。参数压缩与选择性传输采用参数剪枝、稀疏化或量化技术、低秩分解、知识蒸馏等技术减少数据传输量。异步更新 与动态调度允许参与方按本地资源状况异步上传参数，并通过优先级调度减少冗余通信。 二是构建分层防御体系。在基础层，结合差分隐私（DP）与同态加 练效率，通过分布式特征标准化提升模型准确率。 图：隐私保护计算技术的应用现状 图：隐私保护计算技术的突破方向 数据异质性 隐私保护计算中的挑战 反事实学习 个性化联邦学习 通信效率 异步更新 参数压缩 安全风险 机密性攻击 完整性攻击 需要高数据共享以实现 高效风险控制。 跨机构联合风控 数据共享高，隐私需求 相对较低。 跨部门数据共享 隐私需求低，但数据 共享有限。

开发平台、LangChain/LangGraph 等 Agent 框架，极大 降低了 Agent 开发门槛。 架构设计的模块化与可扩展性：结合 Kubernetes 和 Dapr 技术，实现了微服务化部署、弹性扩缩容和服务间异步 通信，为 Agent 系统的稳定性和可维护性提供了技术保障。 开源社区与行业标准的形成：AutoGPT、MetaGPT 等开源项目加速了 Agent 技术的普及，同时行业逐渐形成关于 数据隐 电子健康记录数据 AIDA数据 云基础设施 云计算 云数据库 设备 无服务器运算 AI基础设施 运维管理 监控与仪表盘 设备管理 智能AI运维 智能韧性 平台工程 配置管理 微前端 微服务架构 异步消息 RESTful API Serverless架构 设计系统 动态表单 打印套件 调度 API管理 企业应用集成 事件总线 数据流 服务网格 通知推送 Websocker通信

。 2.2.3.2 Function Flow Runtime Kit（任务并发调度服务） FFRT: Function Flow Runtime，一种并发编程框架，提供以数据依赖的方式构建异步 并发任务的能力；包括数据依赖管理、任务执行器、系统事件处理等。并采用基于协程的任 务执行方式，可以提高任务并行度、提升线程利用率、降低系统线程总数；充分利用多核平 台的计算资源，保证系统对所 场景绘制能力，供开发者便捷、高效地构建 3D 场景并完成渲染。 ⚫ 提供加载并解析 glTF 模型的能力，支持开发者将 glTF 模型文件置于应用文件沙盒 中，通过 ArkGraphics 3D 提供的异步接口完成模型的加载以及渲染。具体可见 Scene (场景管理)，glTF 相关介绍请参见 glTF-Specification。 58 ⚫ 提供自定义灯光（Light）、相机（ 统计模块负载，不自己开启线程。 ⚫ Worker 线程：执行常驻任务，常驻运行的 CPU 密集型、耗时任务。 ⚫ FFRT 任务池： - 系统任务：系统分发到 FFRT 线程的业务，例如异步 I/O 任务等，开发者无需关 注。 - 用户任务：开发者创建的 C/C++耗时任务，支持负载均衡及线程生命周期管理 等能力。 ⚫ pthread 线程：采用 C/C++开发的模块，需要后台运行或者耗时的

HAR/HSP/HAP/APP 包。Hvigor 具备以 下特点：  高效编译：充分利用系统资源，并行执行编译请求，提升编译效率；综合历史信息， 精确增量检查，高度复用往次构建产物，缩短编译时长；优化编排任务序列，异步 化执行编译操作，减小等待间隙，加速构建流程。  多目标构建：具有多目标构建能力，允许开发者灵活选择源码文件、资源信息、部 署设备等应用要素，形成多种组合。通过简易配置，匹配自定义构建目标，一键打

（二）服务层 - 内容安全防护 输入输出审核过滤。使用前文所述“内容安全护栏”实现对用户输入和模型输出执行 审核过滤。为适配多样化业务场景，针对文本、图像模态采用同步防控策略，针对音 频和视频采用异步防控策略，赋予用户对内容做拦截和撤回的能力。 3.3.3 持续提升防护能力 对内总结提炼防御方法，开展红蓝对抗驱动威胁识别能力升级；对外依托安全挑战赛 促进防御体系进化。 65 64 ALIBABA

数据源层包括园区各智能化子系统数据，各门户网站基础信息数据及城市公共信息数据。数据处理 层通过数据集成工具，按照统一的数据标准，进行数据的抽取、清洗与转换，支持数据的触发式更新、 增量更新、定时抽取等多种同步和异步的数据维护方案，在多种异构的数据库和数据源之间完成数据的 集成与存储。 数据服务层主要建有 GIS（地理信息系统）数据库、归档数据库、共享数据库、数据仓库，以及根 据需求建立的其他数据库。数

现按需计算和自 动扩缩容 化部署、监控和管 理，实现故障感 知、自动重启和自 愈能力 （3）引入日志和 指标监控系统，实 时监测应用程序 的性能和健康状 态，及时发现和处 理异常 式，利用事件流和 异步消息传递来 实现解耦合灵活 性，以应对复杂业 务场景和快速变 化的需求 （3）进行持续创 新和实验，尝试新 兴的云原生技术， 如边缘计算、无服 务器容器等，以探 索更高效、可靠和 创新的解决方案