) 多任务操作、 第一人称世界模型、 低光照与模糊感 知 2025/04/08/ 为产业发展和投资决策提供最前瞻视角。 本期核心关注多任务操作、 第一人称世界模型、 低光照与模糊感知、 仿真数据生成等六大前沿进展 本期科技前瞻探索摘录来自港科大 ( 广州 ) 、上海交通大学、 浙江大学等研究机构的 6 篇最新学术前沿成果 , 包括 MOE-ACT: 多任务双臂操作规模化学习框架、 : 1: 对具身智能学术 研究前沿的影响 : 本文为多任务机器人模仿学习提 供 了轻量化的 MOE 融合方案 , 验证了稀疏专家激活机制在缓解多任务干 扰 上的有效性 , 其 FiLM 语言调制与多尺度注意力设计 , 可为后续 ACT 类策 略的多任务优化提供可复用的技术路径 , 同时也为双臂操作场景的轻量 化 多任务学习研究提供了新的实证参考。 2: 对具身智能产业界发展的参考意义 GPU 完成实时推理 , 适配工业机器人、人形机器人的现场控制需求 ; 其多任务统一策略的优化方案 , 可降低工业场景多任务操作的模型训 练 与 部署成本 , 为 3C 电子、 汽车制造等场景的双臂机器人规模化落地 , 提 供 了轻量化、 易部署的技术优化方向参考。 主要贡献 : 1: 提出轻量化多任务双臂操作框架 MOE-ACT: 将稀疏 MOE 模块融入 ACT 的

随着 Scale Up 组网规模的扩大与算力密度的提升，超节点的稳定性成为集群作业连续性的核心保障， 需考虑器件、网络、系统等层面的可靠特性，以化解系统故障风险。在此基础上，针对单用户专属、 多任务并行等差异化场景，超节点还需通过精细化资源调度、性能隔离与数据安全机制实现全场景 适配，在满足复杂业务需求的同时最大化释放算力价值。 4.2 系统特征 图 4.1 超节点集群组网架构（以昇腾 384 种分级恢复策略确保不同类型业务在 故障发生时均能被实时高效地处理，以最小时间代价保障业务连续性。 超节点发展报告 20 超节点实现大规模组网和稳定运行的同时，所面临的任务场景也从单任务独占到多任务并行逐步 多元化，不同场景对资源调度、性能隔离、数据安全要求差异显著。因此，构建适配全场景的系统能力， 成为超节点释放算力价值、支撑企业数字化转型的必然选择。 单任务场景下的资源独占与性能优化： 高要求，系统应将全部计算、存储和网络资源集中调配至单一任务，避免资源争用与调度损耗。用 户仅需关注超节点域的大小和模型切分策略，利用超节点互联优势即可实现计算性能的最大化释放。 多任务场景下的逻辑切分与高效协同： 面对多任务并行（如同时运行模型训练、在线推理、数据预处理）的混合负载场景，超节点应采 用逻辑切分技术，将物理超节点拆分为多个逻辑超节点，各逻辑节点间通过高速互联协议实现低时 延通信（如图

恢复到原始体素网格的维度, 并用于预测离散化的行动动作. 通过对场景进行三 维体素化, 并使用编码器进行场景、语言的特征提 取, PerAct 能够有效地对环境进行建模, 获取全局 感受野, 并在多任务设置中执行精确的 6-DoF (De- gree of freedom) 操控任务. 体素化提供了对场景的 强结构先验, 而 Perceiver Transformer 则允许模型 从少量演示中学习并泛化到新的环境和任务 representation based on NeRF[107] 近期同样用于 3D 场景表示的 3D 高斯 (3D Gau- ssian splatting, 3DGS)[108] 在许多任务上展现出了 惊人的能力与效率, 其显式的场景表示能够以高效 率和高精度渲染出具有丰富细节的场景, 在虚拟现 实、增强现实、同步定位与地图构建 (Simultan- eous localization 大模型处理环境观察与提示, 输 出动作序列, 动作序列可以是一系列关节角度或末 端执行器的位姿与夹爪开合数据, 这些序列将直接 用于控制机器人的运动. Gato[60] 是一个可以处理多 模态、多任务和具身化问题的通用智能体, 通过在 604 个涵盖不同的模态、观测和动作规范的任务上 进行预训练, Gato 可以完成玩游戏、为图像添加字 幕、操控真实机械臂堆叠方块等多种任务. 当 Gato 作为动作策略时

通过设计领域特定的特征提取器，捕 捉金融数据中的关键模式和规律，如 交易行为特征、风险评估指标等，增 强模型对金融领域数据的理解和处理 能力。 多任务学习 结合银行数字化转型中的多种任务 （如风险预测、客户画像、智能推荐 等），采用多任务学习框架，使模型 在多个任务中共享知识，提高整体效 率和效果。 领域自适应（ Domain Adaptation ）技术实现 增量学习策略 反馈闭环优化

5.2.1 领域特定微调.............................................................................59 5.2.2 多任务学习.................................................................................60 5.3 模型优化.... 相结合，从而增强模型的综合设计能力。 任务设计的复杂性应逐步增加，从简单的单任务到复杂的多任 务组合。初期可以专注于单一设计任务，如生成建筑平面图；随着 模型能力的提升，逐步引入多模态和多任务组合，如生成平面图的 同时提供材料建议和成本估算。 最后，为了确保任务设计的有效性，应定期对模型进行测试和 评估。通过引入真实建筑设计项目的数据，检验模型在各种任务中 的表现，并根据反馈不断优化任务设计。这一过程不仅有助于提高 中的应用效 果，及时发现并解决问题，可以不断优化模型，使其更好地服务于 建筑设计行业。 5.2.2 多任务学习 在建筑设计领域，多任务学习是一种有效的微调策略，它可以 在一个模型上同时处理多个相关的任务，从而提高模型的泛化能力 和效率。在 DeepSeek 大模型的应用中，多任务学习可以通过以下 几种方式实现： 首先，确定任务之间的相关性是关键。在建筑设计中，常见的 任务包括建筑

Agent Core 平台和 Agentic IDE 工具 Kiro ，助力企业快速构建和运行 Agent 应用； 谷歌依靠 Gemini 系列大模型、通用人工智能助手 Project Astra 和多任务智能体 Project Mariner ，打造强大的智能 Agent 产品矩阵； OpenAI 凭借 Operator 图形界面交互智能体和 ChatGPT Agent 多模态任务执行中枢，为企业提供便捷高效的智能交互体验。 AI Agent 风口已至：科技巨头竞逐企业级 Agent 赛 道 Google • Gemini 系列大模型 • 通用人工智能助手 Project Astra • 多任务智能体 Project Mariner AWS • Agentic IDE 工具 Kiro 科技巨头纷纷布局企业级 Agent • Amazon Bedrock AgentCore 所得”的跨系统操控 庭宇科技：“ Lybic+Agentkit” 打造企业多任务秒级响应自动化智能助理 庭宇科技和火山引擎合作推出“ Lybic+Agentkit” 企业自动化智能助理。作为火山引擎 Agentkit 智能体平台核心生 态伙伴 ，基于其面向 Agent

肯德基到公司 查一下附近卖麻小的餐厅 预约保洁阿姨上门 相同意思 多种表达 多轮 交互 相同表达 多种意思 口语 表达 网络 流行语 表达错误 和纠正 混合 多任务 了解用 户习惯 语音识别 的错误 更好的 用户体验 更高的 用户活跃度 更多的 高质量数据 • HI 的介入使得对话系统更加可 靠 • 由 AI 决定何时需要

搭配机器人手臂与灵巧手，兼具移动能力；足式人形机器人着重腿部 运动能力，手部主要用于平衡；通用人形机器人具备双足、双臂、双 手及各类感知和人工智能功能，有全面软硬件基础，能适应开放环境 中的多任务。 01 2.人形机器人的发展历程 1950年—1980年，为人形机器人的概念萌芽阶段，图灵在其论文 中提出了人工智能可能的发展方向，为机器人的概念奠定了基础。现 代机器人的雏形是 CoPa模型，利用GPT-4V等基础模型的常识知识，生成任务导向的抓取 姿态及运动规划方案。其三，视觉-语言-动作模型（VLA）路线，在 VLM基础上增加运动控制层。典型代表谷歌RT-H，通过多任务数据集 联合训练语言-视觉-动作模块，学习自适应动作策略以解决轨迹决策问 题。其四，多模态大模型路线，未来主导方向。如MIT与IBM的MultiPY， 融合视觉、触觉等3D环境特征，通过多视图关联构建以对象为中心的场

端测SDK （2025.03） 具身大脑 端到端VLA 9 具身大模型离实用还有差距 2023及之前 2025 及之后 2024 大模型 大数据 基本能力 单任务 单本体 单场景 多任务 单本体 单场景 通用智能系统 多本体 多场景 Scaling Law 在大语言模型和多模态大模型 上都得到了验证 感知和理解 决策和规划 执行和协作 评估和反馈 端到端 多模态大模型机器人