.........................................................................................100 2.2.3 语言大模型................................................................................................ .......................................................................................379 7.2.4 视觉语言导航................................................................................................. ......................................................................................389 7.3.3 视觉-语言-行动模型..............................................................................................

.......................................................................................85 5.1.1 编程语言选择.............................................................................88 5.1.2 开发工具...... 割、特征提取等功能，以支持后续的 AI 识别和分析。 考虑到项目的实际需求，以下是一些推荐的图像处理软件及其 特点：  OpenCV：作为开源的计算机视觉库，OpenCV 提供了丰富的 图像处理功能，并且支持多种编程语言，如 C++、Python 等。其强大的社区支持和持续更新使其成为图像处理领域的首 选工具之一。  MATLAB：MATLAB 提供了专门的图像处理工具箱，适合进 行复杂的图像分析和算法开发。其强大的矩阵运算能力和丰富 Docker 和 Kubernetes 等技术实现资源的动态调度和管理。此外，系统提供 了 RESTful API 接口，便于与其他系统集成。 以下是系统软件架构的主要技术栈： - 编程语言：Python（AI 识别模块）、C++ （图像预处理模块） - 深度学习框架： TensorFlow、PyTorch - 数据库：MySQL（存储系统日志和用户 数据）、Redis （缓存实时数据）

，低空具身智能面临“不可靠” ，“不精准”和“不可控”的挑战 “ 目标理解不可靠” “ 动作生成不精准” “ 体系安全不可控” 行动路径撞上障碍物 动作生成误差导致机械臂需要执行 冗余动作才能完成任务 语言指令与场景理解不稳定 ，任务 目标识别易偏差 端到端决策难以解释 ，对突发场景 响应不足 ，系统级可靠性难以保 障 动作生成误差导致无人机机械臂操作效率低下 无人机并未导航至目标点就提前停止 万条轨迹指令， 是当前最大真实 感 VLN 语料 Travel UAV 发布 12k 条 6-DoF 轨迹 ，用于研究语 言辅助规划与控制协 同 VLD 首个面向 无人机 终端投递场景的 视觉语言导航数 据集 AerialVLN AirSim+Unreal 渲 染 25 座城市 ， 8k 人 类指令轨迹对 正加速推动群体智能 以 MDOT 为代表的单一视觉感知出发 ，群体智能正实现向复杂具身推理的跨 以及灰白色的建筑后 ， 目的地 就在你进入新街道前的一丛灌木。 大 语 言 模 型 语言编码器 感知理解 动作执行 你快到了。 目的地就在你右方 我离目的地近了吗？ [act] [que] LLM 预测头 进程 Δh 图像编 码器 语言输出 我离目的地近了吗？ 多模态 大模型 动作解码器 场景理解语义 飞行控制执行

吴文俊人工智能科技进步奖一等奖 l 吴文俊人工智能优秀青年奖 l 天津市自然科学一等奖 l 黑龙江省自然科学一等奖 l 天津市科技进步奖二等奖 l 中国智能交通协会科技进步奖二等奖 l 2022 CVPR 视觉语言多模态挑战赛冠军 l 2023 CVPR 开放世界目标检测挑战赛冠军 l 2024 昇腾 AI 创新大赛天津区域决赛高校赛道金奖 空军“无人争锋”挑战赛冠军 基础平台建设 构建了国内外广泛使用的无人机视觉基准数据平台 数据基座 感 - 策 - 控一体化构建 仿真－物理具身数据基座 大规模低空数据平台 支撑无人机全天候感知 多智能体自主交互 建立集群协同数据基准 视觉－语言－导航 (VLN) 多模态动态感知 多任务协同学习 视觉－语言－动作 (VLA) 多智能体社会化交互 群体态势自主感知 集 群 协 同 感 控 一 体 视 觉感 四 未来工作 一 研究背景 二

性 高 · 磁 铁 可 旋 转 调 节 创意屏 数字人 AI 数字讲解员 AI 导览员 低空展厅中 ， AI 数字员工可以化身展厅 AI 导览员 ， 7*24 小时在线随时切换语言 ， 为参观者提供沉浸式的迎宾、 讲解导览等体验 ， 加速数字化、 智能化服务升级。 • 智能化 • AI 数字人可表现出人类的情感状态 ，带来更便捷、更温情的交互体验。 他们可以回答问题、提供解释和讲解、 导参观者 ，解说 展品的细节 ，使参观者获得更具沉浸感和互动性的展览体验。 l 多媒体展示 l 虚拟对话 l 产品演示 l 自动迎接 l 导览服务 l 问答互动 l 虚拟表演 l 语言切换 • 互动性 • 电子沙盘可以增强参观者和展示内容的互动。通过触摸屏幕或其他 交互设备 ，参观者可以直观地操作模型 ，进行缩放、旋转等操作 ， 从而更好地了解展示内容。 • 动态性 语音导览讲解 、 灵活移动自由发言用 较少的扬声 器 实 现 更 大 范 围 的 声 场 覆 盖 人声部分高保真还原 ， 细节 表现丰富为参观访客 提供 更 清 晰 的 科 普宣传 • 语言清晰 、 无失真 、 声压余量充分 、 声场分 布均匀 、 无声反馈啸叫 ， • 支持多点视频会议 ， 促进远程协作和决策。 • 快速响应紧急情况 ， 提供高效的指挥调度。 •

实时视频分析 理论计算法 API 接入 机场上云 API 接入 智能算法 API 接入 基础设备 中科云图无人机设备 操作系统 麒 麟 /openEuler Ubuntu/Debian 编程语言 Python 硬件平台 ARM 平台 英伟达 GPU 平台 昇腾 NPU 开发框架 PyTorch OpenMMLab YOLO OpenCV 产品模块 全域数据采集 消防大队 “ 在规定时间、规定区域的 流动商贩经营不做关注” “ 重点关注城镇居民区 的垃圾堆积” “ 对于游乐园、商场区域 的人群聚集无需上报” 只需要输入自然语言级 别的复核标准即可 原始检测结果包含多种信息 算法识别受限，误报率较高 严重干扰监管工作 符合需求的结果 有技术 有效率

代优化, 推动低空智联网向更高层次的自智网 络持续演进. 考虑到大语言模型 (large language model, LLM) 在语义理解、任务规划与内容生成等领 域表现出的卓越能力, 我们认为 LLM 可以充当 AI 编排器来调度 AI 功能. 具体而言, 网络管理人员 通过自然语言与 LLM 交互, LLM 可以精准理解语言背后的网络管理深层目标, 并自动拆解为原子任 务, 例如 “任务完成率 Networking” 的一个关键领域. 以 ChatGPT 为代表的生成式 AI 将颠覆网络智能管控的传统模式. 它们通过在大规模语料库上进行预 训练, 进而在多种下游任务中微调, 从而在网络智能管控和通信语言理解等方面展现出巨大潜力. 对 于基于数字孪生的网络管控机制, 生成式 AI 可以增强数据采集, 创造出更多的合成数据, 尤其是一些 敏感或高安全领域的数据和长尾数据, 从而填补真实数据中的缺口, 提升孪生模型精度; 提升孪生模型精度; 生成式 AI 可 以智能制定并执行网络管理策略, 或者快速产生多种设计和运行方案, 让网络运维管理人员或决策者 从中选择最优解, 减少传统方法下的尝试和错误; 借助大语言模型, 还可以实现更友好的人机协同, 使 得非网络专业人士也能够轻松理解和使用数字孪生模型, 显著提高了使用者对数字孪生模型的理解和 使用效率, 进一步扩大了数字孪生的应用范围. 数字孪生同样也能增强生成式 AI

提供 SaaS 服务，以无人机为载体构建“空天地一体化”立 体场景解决方案，满足 XX 区政府的防尘应用需求。 无人机城区防尘监测系统：完整技术架构 + 全方位功能部署 PaaS 能力 自然语言 人脸识别 智能安全管理 Storm 图像识别 Hadoop 自主导航 场地学习 IaaS 基础设施 Docker 容器 云存储 数据库 备份 管理人员 政府机构 商业合作伙伴 大数据

标准化缺失是另一个关键问题。当前，低空产业缺乏统一的数据质量标准、开发 规范与管理体系。不同企业、不同系统的数据格式、编码规则、采集频率等各不相 同，数据的一致性和准确性难以保障。这就如同不同国家使用不同的语言和度量单 位，极大地阻碍了数据的交流与共享。 应用效能瓶颈也严重制约着低空产业的发展。历史数据与新业务系统兼容性差， 使得大量宝贵的历史数据无法有效利用。同时，面对动态变化的场景需求，传统的数

尘场景提供 SaaS 服务，以无人机为载体构建“空天地一 体化”立体场景解决方案，满足 XX 区政府的防尘应用需 求。 无人机城区防尘监测系统：完整技术架构 + 全方位功能部署 PaaS 能力 自然语言 人脸识别 智能安全管理 Storm 图像识别 Hadoop 自主导航 场地学习 IaaS 基础设施 Docker 容器 云存储 数据库 备份 管理人员 政府机构 商业合作伙伴 大数据