计算机 2024 年 01 月 08 日 盛视科技(002990.SZ) 深耕智慧口岸，海外业务、多模态AI构筑第二增长曲线 请通过合法途径获取本公司研究报告，如经由未经许可的渠道获得研究报告，请慎重使用并注意阅读研究报告尾页的声明内容。 公 司 报 告 公 司 首 次 覆 盖 报 告 强烈推荐（首次） 股价：31.99 元 主要数据 季度末，公司完成了对云南河口口岸（1.66 亿元）、瑞丽（含 畹町）口岸（1.06 亿元）两个亿级合同的签署。据我们不完全统计，公司 2023 年以来中标项目金额合计已达 9.78 亿元。  公司携手华为出海，推进多模态 AI 赋能业务场景。“一带一路”极大推动 了我国边境地区口岸数字化的需求，同时也带动了沿线国家的海外口岸数 字化需求，公司目前已联手华为大力布局海外市场。“一带一路”沿线国 家是公司海外市场重点布局的区域，截至 年公司与华为签署协议将在全球海 关领域开展全面合作，包括海关、口岸和综保区/自贸区等产品和解决方案 开发、市场推广、项目拓展、生态构建等。同时，公司也在积极推进多模 态 AI 研究赋能业务场景，已规划多模态 M2-GPT 大模型。 2021A 2022A 2023E 2024E 2025E 营业收入(百万元) 1,127 989 1,849 2,547 3,400

项目编号： 生态环境保护基于多模态 AI 大模型智慧 诊断应用 设 计 方 案 目 录 1. 引言........................................................................................................................................... ...........................................................................................9 1.3 多模态 AI 大模型的简介......................................................................................... .....22 3. 多模态 AI 大模型概述........................................................................................................................................................23 3.1 多模态学习的定义........

o-series) ➢ 蒸馏 vs. 强化学习驱动：国内外现有各家技术路线对比分析及Takeaways ➢ PRM & MCTS 的作用 ➢ 从文本模态到多模态 ➢ 其他讨论：Over-Thinking 过度思考等 ➢ 未来方向分析探讨 ➢ 模态穿透赋能推理边界拓展：Align-DS-V ➢ 合成数据及Test-Time Scaling: 突破数据再生产陷阱 ➢ 强推理下的安全：形式化验证 Formal 空间关系、几何模式和物体交互。这些合成数据集提供了可控环境，用于测试模型的视觉推理能力，并且可以 无限生成训练样本。 ➢ 文本渲染数据 是通过将文本内容转换为视觉格式创建的，使模型能够在不同模态下保持一致的文本处理能力。 通过将文本文档、代码片段和结构化数据转换为图像，确保模型无论接收的是纯文本输入还是截图或照片中的 文本，都能提供一致的响应。这也有助于增强模型在处理文本密集型图像（如截图、表格、公式等）时的能力。 Open Questions: ➢ Long-COT 指令数据扩展是否有助于慢思考推理能力？ ➢ 哪种 Long-COT 数据构造方式具有最佳样本效率？ ➢ Long-COT 及其扩展是否有助于多模态任务？ ➢ Takeaways from RedStar [1]: ➢ Long-COT 在有限数据下增强推理能力：小规模数据集（如 1.3k 个问题）可以显著提升推理性能，尤其是在数学任务中，

合分析）导致计算性能延迟增加 50% 以上，难以支 撑高价值场景（金融、物流、交通）等低时延响应 要求。 08 · 挑战三、高质量语料稀缺 政府、金融、医疗、制造等行业大模型专业语料稀缺， 海量多模态数据（文本、图像、传感器）待标注数 据占比高，高质量语料转化率低（语义缺失、时效 滞后等），无法满足行业大模型训练推理阶段对行 业标注数据的诉求。 · 挑战四、安全能力参差不齐 数据流通涉及数据提供方、使用方、服务运营方等 薄弱环节，无法满足全链路数据安全防护要求。 2、人工智能大模型语料发展与挑战 2.1 人工智能大模型语料发展趋势 1. 从大语言模型到多模态 / 具身智能大模型的语料演进 当前大模型技术正经历从弱人工智能（机器学习、神经网络、大语言模型）向通用人工智能（Agent、多模态、 具身智能）的范式跃迁。这不仅对于模型架构的设计理念进行了重构，同时也对大模型各阶段的训练语料提出 全新要求。 1942 1956 大模型技术发展演进阶段 09 公开数 2c 现象级应 首先，对多模态关联的复杂语料需求日益迫切。针对 大模型语料质量，传统纯文本数据已经无法支撑多 模态与具身大模型联合建模的需求。业界实践表 明，在多模态场景下的语料供给，需要进行跨模态 语料数据精准对齐，实践通过融合图文信息，运动 轨迹，场景数据，使得复杂论文的解析准确率提升 37%。此类多模态场景在处理包含图表、公式的复杂 文档时，需要在语料标准中体现语义逻辑关联能

推进速度加快。智能体大致可以分为六类，根据他们被设计出的 特点，可以作用在不同的应用领域上。不同类别的智能体给予应用层面上更多研 发方向，像目前关注度较高的自动驾驶技术、智能电网控制、能源管理等都能被 垂类智能体覆盖。结合多模态大模型，自动化和情感需求类智能体已落地。但商 业化智能体仍需考虑成本问题，由于智能体之间的交互过程可能出现错误循环且 输出结果不一定符合需求，tokens 成本远高于普通 LLMs。  人工智 与人工智能强国组成战略伙伴，共同发展 AI 科技。智能体发展能推动政府、金融、 制造、能源、医疗、零售等行业的智能化应用向多模态和跨模态转变。  投资建议：我们认为未来智能体（AI Agent）的前景十分广阔，随着大模型的发展， 智能体将从概念走向实际应用，成为各行业的重要助力。通过多模态大模型，智 能体能够整合图片、语音等异构数据，提高任务处理效率，并解决跨行业、跨领 域的问题。技术方面，智能体具备 亿美元，将在政府、金融、 制造、能源、医疗、零售等多个领域实现智能化应用。结合国家政策支持以及各 大企业的积极投入，智能体技术将不断进步，特别是在算力快速增长的背景下， AI Agent 的发展前景更加可期。多模态智能体的出现，将进一步推动各行业智能 化应用的升级，智能体的商业化将迎来新的突破。  建议关注：AI 算力、模型和应用：寒武纪-U、海光信息、景嘉微、龙芯中科、浪 潮信息、中科曙光、神州数码

具身智能的“大脑”能显著弥补机器人领域训练数据 少且专门化的缺点, 为系统提供强大的感知、理解、 决策和行动的能力. 此外, 基础模型的零样本能力 使得系统无需调整即能适应各种未见过的任务, 基 础模型训练数据的丰富模态也可以满足具身智能对 各类传感器信息的处理需求. 无论是视觉信息、听 觉信息, 还是其他类型的感知数据, 基础模型都能 够为具身智能提供全面和准确的理解. 在实际应用 中, 这意味着具身智能能够更好地适应环境变化 感知与理解 在与环境的交互中, 具身智能通过摄像头、麦 克风等传感器接受原始数据, 并解析数据信息, 形 成对环境的认知. 在处理此类信息时, 大模型有着 强大的优势, 能有效处理整合多模态的输入数据, 捕获各模态之间的关系, 提取为统一的高维特征, 形成对世界的理解. 如对大量无标签的互联网文本 和图像进行预训练的视觉模型, 能将图像与文本编 码到同样的向量空间中, 这种对齐不仅有利于对环 境的感知 用于具身智能感知与理解的方法, 讨论范围是文本、 图像和音频等信息, 其中感知的信息来源于环境与 人类用户. 1.1 多模态模型理解 多模态模型, 尤其是多模态大模型 (Large multi- modal model, LMM) 具有理解图像、场景文本、图 表、文档, 以及多语言、多模态理解的强大能力[29], 可 以直接用于具身智能对环境的理解, 并通过提示词 使之输出结构化内容如控制代码、任务分解等指令

................................6 （一） 整机“智能化感知决策水平”不断提升...................................6 （二） 多模态模型算法赋能“大脑”层级进步 ...................................7 （三） 小脑模型算法迭代优化，实现拟人化运动控制...................... （一）整机“智能化感知决策水平”不断提升 在全球人形机器人领域，特斯拉、Figure AI、波士顿动力处于第 一梯队，1X、Digit等欧美产品紧随其后。这些企业在硬件上追求轻量 化、高自由度，软件上借助AI大模型实现多模态感知与推理，部分产 品已进入场景测试阶段，展现了人形机器人在工业生产、民生服务、特 种作业等多元场景的应用潜力，预计2025年将成为人形机器人的量产 元年。 特斯拉Optimus系 “小脑”运动控制路线：基于模式和基于学习 （二）多模态模型算法赋能“大脑”层级进步 1.大模型是机器人“大脑”最为理想的选择 2.多模态大模型技术发展呈现多元路径共存的演进趋势 人形机器人“大脑”技术以大模型为核心，提供任务交互、环境感知、 任务规划及决策控制能力。需具备四大关键能力,实时交互能力，能与人 类进行任务级交互；多模态感知能力，整合多感官信息；自主可靠决策 能力，分解

、深度学习等重要演进历程， 正进入以大模型为支撑 、智能生成为特征的通用人工智能时代 。 第三次浪潮 2000-2020 ：数据挖掘 深度神经网络 第四次浪潮 2020- 至今： 智能生成 NPL\CV\ 多模态 大模型 第二次浪潮 80-90 年代： 知识工 程 专家系统 第一次浪潮 50-70 年代： 定理证 明 符号逻辑推理 人工智能发展脉络 通用人工智能 深度学习 专家系统 逻辑推理 年 1956 年 1980 年 1990 年 分水岭 r5 大模型（ Foundation Model ） 是指具有超大规模参数的人工智能模型， 包含 NPL\CV\ 多模态等类型 。 其突出特点： 同质化 。大模型任何一点改进就可以迅速覆盖整个 AI 社区 。 “ 涌现 ”特性 。大模型有超大规模的参数， 产生未曾预先设想的新能力 。 泛化能力强 复旦大学超算中心 模型类型 多模态训练模型结合人类 参与强化学习 多模态预训练模型 NLP 大模型 NLP 大模型 NLP 大模型 计算机视觉模型 计算机视觉模型 图、文 、音三模态 对话式大型语言模型 数据量 超过万亿单词的人类语言 数据集 中文多模态数据集 M6- Corpus 1.9TB 图像 292GB 文本 五大跨模态视频检索数据 集 40TB

85%。在语言能力之外，AI 大模型的多模 态能力也快速提升。2023 年初，主流闭源大模型通常为纯文本的 LLM。2023 年至今，闭 源模型的多模态能力具有大幅度提升，目前主流闭源大模型通常具备图像理解、图像生成 能力。部分最前沿的闭源大模型，例如 GPT-4o、谷歌 Gemini，支持的模态更加多元，能 够理解文本、图像、音频、视频（帧），并生成文本、图像、音频。2022 年 9 月，红杉资 本预计还需要近十年的时 系统，强化虚 拟助手 Bixby，为用户提供丰富多样的应用服务。据 Techweb，Google 有望在 10 月推出 Pixel9 系列，预计将搭载基于最新 Gemini 模型的 AI 助手，执行复杂的多模态任务。芯片 方面，下半年将发布的骁龙 8Gen4 较上一代产品有望进一步支持 AI 应用。 图表7： AI 手机典型应用及趋势 资料来源：OPPO《AI 手机白皮书》（2024.2），华泰研究 风格扮演 辅导作业 通话摘要：一键从通话到纪要 通话记录 通话纪要 待办生成 便签同步 拍照、擦除、背景还原等 智能圈选 消除 背景生成 趋 势 多模态自然对话 可信、有用、个性化专属 内容生产 自然对话|OS融合的多模态| 语音、文字、图片、文档、视频全能聊| 语音、手势全能控 内容合规|幻觉消除|复杂推理|任务调度| 服务生态支持|人设支持|个性化问答和推荐| 用户专属记忆

取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模 态大模型 MiniGPT-4 、 mPLUG-Owl 、 Multimodal-GPT 、 LLaVA 以及国产大模型豆 包等。 多模态（ Multimodal ）指的是在信息处理和交流中同时使用多种不同的模式或媒介，如 文本、图像、音频和视频等。其核心在于通过结合不同的表达方式，增强信息的传递效果 和理解深度。多模态的意义体现在多个方 次，不同的人对信息的接收 方式各异，多模态能够满足不同学习风格或交流偏好的需求，从而提高理解和记忆效果。 此外，在人工智能和人机交互领域，多模态技术使计算机能够更自然地理解和响应人类的 交流方式，例如智能助手可以同时处理语音命令和视觉输入。多模态还能够增强表达能力， 在艺术和传播中通过多样化的表达方式提升创作的表现力和感染力。在数据科学和机器学 习中，多模态数据融合有助于提高模型的性能，例如在情感分析中结合文本和语音数据可 分析中结合文本和语音数据可 以更准确地判断情感状态。多模态通过整合不同的信息形式，帮助我们更有效地交流和理 解复杂的信息，广泛应用于教育、医疗、社交媒体和人工智能等领域。 10.5.1 CT 影像分析智能体 多模态大模型可以结合医学影像（如 X 光片、 CT 扫描、 MRI ）和患者的临床数据（如病史、实验室结 果）进行综合分析，从而提高疾病诊断的准确性。例如，通过分析胸部 X 光片和患者的症状，模型可以