项目编号： 公共安全引入 AI 大模型视频智能挖掘 应 用 方 案 目 录 1. 引言...............................................................................................................5 1.1 背景介绍........................ .........................................................................................15 2.1.1 视频数据采集.............................................................................17 2.1.2 数据存储与管理. 数据源与输入......................................................................................34 3.1.1 视频监控设备.............................................................................36 3.1.2 社交媒体与用户生成内容

........................................................................................ 16 2.1.1 视频数据采集 ............................................................................ 19 2.1.2 数据存储与管理 数据源与输入 .................................................................................... 38 3.1.1 视频监控设备 ............................................................................ 40 3.1.2 社交媒体与用户生成内容 3.3.2 迁移学习策略 ............................................................................ 60 4. AI 视频智能挖掘功能 ................................................................................. 62 4.1 行为识别

支撑平台 标 准 规 范 体 系 感知层 安 全 保 障 体 系 运 营 管 理 体 系 运 营 维 护 体 系 PC RFID 传感器网络 手机 视频电 话 internet 摄像 头 呼叫中心 无线网关 云计 算 网络层 旅行社数据库 酒店数据库 客户关系库 政务内网 广电网络 RS 从业人员数 据库 电子商务库 门户数据库 管理智能化及监测自动化 城市各职能部门协调联动 智慧管理 典型产品服务 智能呼叫接警 停车场管理 舆情监测分析 客流量分析 客流量统计 巡更巡检 车船指挥调度 智能视频监控 公共智能广播 游客智能疏导 智慧管理 – 智能视频监控 业务功能 图像监控 存储回放 报警联动 音频对讲 增值功能 多画面监控 多画面轮巡 云镜控制 远程控制 录像检索 本地回放 远程回放 客户端存储 3G 网 关 系统 SDK 以计算机多媒体技术、 3DGIS 技术、网络通信技术、智能图像分析技术、数据挖掘技术等为基础，构建基于云 3DGIS 的智能视 频 监控系统。 智慧管理 – 智能视频监控 智慧管理 – 游客统计分析 精准营销 综合查询 分区流量大批显示 超限提醒 定性、定量清点 疏导信息主动推送 分区统计 人员清点 游客流量 监控分析 辅助决策 智能疏导

能够涵盖多种 3.6.1 国外的大模型产 品 语言风格和文化背景 n Gemini Gemini 是谷歌发布的大模型 ， 它能够同时处理多种类型的数据和任务 ， 覆盖文本、 图像、 音频、 视频等多个领域。 Gemini 采用了全新的架构 ，将多模态编码器和多模态解码器两个主要组件结合在一起 ， 以提供最佳结果 Gemini 包括三种不同规模的模型： Gemini Ultra 、 的可解释性仍然是一个挑战 3.6.1 国外的大模型产 品 2024 年 2 月 16 日 ， OpenAI 再次震撼全球科技界 ，发布了名为 Sora 的 文本 生成视频大模型 ，只需输入文本就能自动生成视频。 这一技术的诞生， 不仅标志着人工智能在视频生成领域的重大突破 ，更引发了关于人工智 能发展对人类未来影响的深刻思考。 随着 Sora 的发布 ，人工智能似乎正 式踏入了通用人工智能（ ，包括理解语言、 识别图像、 进行复杂推理等。 Sora 大模型能够直接输出长达 60 秒的视 频 ， 并且视频中包含了高度细致的背景、 复杂的多角度镜头 ， 以及富有 情感 的多个角色。 这种能力已经超越了简单的图像或文本生成 ，开始 触及到 视频这一更加复杂和动态的媒介。 这意味着人工智能不仅在处 理静态信 息上越来越强大 而且在动态内容的创造上也展现出了惊人的潜力

上的大量文本，因此，它能够涵盖多种 语言风格和文化背景 2.1 国外的大模型产品 n Gemini Gemini是谷歌发布的大模型，它能够同时处理多种类型的数据和任务，覆盖文本、图像、音频、视频等多个领域。Gemini 采用了全新的架构，将多模态编码器和多模态解码器两个主要组件结合在一起，以提供最佳结果 Gemini包括三种不同规模的模型：Gemini Ultra、Gemini Pro和Gemini 性和黑箱性质，Gemini的可解释性仍然是一个挑战 2.1 国外的大模型产品 n Sora 2024年2月16日，OpenAI再次震撼全球科技界，发布了名为Sora的文本 生成视频大模型，只需输入文本就能自动生成视频。这一技术的诞生， 不仅标志着人工智能在视频生成领域的重大突破，更引发了关于人工智 能发展对人类未来影响的深刻思考。随着Sora的发布，人工智能似乎正 式踏入了通用人工智能（AGI：Artificial 能够直接输出长达60秒的视频， 并且视频中包含了高度细致的背景、复杂的多角度镜头，以及富有情感 的多个角色。这种能力已经超越了简单的图像或文本生成，开始触及到 视频这一更加复杂和动态的媒介。这意味着人工智能不仅在处理静态信 息上越来越强大，而且在动态内容的创造上也展现出了惊人的潜力 2.1 国外的大模型产品 n Sora 右图是Sora根据文本自动生成的视频画面，一位戴着 墨镜、穿着皮衣的时尚女子走在雨后夜晚的东京市区

破，极大拓宽了交通感知的维度和深度，不仅可以采集摄像头、激光 雷达、毫米波雷达、麦克风等多个维度的传感器信息，还可以精细化 人工智能在交通领域业务应用白皮书 4 感知目标要素，如视频数据结构化处理，提取人、车、运动轨迹等深 层关键信息。感知类的典型赋能场景包括身份核验（人脸识别）、人 流分析、车况监控、车外环境感知、驾驶员行为监测、交通设施状态 感知、实时路况感知、机非人（机动车、非机动车、行人）识别等。 人工智能在交通领域业务应用白皮书 13 违法抓拍、交通参数采集等功能，可以高效抓拍惩处违法事件，消除 交通隐患，规范通行秩序，已在交通路网中广泛推广使用。 智慧停车是指使用高位视频技术实现区域停车资源管理和服务 的技术，视频技术不仅能全面采集信息，获取完整的停车取证数据链， 实现无人化管理，杜绝乱收费现象，云平台的使用还可以进一步拓展 应用空间，如区域停车热点分析、大数据稽查布控等。目前该技术已 机制 还没有形成，无法有效整合交通信息资源，并在此基础上开发高层次 交通信息服务。 交通数据资源安全性、私密性仍是关注焦点。交通数据不仅涉及 个人的隐私，比如用户的汽车驾驶轨迹、车内语音及视频信息，还涉 及城市甚至国家的安全，比如自动驾驶高精度地图属于国家基础性战 人工智能在交通领域业务应用白皮书 18 略性资源，可能涉及国防安全。如何制定法律法规，并利用区块链等 新

该系统需支持前端摄像机及门禁、 人闸人脸抓拍、 人脸检测识别、 人脸抓拍 图片存储和上传等功能，支持 1：N 人脸比对，能够满足园区内部人员快速通行 及外来陌生人 /黑名单人员入侵报警。 系统可将前端录入视频及图片存储为结构化数据，案件发生后可通过人脸、 人体、机动车、非机动车等特征数据进行快速检索，生成行动轨迹，为运营者提 供快速查案手段。 设计原则 ? 实用原则 以满足实际应用需求为原则， 设计依据 系统设计依据国家相关法律规章、 国家和行业相关标准、 相关研究成果等资 料进行规划设计，具体如下： 《安全防范视频监控联网系统信息传输、交换、控制技术要求》 （GB/T28181-2011） 《国家标准 GB／T 28181-2011 〈安全防范视频监控联网系统信息传 输交换控制技术要求〉修改补充文件》 《安全防范工程技术规范》 GB50348— 2004 《信息技术开放系统互连网络层安全协议》 《信息技术开放系统互连网络层安全协议》 GB/T 17963-2000 《电子信息系统机房施工及验收规范》 GB50462-2008 《建筑物电子信息系统防雷技术规范》 GB50343-2004 《视频安防系统技术要求》 GB/T367-2001 《安全防范系统验收规则》 GA308/2001 《城市监控报警系统联网通用技术要求》 GA/T669－2008 《安全防范系统雷电浪涌防护技术要求》

预警分析低效。事件预警缺少 GIS 全局态势图展示 ，缺少视频联动 ，定位核查低效预测预警和协同联动功能少 ，突 发 及应急事件处置压力大。 2. 跨部门会商能力不足。采用传统的电话语音方式 ，无法在线可视会商并实时监控现场 1. 无全局视图。缺少空港、海港、铁路、城市公共交通一体化综合交通运输全场景一张图的全局可视能力。 2. 部分大屏仅视频。基本无主体视图， 内容比较分散 ，缺少主体界面 融合 智能 5G ， IP ， OTN ， IoT ，视频 etc. 云，大数据， AI 坡 传感器 网络 气象环 境 传感器 安全 IOT WIFI6 储存 5G F5G IP 计算 智能中枢 称重传 感器 充电桩 GIS 融合通信 BIM 视频 RSU OBU 卡口 雷达 视频 大数据 AI 车载 GPS 执法 终端 线圈 IOT 地 磁 智慧应用 智 能 中 枢 智慧 应用 智能 联接 智能 交互 12 警示问题 决策可视化

帮助企业提高生产效率、提升客户体验和创造新的商业价值。举例来看， 1、安防行业作为 AI 技术落地应用较为领先的领域，率先受益于 AI 技术的成熟发展：随着 AI 逐步渗透到视频前后端设备中，AI 技术能够 对视频数据进行实时的结构化处理与分析，呈现在人工面前的并不是实 时的大量视频数据，而是经过 AI 分析后的结果。传统安防产业在产品、 技术与应用等多维度实现了更深层次的进化与变革。2、人工智能亦将 更加广泛地应用到智能制造行业中，机器视觉检测是 ............................................................................. 17 2.3.1. 智能机顶盒：有望从视频控制终端成为智能家居终端载体设备............................. 18 2.3.1. 智能音响：语音识别+搜索引擎相结合，有望成为智能家居的控制中心 .......... .................................................................................... 22 图 47： 中国智能视频监控市场复合增长速度高于全球................................................................... 22 图 48： 智慧交通解决方案

查询订阅复杂 老师水平差 异 学生能力 差异 无技术手段 高清画面 流畅直播点 播 视频行为 分类 老师考勤 学生点名 巡课督导 自动行为识 别 数据自动 生成 数据挖掘利用 垃圾画面多 使用不便利 析难 信息共享不 方便 现状与需求 以课堂为核心，聚焦人脸识别、行为分析、视频结构化、大数据技术与教学的深度融合。打通考勤、录播、教学 分析等应用壁垒，实现人脸考勤管理、可视化巡课督导、视频资源管理、伴随式课堂分析、精准消息推送 等功能，满足教师、学生、家长和管理者等多角色的需求。 人脸识别 视频结构化 大数据 行为识别 建设目标 AI 3 优势价值 方案亮点 核心优势 02 学生出勤情况 06 出勤状态统计 05 到课率统计 04 出勤排行榜 poe ) 在线巡课 复用教室内已有的摄像机可以进行在线巡课督导，这 种新方式有很多好处： 效率高：通过视频轮巡方式快速地掌握课堂整体情 况 无干扰：远程在线式巡课，不会对师生造 成干扰 有记录：通过下发巡视任务，每一次巡视工作都有 详 细的记录，方便教务管理 巡课督导工作是教务管理手段之一，可以及时地发现课