项目编号： 公共安全引入 AI 大模型视频智能挖掘 应 用 方 案 目 录 1. 引言...............................................................................................................5 1.1 背景介绍........................ .........................................................................................15 2.1.1 视频数据采集.............................................................................17 2.1.2 数据存储与管理. 数据源与输入......................................................................................34 3.1.1 视频监控设备.............................................................................36 3.1.2 社交媒体与用户生成内容

........................................................................................ 16 2.1.1 视频数据采集 ............................................................................ 19 2.1.2 数据存储与管理 数据源与输入 .................................................................................... 38 3.1.1 视频监控设备 ............................................................................ 40 3.1.2 社交媒体与用户生成内容 3.3.2 迁移学习策略 ............................................................................ 60 4. AI 视频智能挖掘功能 ................................................................................. 62 4.1 行为识别

一 个 高 效 智 能 的 、 绿 色 环 保 的 、 环 境 舒 适 的 人 性 化 工 厂 。 将厂区生产中的关键数据放在一个统一的 界面中呈现给决策者，并且通过智能标签， 可在视频画面中实时查看厂区各类接入设 备状态数据，直观的展示，全方位支撑 领导决策。 通过 AR 增强现实技术，能够实现基于 视 频画面的实时数据管理，对接入的系 统和 数据进行实景化管理，形成各系统和 集成联动、互联互通、节约资源、数据共 享的“集约化”建设理念，实现厂区管 理 系统从自动，到智能，再到智慧的跨 越式发展。 实景化营理 远程控制，实现厂区高效、智能、先进的 安全管理。 接入视频、人员、门禁、消防、环境、生 产等系统。对接入的系统进行集中展示和 藁约化建设 携酥网愤入 新型智慧厂区 进一步提升管控需求 推进安全防控业务应用功能的深度融合，完善厂区立体化防控 体 区整体智能化管控，有效提升厂区安保和安全生产管理的智能 化水平 业务 需求 业务需 求 基于 AR 增强现实技术的视频实景地图，通过对实景信息标注，可在视频画面中直观的呈 现 厂区各类信息； 在视频画面中直观展示厂区内监控资源分布，通过视频联动技术，可快速联动路面低点监控 视频和室内监控视频； 深化信息数据与场景的应用，强化区域内的基础设施数据管理、危险源和关键基础设施的辨 识、监测和保护，应急资源管理；

PM10 ）和 扬尘排放情况。  由 β 射线法颗粒物在线监测仪、声级计、视频拍照系统及气象设备等组成。  β 射线法监测颗粒物浓度，为国家标准方法，数据准确，可直接用于执法；  声级计可靠性高、稳定性好、动态范围宽、无需量程转换；准确监测现场噪声情况； 数据可用于执法；  实时录像，采集现场图片、视频；  细节拍摄、跟踪拍摄，再现污染画面；  结合气象参数，准确分析污染原因； 能控制。  智慧路灯功能模块 智能照明；视频监控；传感器；无线网络； 信息发布；充电桩；电缆防盗；窨井盖防盗 能耗管理  智慧路灯系统架构 中心集中控制； 分权限用户登录； 免布线，自组网； 单灯控制； 1111 能耗管理  智慧路灯系统功能特性  智能亮灯功能  地理信息系统  远程实时查询  远程视频功能  数据分析功能  报警处理  独立运行 多功能电子会议系统是集会议、培训、学术交流等为一体的多功能会议场所。它将高质量的 音频、视频和诸多智能特性紧密结合在一起，通过数字信号处理、压缩编码技术和数据传输等新 技术的融入，实现更多、更齐全的会议会话、视频传输、信息传输功能。完成会议扩声及会议材 料的重现、重放、技术交流图像声音的显示和扩声、宣传影像（ PACS 、 DSA 等）的显示和辅 助扩声、召开远程视频会议及宣传、园区其他活动的需要。 智能会议系统 - 会议管理系统

支撑平台 标 准 规 范 体 系 感知层 安 全 保 障 体 系 运 营 管 理 体 系 运 营 维 护 体 系 PC RFID 传感器网络 手机 视频电 话 internet 摄像 头 呼叫中心 无线网关 云计 算 网络层 旅行社数据库 酒店数据库 客户关系库 政务内网 广电网络 RS 从业人员数 据库 电子商务库 门户数据库 管理智能化及监测自动化 城市各职能部门协调联动 智慧管理 典型产品服务 智能呼叫接警 停车场管理 舆情监测分析 客流量分析 客流量统计 巡更巡检 车船指挥调度 智能视频监控 公共智能广播 游客智能疏导 智慧管理 – 智能视频监控 业务功能 图像监控 存储回放 报警联动 音频对讲 增值功能 多画面监控 多画面轮巡 云镜控制 远程控制 录像检索 本地回放 远程回放 客户端存储 3G 网 关 系统 SDK 以计算机多媒体技术、 3DGIS 技术、网络通信技术、智能图像分析技术、数据挖掘技术等为基础，构建基于云 3DGIS 的智能视 频 监控系统。 智慧管理 – 智能视频监控 智慧管理 – 游客统计分析 精准营销 综合查询 分区流量大批显示 超限提醒 定性、定量清点 疏导信息主动推送 分区统计 人员清点 游客流量 监控分析 辅助决策 智能疏导

能够涵盖多种 3.6.1 国外的大模型产 品 语言风格和文化背景 n Gemini Gemini 是谷歌发布的大模型 ， 它能够同时处理多种类型的数据和任务 ， 覆盖文本、 图像、 音频、 视频等多个领域。 Gemini 采用了全新的架构 ，将多模态编码器和多模态解码器两个主要组件结合在一起 ， 以提供最佳结果 Gemini 包括三种不同规模的模型： Gemini Ultra 、 的可解释性仍然是一个挑战 3.6.1 国外的大模型产 品 2024 年 2 月 16 日 ， OpenAI 再次震撼全球科技界 ，发布了名为 Sora 的 文本 生成视频大模型 ，只需输入文本就能自动生成视频。 这一技术的诞生， 不仅标志着人工智能在视频生成领域的重大突破 ，更引发了关于人工智 能发展对人类未来影响的深刻思考。 随着 Sora 的发布 ，人工智能似乎正 式踏入了通用人工智能（ ，包括理解语言、 识别图像、 进行复杂推理等。 Sora 大模型能够直接输出长达 60 秒的视 频 ， 并且视频中包含了高度细致的背景、 复杂的多角度镜头 ， 以及富有 情感 的多个角色。 这种能力已经超越了简单的图像或文本生成 ，开始 触及到 视频这一更加复杂和动态的媒介。 这意味着人工智能不仅在处 理静态信 息上越来越强大 而且在动态内容的创造上也展现出了惊人的潜力

上的大量文本，因此，它能够涵盖多种 语言风格和文化背景 2.1 国外的大模型产品 n Gemini Gemini是谷歌发布的大模型，它能够同时处理多种类型的数据和任务，覆盖文本、图像、音频、视频等多个领域。Gemini 采用了全新的架构，将多模态编码器和多模态解码器两个主要组件结合在一起，以提供最佳结果 Gemini包括三种不同规模的模型：Gemini Ultra、Gemini Pro和Gemini 性和黑箱性质，Gemini的可解释性仍然是一个挑战 2.1 国外的大模型产品 n Sora 2024年2月16日，OpenAI再次震撼全球科技界，发布了名为Sora的文本 生成视频大模型，只需输入文本就能自动生成视频。这一技术的诞生， 不仅标志着人工智能在视频生成领域的重大突破，更引发了关于人工智 能发展对人类未来影响的深刻思考。随着Sora的发布，人工智能似乎正 式踏入了通用人工智能（AGI：Artificial 能够直接输出长达60秒的视频， 并且视频中包含了高度细致的背景、复杂的多角度镜头，以及富有情感 的多个角色。这种能力已经超越了简单的图像或文本生成，开始触及到 视频这一更加复杂和动态的媒介。这意味着人工智能不仅在处理静态信 息上越来越强大，而且在动态内容的创造上也展现出了惊人的潜力 2.1 国外的大模型产品 n Sora 右图是Sora根据文本自动生成的视频画面，一位戴着 墨镜、穿着皮衣的时尚女子走在雨后夜晚的东京市区

破，极大拓宽了交通感知的维度和深度，不仅可以采集摄像头、激光 雷达、毫米波雷达、麦克风等多个维度的传感器信息，还可以精细化 人工智能在交通领域业务应用白皮书 4 感知目标要素，如视频数据结构化处理，提取人、车、运动轨迹等深 层关键信息。感知类的典型赋能场景包括身份核验（人脸识别）、人 流分析、车况监控、车外环境感知、驾驶员行为监测、交通设施状态 感知、实时路况感知、机非人（机动车、非机动车、行人）识别等。 人工智能在交通领域业务应用白皮书 13 违法抓拍、交通参数采集等功能，可以高效抓拍惩处违法事件，消除 交通隐患，规范通行秩序，已在交通路网中广泛推广使用。 智慧停车是指使用高位视频技术实现区域停车资源管理和服务 的技术，视频技术不仅能全面采集信息，获取完整的停车取证数据链， 实现无人化管理，杜绝乱收费现象，云平台的使用还可以进一步拓展 应用空间，如区域停车热点分析、大数据稽查布控等。目前该技术已 机制 还没有形成，无法有效整合交通信息资源，并在此基础上开发高层次 交通信息服务。 交通数据资源安全性、私密性仍是关注焦点。交通数据不仅涉及 个人的隐私，比如用户的汽车驾驶轨迹、车内语音及视频信息，还涉 及城市甚至国家的安全，比如自动驾驶高精度地图属于国家基础性战 人工智能在交通领域业务应用白皮书 18 略性资源，可能涉及国防安全。如何制定法律法规，并利用区块链等 新

该系统需支持前端摄像机及门禁、 人闸人脸抓拍、 人脸检测识别、 人脸抓拍 图片存储和上传等功能，支持 1：N 人脸比对，能够满足园区内部人员快速通行 及外来陌生人 /黑名单人员入侵报警。 系统可将前端录入视频及图片存储为结构化数据，案件发生后可通过人脸、 人体、机动车、非机动车等特征数据进行快速检索，生成行动轨迹，为运营者提 供快速查案手段。 设计原则 ? 实用原则 以满足实际应用需求为原则， 设计依据 系统设计依据国家相关法律规章、 国家和行业相关标准、 相关研究成果等资 料进行规划设计，具体如下： 《安全防范视频监控联网系统信息传输、交换、控制技术要求》 （GB/T28181-2011） 《国家标准 GB／T 28181-2011 〈安全防范视频监控联网系统信息传 输交换控制技术要求〉修改补充文件》 《安全防范工程技术规范》 GB50348— 2004 《信息技术开放系统互连网络层安全协议》 《信息技术开放系统互连网络层安全协议》 GB/T 17963-2000 《电子信息系统机房施工及验收规范》 GB50462-2008 《建筑物电子信息系统防雷技术规范》 GB50343-2004 《视频安防系统技术要求》 GB/T367-2001 《安全防范系统验收规则》 GA308/2001 《城市监控报警系统联网通用技术要求》 GA/T669－2008 《安全防范系统雷电浪涌防护技术要求》

预警分析低效。事件预警缺少 GIS 全局态势图展示 ，缺少视频联动 ，定位核查低效预测预警和协同联动功能少 ，突 发 及应急事件处置压力大。 2. 跨部门会商能力不足。采用传统的电话语音方式 ，无法在线可视会商并实时监控现场 1. 无全局视图。缺少空港、海港、铁路、城市公共交通一体化综合交通运输全场景一张图的全局可视能力。 2. 部分大屏仅视频。基本无主体视图， 内容比较分散 ，缺少主体界面 融合 智能 5G ， IP ， OTN ， IoT ，视频 etc. 云，大数据， AI 坡 传感器 网络 气象环 境 传感器 安全 IOT WIFI6 储存 5G F5G IP 计算 智能中枢 称重传 感器 充电桩 GIS 融合通信 BIM 视频 RSU OBU 卡口 雷达 视频 大数据 AI 车载 GPS 执法 终端 线圈 IOT 地 磁 智慧应用 智 能 中 枢 智慧 应用 智能 联接 智能 交互 12 警示问题 决策可视化