农业污染源普查数据质量控制方法与空间规则实践 汇报人： 徐艳 科技、 创新 农业农村部环境保护科研监测所 01 农业污染源普查简 介 03 填报与审核阶段质 控 02 质控工作总体概 述 04 入库阶段质 控 目 录 05 总 结 PART 01 农业污染源普查简介 农业污染源普查内容： 普查标准时点： 2017 年 12 月 31 日 五大专 码、统一填写表 头 （省、市、 县） 数据专业规范 内置共计 20 余条专业校 验 规范，根据专业规则对填 写的数据进行数据规范 校验不通过，不允许提交 种植业、秸秆、地膜 水产、畜禽字典表 数据字典表 填报阶段质控——机械校验 机械校验 通过采集端内置的字典表，以及专业规则进行强制校验 3 审核阶段质控——空间校验 空间校验 通过可视化手段，将坐标落在县 域内，用于快速定位偏移数据。 审核阶段质控 审核阶段质控 4-6 月各专业退回数量 3 PART 04 入库阶段质控 入库阶段质控——方法介绍 利用 gis 的手段，将数据制图，从图中发现潜 藏 的数据问题 通过新的规则和阈值范围，对各专业数据进行 补充校验 通过异常值检测算法，从统计学角度去发现异 常数据 竞争型神经网络与 GIS 相结合， 通过空间分 布 规律寻找异常数据 竞争型神经网络 +GIS 制图分析

到环保局信息化建设能否与时俱进的问题。虽然采用“参数驱动”方法 在一定程度可减少因业务需求改变而对应用软件进行的调整，但是， 参数驱动也有许多局限性。例如，在系统设计和开发阶段就把将来 的业务需求、业务处理规则所有的变更可能性都考虑周全，这既不 现实，也不可能。往往在业务需求进行较大调整时，应用软件也必 须进行相应的改动。另一方面，应用软件的改动又不允许对正常的 业务处理活动产生影响，业务部门在考虑推出经营措施时，经常要 集中 监测，并对系统生命周期中的接入标准、敏捷开发、分布式部署、 监测范围、安全防护等进行统一标准化管理。 1.4.1.3.4 大数据数据处理技术 常用的挖掘方法有分类、回归分析、聚类、关联规则、神经网 络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 （1）分类 分类是找出数据库中的一组数据对象的共同特点并按照分类模 式将其划分为不同的类，其目的是通过分类模型，将数据库中的数 性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很 低。 （4）关联规则 关联规则是隐藏在数据项之间的关联或相互关系，即可以根据 一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程 主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频 项目组；第二阶段为从这些高频项目组产生关联规则。 （5）神经网络 神经网络作为一种先进的人工智能技术，因其自身自行处理、

维度标准管理及数据项标准管理； 元数据管理：提供元数据管理功能，包括：元数据正向采集、元数据维护、元 数据查询、元数据导入/导出、元数据血缘分析； 数据质量管理：提供数据质量管理功能，包括：质量模型配置、质量规则管理、 方案配置调度、质检结果查看、质检分析报告； 第 15 页 共 129 页 县级公共大数据资源中心 询、资源展示、资源申请等； 统一审批管理：提供统一的流程审批管理功能 ，包括：流程发起、流程流 转、流程审批等； 统一消息管理：提供统一消息管理功能，包括：消息类型管理、消息渠道管理、 通用规则管理、 自定义规则管理、消息过期、消息发送； 统一日志管理：提供多种日志记录方式，并支持日志提醒与日志分析、日志审 计管理； 资源目录服务：提供资源目录服务功能，实现资源目录对外共享，并提供目录 储、操作系统、中间 件等基础实施进行监控； l 提供应用系统监控功能，对平台的各个应用服务的运行情况进行监控，及时发现 故障与风险 ，并告警； l 提供监控告警管理功能，提供告警规则管理功能，实现告警规则的自定义管理和 维护； l 提供平台运维管理功能，负责对用户提交以及系统自动发现的故障或文件进行 第 18 页 共 129 页 县级公共大数据资源中心

用提供算法。其中 ，数据底板包括基础数据、 监测数据、 业务管理数据、地理空间数据和外部共享数据 ，模型库包括 水利专业模型、智能识别模型、 可视化模型 ，知识库包括多年运行管理经验凝练成的专家经验和业务规则。 4 、 业务应用平台包括供需水感知与预报 ，水资源配置与供用水调度、水旱灾害防御、 工程管理、 自动控制、 量水与 水费计收、水公共服务及灌区一张图等主要业务模块。 5 、 网络安全体系包括组织管理、 通、信息网和工控网物理隔离。 强化硬件支撑 ， 完善数字孪生漳河基础设 施 卫星遥感 气象 网络 安全监测 P14 数字孪生平台 • 应结合供用水管理业务特点和知识需求 ， 构建预报方案、 业务 规则、 水利对象关 联关系、 历史场景和调度方案等知识。 • 数据底板包括基础数据、 监测数据、 业务管理数据、 地理空 间数据和外部共享数据、 模型参数数据。 • 水利专题模型： 模型库主要包括漳河水库洪水预报、 防洪 调度模型 ，漳河灌区来水预测、 需水预测、 水资源配置、 输配水联合调度、 水流模拟 模型 ， 以及视频识别模型等。 知识库主要包括漳河灌区各水利对象关联 关系、 业务规则库、 历史场景库、 方案 预 案库。 2 、数字孪生平台 - 模型平 台 P21 灌区中遥感的应用： 作物种植结构（土地利 用图） 的提取、 水域面积 的提取及当地水源的估算、 灌排渠沟结构的提取、

智能粮库 应用系统中可以固化，固化的作业流程，必须按照事先定义好的规则进行。 （2）粮库作业智能化运行、精确化控制：运用 RFID 技术对粮食出入库的登记、扦 样、化验、称重、入仓等各个业务流程进行智能化管理，减少管理层次，降低管理成本， 提高管理效率。与此同时，固化的作业环节在执行过程中，都要与事先定义的规范流程 规则进行比对，如果不符合，将提示报警，作业无法执行，实现精确化控制。 （3）粮库作业流程可视化：由于 管理和维护质检中心各类粮油的质量检化验指标标准。 （4）质检标准及扣量扣价规则维护 对粮食收购过程中的定等定价标准进行维护，在收购入库过程中，能根据化验结果 和定等定价规则，自动确定粮食等级和单价，支持通过双指标来同时确定粮食的等级和 单价。 对粮食在收购过程中的扣量扣价规则进行维护，在粮食收购过程中，能够根据化验 结果和扣量扣价规则，自动确定粮食的增扣价格及数量。 4.1.2.3.仓储库存 化验环节，可以在系统中预先设置定等定价的规则。化验完成后，根据化验结果与 预先设置的规则进行比对，自动判定化验的粮食等级及价格。定等定价的规则，最多支 持通过两种化验指标来进行联合判定。定等定价的规则可由用户在系统中自行设定。 在化验环节，也支持在系统中预先设定扣量扣价的相关规则。化验完成后，根据粮 食的化验结果值，与相应的扣量扣价规则中的标准值及扣量扣价规则进行比对，自动判 定关联业务的扣量扣价值。扣量扣价的规则可由用户自行设定。

用提供算法。其中，数据底板包括基础数据、监测数据、业务管 理数据、地理空间数据和外部共享数据，模型库包括水利专题 模型、智能识别模型、可视化模型，知识库包括多年运行管理经 验凝练成的专家经验和业务规则。 2.2.4 业务应用平台包括供需水感知与预报、水资源配置 与供用水调度、水旱灾害防御、工程管理、自动控制、量水与水 费计收、水公共服务及灌区一张图等主要业务模块。 2.2.4 网络安 用水管理业务特点和知识需求，构建灌区预报方案、业务规则、 水利对象关联关系、历史场景和调度方案等知识。 4.3.2 预报方案知识包括来水预报、需水预测、暴雨预报、 洪水预报、干旱预报等模型优选及参数集。宜在共享数字孪生 流域和数字孪生水利工程相关预测预报方案基础上，结合灌区 用水调度需求，补充相关控制单元的预报方案，并结合预报效 果及专家经验对预报方案知识进行更新融合。 14 4.3.3 业务规则知识包括水资源调配、灌溉制度拟定、水 业务规则知识包括水资源调配、灌溉制度拟定、水 旱灾害防御、安全运行监控等业务的风险预警研判和调度规则。 宜在共享数字孪生流域和数字孪生水利工程相关风险预警研判 和调度规则基础上，结合灌区供用水调度和预警需求，补充相 关水旱灾害防御、水源供水短缺风险等预警研判和调度规则。 4.3.4 水利对象关联关系用于描述物理灌区中的水利工程 和水利对象治理管理活动等实体、概念及其关系,包括空间关系、 管理关系、水流关系等。

• 通过视频分析， 对区域内人员聚 集数量超出指定 阈值，进行告警 提示 人员聚集 • 对于乡镇街道违规占道 经营的摊贩，进行自动 检测，维护街道秩序 占道经营识别 智能报警 规则引擎 AI 算法引擎 联动引擎 事件引擎 AI 云端融合联动 物联设备 AI 智能设备 报警设备 算法服务 第三方消息推送 联动策略 抓拍、录像 短信、邮件 消息推送 云台预置点联动 可编程逻辑控制器、微波对射、脉冲电子围栏、红外对射、监控以及视频智能分析的多 品类报警源对接，实现对报警事件的汇聚和“一张图”管控。 智能报警 多源事件感知、图像分析研判以及物 联数据规则定义等形成完备的平台级 事件规则引擎。 多报警源接入 联动动作可覆盖：弹屏、上墙、声 光、语音广播、抓拍、录像、云台 预置点、短信通知、邮件通知等。 丰富的联动策略 支持 10 余种智能分析算法，适用 统自动执行联动动作，并支持报警事件 的强制提醒和处理；事后支持对报警记 录检索、处理以及报警统计分析。 事件闭环处理 人车布控 支持对指定的人员 / 车辆进行布控 报警，一旦目标出现，立即进行 弹屏提醒，并按照预先设置规则 执行进行抓拍、录像等联动动作。 管控一张图 兼容多种地图类型，可实现静态资源的标注与展示、动态资源轨迹绘制查询、实时状态监测、远程设备控制、事件多维联动等， 实现真正意义上的“管控一张图”。

饮食健康、从农田到餐桌、把 合适的食品给到合适的人 AI 计算 深度学习图像识别 强化学习对话引擎 迁移学习知识图谱对抗学习 逻辑计算 统计计算逻辑回归规则引擎 逻辑变量逻辑常量组合运算 代入规则对偶规则反演规则 预处理 清洗数据特征处理数据合并 数据降维数据去重数据归一化 存储 文件存储对象存储数据库存储 消息存储图片存储日志存储 大数据计算 实时计算流式计算批量计算

功能，软件会将选中的地块合为一体，属性 信息共享。 高标准农田建设上图入库与质量检查软件 通过数据质检，审核检查确认结果 点击【质量检查】， 弹出【数据质检】窗口， 在“项目信息”中选择需要 质检的项目，在“规则设 置”中勾选质检规则，单击 执行，进行数据质量检查。 检查完成后可以在项 目右键上点击【查看质检 日志】，通过任务日志中 的信息查看质检情况。 高标准农田建设上图入库与质量检查软件 通过数据质检，审核检查确认结果 通过数据质检，审核检查确认结果 选 中 项 目 ， 通 过 【查看质检结果】功 能 。 打 开 【 结 果 审 核】，对质检结果进 行查看编辑。 【 结 果 审 核 】 的 左侧为质检规则目录， 下方是质检规则下的 错误信息，通过双击 错误定位，在窗口中 显示出错误详细信息。 可以选中错误进行例 外，例外的错误不记 录最后的错误结果审 核评分中。 高标准农田建设上图入库与质量检查软件 通过导入导出功能，统一汇交数据成果

数据中心建设需求 1. 元数据管理的需求 统一和规范粮食信息化的信息内涵，指导粮食信息化数据库及相关业务应用系统 的开发设计。对粮食流通管理数据中心的基本数据集的内容结构，数据元描述规则、 分类代码和目录格式，以及数据集元数据描述规则、数据集分类编码等做统一约束。 为粮食行业信息管理标准化提供依据，为构建整体的粮食信息模型和数据字典提供基 础信息资源。应包括基本信息、仓储建设、储备粮管理、应急指挥等其他数据内容。 6.3.2 粮食信息数据管理系统 在没有数据标准的时候，对于同一个数据字段，数据中心对于该数据字段 保存多个来源的版本。系统提供工具、服务来展现数据的不一致性，数据管理 员根据工作制度及相关规则，进行比对、冲突检查、数据审核、数据转换。当 数据达到一致性、完整性要求时，数据将由采集库转存到粮食流通追溯核心库 中，并通过数据交换系统以订阅/发布的方式提供给各业务部门使用。 当数据有冲突 的一个典型应 用领域，充分体现了 GIS 的空间分析功能。 ◆ 网络分析 (Network System Analysis) 建立交通网络、地下管线网络等的计算机模型，研究交通流量、进行交通 规则、处理地下管线突发事件(爆管、断路)等应急处理。 警务和医疗救护的路 径优选、车辆导航等也是 GIS 网络分析应用的实例。 ◆ 可视化应用 (Visualization Application)