智慧政务大数据建设与应用解决方案

微信扫码，打开到小程序

智慧政务大数据建设与应用解决方案 2 CONTENT 1 当政务应用遇到大数据 2 退而结网，打造大数据湖泊 3 大数据平台、架构与实现 4 大数据可视化，看得见的数据 3 走进大数据时代 交通运输  运输线路优化  交通信息服务 数字媒休  互联网广告  用户标签 零售业  O2O 营销  客流与商圈选址 医疗与保健  病历分析  疾病监测 政府政务  网上办事大厅  政务热线 地产中介  社区 O2O 运营  客户画像 电信运营商  内部营销决策  对外拓展 互联网企业  开放平台  应用产品 银行业  精准营销  风险管控 教育  在线教育  教育应用 电信 政务 商业 工业 重点 行业 4 大数据应用生命周期 数据源（管理、交易、事务、传感、监控、文件……） 数据获取和治理 大数据存储 大数据分析计算处理 大数据可视化 数据驱动决策 数据提供服务 5 大数据，不再是传统的 BI 竞 争 优 势 数据可 视化 样本 数据 关联 关系 多维 分析 统计 报表 全体 数据 趋势 预测 全体数据代替样本数据 一般是基于 KPI 指标等的分析，无法有效支撑决策 提供传统的统计分析功能，提供报表等… 传统基于小数据量的数据分析，样本数据 注重关联关系而非因果关系 数据可视化变得尤为重要 大数据的重点是关联关系与趋势预测 大数据分析助力提升行业综合数据应用能力 大数据 关注点 传统数据 分析局限 数据获取 因子分析 算法训练 数据呈现 6 经济运行大数据保驾十四五 区域经济 2 3 4 1 支撑领导科学决策，提高经济运行管理水平： 从宏观、中观、微观三个层面，对区域经济运行相关指标进 行实时动态监测和预警，从产业、行业、区域、时间多维 度，实时了解区域经济运行状态，及重点企业的运行情况和 重大工程建设进度情况。 融合企业服务链信息，提升服 务，促进发展，提质增效： 全面的了解企业的分布、规模，产业布 局和各企业的关联度，更好的走循环经 济道路。融合创业服务相关的信息，包 括政府相关优惠政策、金融贷款信息、 培训机构及人才信息、创业项目信息、 公共资源、城市人口流动信息等，为企 业创业提供全面的信息服务。 共享经济运行数据，提高跨部门工作效率： 各部门重复采集企业经济运行数据、无法信息共享； 例如：部门在给企业相关扶持时，需要企业报送相关 人才数据，通过共享人社部门数据后，可以验证企业 报送数据的真实性。 大数据把关，提升招商引资效能和促进产业结构调整： 建立事前（项目落地）、事中（企业的绩效综合评价）、事后（低效退 出）全过程的差别化管理措施，对园区楼宇基础设施效能投入产出进行进 行统计分析和查询。为园区产业结构转型升级、招商引资、企业发展扶持 等政策的制定和调整，提供量化决策依据。 7 经济运行模型 业务模式优化 业务分析 关键业务监控 关键业务模型化（实时） 企业运营综合 评价（月度） 产业类型 所属区域 企业性质 税收 吸纳劳动力 土地占用 能源消耗 污染排放 地区 GDP 增长 （年度） 出口 内需 固定资产投资 亩均税收 / 收 入 人均税收 / 收 入 区域 产业 … … 单位 GDP 排 放 单位 GDP 能 耗 宏观：聚焦经济运行总体态势 中观：经济领域与行业总体把脉 微观：聚焦具体企业监管与服务 指定范围的经济 KPI 统计数据 地域、产业、时间周期、经济类别…多维度切 分经济测算范围 服务于主管领导宏观经济政策制定、决策 指定行业的经济 KPI 统计数据 地域、产业、时间周期、经济类别…多维度切 分经济测算范围 服务于主管领导宏观经济政策制定、决策 多级数据指标，透视企业运行状态 市场供需、技术创新、投资政策…多维数据服务 8 区域经济运行大数据应用 企业综合评价为载体，运 用大数据技术，对现存发 展不和谐的要素，进行原 因分析；政策的制订对产 业发展的影响，进行科学 预测。 对区域经济发展的宏观、 中观、微观性指标进行实 时动态监测。从产业、行 业、区域、时间多维度， 实时了解城市经济运行状 态，及不同产业、行业、 企业运行情况。 全面、准确、及时掌握 所辖区域企业综合发展 概况和评价排名，为全 域产业转型升级、招商 引资、企业发展扶持等 政策的制定和调整，提 供量化决策依据。 9 政务大数据着力点 由封闭管理向开放治理转变 由单向管理向协同治理转变 由被动响应向主动服务转变 由定性管理向定量管理转变 由粗放管理向精准化管理转变 由运动式管理向常规性管理转变 政务大数据促进变革 社会治理思维的变革 社会治理手段的改进 政府决策技术的进步 风险掌控能力的提升 公共管理流程的再造 社会协同治理的进阶 能力提升目标 科学决策 精细管理 精准服务 政务大数据应用目标 法治政府 创新政府 廉洁政府 智慧政府 服务型政府 创新型政府战略 10 区域发展指标体系 区域 KPI 经济活力指数 新注册公司数 美丽城市指数 民生幸福指数 网络舆情指数 网上政务指数 人口活力指数 经济转型矩阵 科技活力指数 消费活力指数 文化活力指数 旅游活力指数 新注销公司数 新注册公司资本金总额 注册新产品 新注册网站数 活跃网站数 子主题（ 5 ） 新批用地面积 用电量 通信量 交通活跃度 项目审批额 企业招聘人员数 人均网络购书额 人均网络阅读数 电视收视率指数 人均上网时间 图书出版数 来自旅游大数据 专利申请数 专利公开数 专利授权数 人均网购金额 人均网购批次 行业公司数量变化图 行业公司资本金变化图 行业新产品数量变化图 行业网站活跃度变化图 空气质量指数 水质量指数 人均收入指数 就业指数 社会保障指数 消费活力指数 社会舆情指数 社交活力指数 城市居民人均可支配收入 农村居民人均可支配收入 人均储蓄 党媒首页指数 社交平台挖掘 12345 社交平台挖掘 网络求职数与劳动力数比 低保率 救助人口比 低保平均金额 救助平均金额 微博、微信、博客、论坛成 员数 社交平台登录频率 社交平台消费时间 社交平台影响力指数 正面舆情指数 负面舆情指数 百度指数 网上办件数 网上公共服务数 网上咨询投诉答复率 政府门户网站监测 网络政府可达性 死亡率 老龄人口比 劳动力人口比 流动人口比 流出人口比 出生率 11 城市运行大数据中心 12 精准扶贫，聚焦民生 空间 - 基础设施 时间 - 周期绩效 事件 - 脱贫周期 BigData Mobile GIS 脱贫指标 与脱贫考核 贫困人口 自然资源 基础设施 经济要素 基层组织 贫困人口 建档立卡 帮扶责任人 （党委） 精准识别 确立脱贫方案 帮扶工作 全周期管理 扶贫项目资金 全周期管理 攻坚指挥 与决策支持 Cloud Computing 省 - 市 - 县 - 乡 - 村 扶贫 + 基础设施 （交通、水利、电力、通信、 国土、农业） 扶贫 + 产业 （农业、工商、税务、企业、 电商物流） 扶贫 + 民生 （卫计、民政、 人社、教育） 扶贫 + 环境 （环保、气象、林业） 扶贫 + 资金 （财政、发改、银行、保险） 13 精准扶贫，聚焦民生 14 CONTENT 1 当政务应用遇到大数据 2 退而结网，打造大数据湖泊 3 大数据平台、架构与实现 4 大数据可视化，看得见的数据 15 大数据生态湖泊 数 据 信 息 知 识 数据运维 数据之源 数据生产区（原始数据） 结构化数据 文本文件 多媒体数据 描述类数据 信息发现区 知识发现区 知识挖掘区 知识展现区 知识交互区 基于大数据的应用体系 ODS 数据魔方 多维数据关联 主数据 数据台账 关键索引 大数据挖掘 行业规则 大数据可视化 数据多维报表 大数据操纵 数据 APIS 大数据检索 机构内部数据 社会数据 互联网数据 数据安全 数据审计 数据标准 元数据管理 主数据管理 数据质量管理 数据治理流程 元数据 大数据关联 大数据分析 大数据预测 信 息 数 据 知 识 应 用 16 行业大数据应用面对的挑战 硬件无法跟进 数据规模的 指数级增长 过于分散和原 始成为大数据 应用的障碍 复杂数据算法 与业务模型 衔接 诸多大数据并 行计算架构的 选择 大数据应用实 现路径： 从哪里开始？ 专业人才匮乏 17 CONTENT 1 当政务应用遇到大数据 2 退而结网，打造大数据湖泊 3 大数据平台、架构与实现 4 大数据可视化，看得见的数据 18 软件兼容基础架构 数据 采集层 物理 存储层 逻辑 存储层 并行 计算层 算法层 挖掘 分析层 服务 接口层 调度监控层 ETL Hadoop Sqoop Hadoop Flume Pyspider Kafka Hadoop HDFS HBase Hive MPP Greenplum SQL/RDB Redis MangoDB GraphX Hadoop MapReduce Hadoop YARN Spark Spark Streaming Spark GraphX ElasticSearch Spark MLlib SparkR Hadoop Hive Hadoop Impala MPP 实时统计分析 Python Molap/Kylin Rolap/Mondrian 通信协议（ HTTP/SOAP/thrift/Restful/RPC ） 数据协议（ XML/JSON ） Zabbix Hadoop Zookeeper Hadoop Oozie ETL 任 务 调 度 Elastic Logstash 数据仓库 数据集市 多维数据库存储 数据标签库 模型设计 模型训练 模型发布 模型管理 应用模型 算法模型 接口整合（ thrift ） Smart BI / 并行基础架构 / 算法 / 业务场景 Data Service / DaaS IDC / 数据来源 / 数据存储 / 数据治理 / 服务器 19 Data Discovery Family 用户管理 系统监控 资源管理 部署管理 资源调度 安全管理 日志审计 运维平台 数据交换汇集 ETL 网络爬虫 （ PySpider ） 实时采集 （ Flume ） 数据迁移 （ Sqoop ） 数据治理平台 数据地图 数据共享 数据质量 数据治理 银行业务 工商业务 政务业务 税务稽查 智能交通 智慧医疗 Hive （ SQL ） MapReduce HDFS YARN Impala （ In-memory SQL ） Mahout （ Machine Learning ） Spark （ Mlib ） Pig （ Scripting ） 数据集成 调度引擎 算法库 数据洞察 Miner 模型训练 数据集成 作业调度 DevOps 实时分析 ADS 数据集成 数据集成 作业调度 DevOps 离线分析 ODS 数据集成 数据集成 DevOps 流分析 SDS 可视化套件 敏捷 BI 根因分析 DE 关联分析 XE 搜索引擎 推荐引擎 舆情监控 反欺诈 图像识别 语音识别 用户画像 智能管理 API ／ SDK … 应 用 & 服 务 采 集 存 储 & 计 算 分 析 20 大数据交换汇集平台 构造大数据的数据之源 21 大数据交换汇集平台 原始数据源 数据采集交换区 数据湖 分散、种类多样化， 时效性差异大 多种技术手段，平台化系统，快速部署，统一管理 为大数据应用提供 全兼容数据存储 任务流程 调度 调度 操作 控制 操作 控制 流程 控制 流程 控制 转换流程 数据 抽取 数据 抽取 数据 加载 数据 加载 数据 转换 数据 转换 子任务 调度 调度 操作 操作 控制 控制 爬虫系统 流数据采集传输 22 ETL 核心架构 ETL 服务器 认 证 授 权 监 控 管 理 接 口 扩 展 接 口 ETL 资源库 集成开发工具 统一管理平台 数据 资源库 文件 资源库 数据源接入 流程开发 任务配置 任务部署 调试跟踪 任务执行 监控输出 运行日志 运行控制 状态监控 日志查看 权限管理 节点管理 错误告警 性能统计 面板定制 ETL 引擎 任务调度 元数据 处理流程 性能管理 交换管理 任务引擎 转换引擎 转换 组件 转换 组件 适配器 组件 适配器 组件 转换 流程 转换 流程 流程 控制 流程 控制 操作 控制 操作 控制 任务 调度 任务 调度 23 丰富的 ETL 构件库 24 ETL 实现各种你所需的数据处理流程 提高开发效率 缩短开发周期 图形化拖拽方 式快速集成 实现复杂数据 处理流程 NoSQL 接入 云化部署 25 ETL 的监控管理 单一业务的任务详情 图形化展示任务执行日志 任务运行情况变化曲线 全方位洞察一项任务执行 定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭 告警帮你随时把握任务异常 可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序 ETL 任务执行一览无余 26 WYDC 大数据应用驾驶舱 大数据高速飞行的驾驶舱 27 大数据应用驾驶舱 Sqoop Hive HBase Zookepper Pig Mahout MapReduce HDFS 分布式网络 Cloud 服务器 / 存储 物理安全 Flume Hama 超强计算 能力 更低建模 门槛 全景统一 管理 更低建设 成本 可信赖 安全机制 全方位 辅助分析 • 多达 50+ 预置模型 • 支持百亿级数据量训练 • 多算法并行训练 • 支持算法组件，零编 码，拖拽式 • 数十个流程设计组件 • 用户自定义算法组件 • 算法库行业分类 • 跨平台算法调用 • 模型训练结果分析报告 • 参数化调优，简化配置 • 建模全生命周期流程 管理 • 可视化实时模型训练 监控 • 性能处理，比传统 架构节省资源 1/3 • 搭配智能部署，让 实施成本降低 50% • 多种权限控制机制 • 数据级别访问权限控 制 • 资源级别访问权限控 制 28 大数据应用流程控制 任务耗时情况总览 状态监控，随时掌握任务执行状态 的总体分布 任务状态情况总览 耗时的任务和步骤，需要得到我 们的重点关照 具体任务耗时追踪 耗时监控，透视任务执行的时间 大数据分析流程 监控与调度 29 大数据应用流程实现 任务导航 列表 任务查询 任务创建 拖拽算法，拼接数据分析流程 定义任务 基本属性 配置任务 调度信息 30 驾驶舱数据查询 数据 图表 数据 明细 元数据 信息 查询 日志 历史 记录 HDFS 文件 31 基础计算架构运维管理 32 WYDC 大数据治理平台 大数据治理实现数据内升 33 大数据治理流域 原始业务数据 原始业务数据 原始业务数据 原始业务数据 基础库 主题库 元数据 数据标准 数据字典 目录系统 数据仓库 数据 自由 之海 数据河流 数据河流 大数据 存储 语 义 级 主 题 数 据 检 索 时间维 空 间 维 对象维 多维数据 安全 流程 审计 数据采集清洗比对 闭环迭代 数据梳理编目 主数据管理 多维数据检索与服务 大数据存储访问 34 面向数据需求方 原始 数据 元数据 治理流程 数 据 标 准 字 典 行 业 业 务 规 则 访问 条理 安全 质量 数据接口 共享开放 数 据 检 索 数 据 服 务 我是系统运维主 管，要管理好所有 数据资源的安全 我的应用需要 访问和采集大 量的数据 我的大数据挖 掘模型需要大 量数据之源 我的决策分析要涉 及更全面的信息 我是信息运营主 管，希望随时了解 我有哪些数据资源 能不能我想要什么 都快速查到？… … 35 治理的开始：数据整合 ETL 数据处理流程 数据转换 实现数据结构的转变 数据拼装 实现不同数据来源的汇总 数据比对 通过比对去除错误和冗余 数据清洗 去伪存真，保留正确数据 数据载入 根据中心存储装载数据内容 36 治理的脉络：元数据 • 在数据调研与业务中积 累元数据 • 调研表格与报告 • 部门元数据收集 数据调研梳理 元数据定义与生成 元数据存储 元数据应用与维护 元数据标准 元数据管理与服务 • 自动对中心数据资源 生成结构化元数据 • 减小工作量投入 • 可通过标准定义自动 生成数据表 自动侦测 • 元数据本身也是一个体 系 • 元数据按规划层级存储 • 选择数据库等载体 • 以便于检索为目标 存储元数据 • 元数据准确性维护 • 元数据完整性维护 • 元数据分中心之间支 持交换同步 元数据维护 • 便捷访问元数据 • 基于元数据轻松定位 数据存储与访问 • 便于数据组装 • 编制构成数据目录 元数据检索 37 治理的标尺：数据标准与质量 数据比对规则 行业规则 数据 / 元数据标准 数据质量报告 数据清洗比对参照规则 多源数据 中心前置缓存 自动 / 人工比对 反向清洗 数据中心 资源维护 阶段 数据中心 中心资源 治理阶段 数据整合 阶段 数据字典 数据依标准的格式转换 数据采集 数据传输 数据标准管理 数据质量管理 数据分类与目录 规 则 定 义 与 管 理 38 标准设计管理 39 大数据治理平台：段码数据标准管理 40 大数据治理平台：信息类管理 41 大数据治理平台：质量管理系统——规则定义 42 大数据治理平台：质量管理系统 43 大数据治理平台：质量管理系统 44 大数据治理平台：质量管理系统 45 大数据治理平台：数据资源目录 46 大数据治理平台：信息类授权 47 大数据治理平台：数据台账 48 大数据治理平台核心价值 更全面的 数据质量保障  提供数据标准梳理工具，使得元数据更合规  支持策略集的质量巡检方式，保障数据的完整性 全景化信息 开放与检索  支持主题的数据台账，  基于元数据的信息管理，提供数据资源目录与导航  多渠道的数据访问机制（目录、 API 、 Webservices ） 全过程 信息安全  支持交换全过程监控、审计，并提供邮件、短信预  警功能基于 oAuth 协议的第