【应用案例】市大数据云平台实施方案

微信扫码，打开到小程序

大数据云平台实施方案 项目编号： 某大数据云平台项目建设 实 施 方 案 I 大数据云平台实施方案 目录 1.1 建设目标、规模、内容、建设期...................................................................................1 1.1.1 建设目标.................................................................................................................1 1.1.2 建设内容.................................................................................................................1 1.1.3 建设周期.................................................................................................................4 第二章 需求分析................................................................................................................6 2.1 政务业务目标需求分析结论...........................................................................................6 2.2 系统功能指标...................................................................................................................8 2.2.1 基础设施服务层（Iaas）.......................................................................................8 2.2.2 平台服务层（Paas）..............................................................................................8 2.2.3 应用服务层（Saas）............................................................................................10 2.3 信息量指标.....................................................................................................................11 2.4 系统性能指标.................................................................................................................12 2.4.1 总体性能指标.......................................................................................................12 2.4.2 网络平台性能.......................................................................................................13 2.4.3 系统平台性能.......................................................................................................13 2.4.4 应用系统性能.......................................................................................................13 第三章 总体建设方案......................................................................................................15 3.1 总体设计原则.................................................................................................................15 II 大数据云平台实施方案 3.1.1 分期目标...............................................................................................................17 3.2 总体建设任务与分期建设内容.....................................................................................18 3.2.1 总体建设任务.......................................................................................................18 3.3 系统总体结构和逻辑结构.............................................................................................19 3.3.1 总体架构...............................................................................................................19 3.3.2 技术架构...............................................................................................................24 3.4 信息资源规划和数据库设计.........................................................................................25 3.4.1 数据模型规划.......................................................................................................25 3.4.2 数据整合原则.......................................................................................................27 3.4.3 技术缓冲层设计...................................................................................................28 3.4.4 整合模型层设计...................................................................................................29 3.4.5 共性加工层设计...................................................................................................43 3.4.6 数据应用层设计...................................................................................................47 3.4.7 数据库服务架构...................................................................................................48 3.5 应用支撑系统设计.........................................................................................................50 3.5.1 大数据基础平台设计...........................................................................................50 3.5.2 ETL 设计.................................................................................................................62 3.5.3 调度架构设计.......................................................................................................75 3.5.4 数据管控设计.......................................................................................................81 3.6 应用系统设计...............................................................................................................106 3.6.1 分析决策支持系统.............................................................................................106 3.7 数据处理和存储系统设计...........................................................................................147 III 大数据云平台实施方案 IV 大数据云平台实施方案 1.1 建设目标、规模、内容、建设期 1.1.1 建设目标 以“海信息、网关联、云计算、块数据、条运用、促和谐”为建设 方针，建设以基础设施层、系统平台层、应用平台层为框架结构， 多个系统应用为支撑的社会治理大数据云平台，实现社会治理从条 块分制向整体联动转变，从被动应付向主动服务转变，从传统管理 方式向信息化支撑转变，从分级管理向扁平化管理转变，从单打独 斗向协作共治转变，不断推动社会治理体系和社会治理能力现代化。 项目建成后，将覆盖全市十个区市县，使用对象包括社区服务 中心（乡镇）工作人员、居委会（行政村）工作人员、社区网格员， 也包括市、区县两级相关部门工作人员。 1.1.2 建设内容 市大数据云平台工程分为两期建设，从建设内容上来说，两期 的建设内容是逐步完善、优化、扩展的关系。大数据云平台工程的 总体建设任务为： 1、系统运行环境 基于市统一的基础设施层技术体系，搭建大数据云平台工程， 主要是指支撑系统运行的软硬件基础环境。其中硬件基础环境包括： 计算资源、存储资源、安全防护、网络资源等等；软件基础环境包 5 大数据云平台实施方案 括：数据库、中间件、数据备份等等。 2、共享数据建设 共享数据建设主要是指大数据云平台工程运行的数据基础。在 大数据云平台工程的建设过程中主要包括了结构化数据和非结构化 数据。结构化数据包括：基础空间数据和网格块数据关系数据库； 非结构化数据主要包括海量行为数据、网页、各类报表、图像和音 频/视频信息等等；  基础空间数据 利用现有的基础数据成果，进行修补测或数据时相、内容的更 新，形成大数据云平台工程的基础空间数据库。  网格块数据关系数据库 以网格化管理数据、政府各专业职能部门数据为基础，以网格 化管理为中心建设“网格块数据关系数据库”，其核心是要建立社区网 格内“人与人”、“人与物”、“人与组织”、“物与物”、“组织与物”、“组织 与组织”等的关联关系。  海量行为数据 依托开放式社会共享数据平台，建立大数据云平台工程所需的 海量社会数据。  各类报表 针对目前尚未进行结构化数据梳理的业务数据，如 Word、Excel 等形式存储的业务数据； 6 大数据云平台实施方案  图像和音频/视频信息 针对视频监控、人口信息的照片等信息的数据处理。 3、支撑能力建设 支撑内容的建设为应用系统建设提供组件式服务，主要建设： 地理信息平台、数据分析平台、流程管理平台、安全平台等。  地理信息平台 立足市现有城市地理空间信息建设应用基础，从大数据云平台 工程的应用实际需求出发，遵循“资源重用、节约投资”的原则，采用 基于面向服务架构（SOA）的 Service GIS 等技术，实现对市分散的空 间信息资源整合、共享和充分利用，为大数据云平台工程提供地理 信息与业务数据的在线共享与交换支撑。  数据分析平台 数据分析平台是集数据的目录管理、数据交换、数据处理的分 析与挖掘、数据的可视化展现为一体的综合支撑平台。  流程管理平台 通过对网格化服务管理的梳理，再造社会治理工作流程，将信 任服务、授权服务和工作流等业务流程有机融合紧密结合在一起， 构成安全的工作流业务系统，为不同业务流程提供实现的技术手段。  安全平台 基于云计算安全架构，同时根据大数据云平台工程的系统安全 7 大数据云平台实施方案 需求特点和风险状况，从物理安全、网络安全、云平台安全、系统 安全、应用安全，数据安全六个层面，进行安全体系架构设计。 4、应用系统建设 应用系统建设着眼大数据未来发展趋势，以网格化服务管理系 统为基础，提供涵盖政府、企业、社会组织、军民等内容的社会治 理综合业务系统，既实现市统筹、创新、推动社会治理的需求，又 满足部门、社区和社会组织对大数据云平台工程的应用需求。应用 系统建设包括“网格化管理系统”、“社会动员管理系统”、“社区综合服 务系统”、“社会分析决策支持系统”。 5、接入系统建设 接入系统包括 PC 系统、移动应用系统和微信应用系统。 1.1.3 建设周期 大数据云平台工程涵盖业务内容多、涉及范围广、建设周期长， 为了完成工程的总体建设目标，需要一个逐步推进和逐渐完善的过 程，必须依据循序渐进、分阶段、有步骤、重点突破的建设原则。 一期工程计划于 2019 年底建成。其中，一期建设阶段 5 个月， 运维应用（试运行）阶段为 6 个月，系统计划于 2019 年底完成终验。 8 大数据云平台实施方案 第二章 需求分析 2.1 政务业务目标需求分析结论 大数据云平台工程是一个基于大数据的概念，利用大数据技术， 以构建大数据云平台工程数据平台为基础，以提供标准化的数据服 务、网格化服务、流程服务为中心，支撑和协同市各部门和社会公 众的社会治理工作。 大数据云平台工程贯穿于市规划、发展、建设、运行、服务、 管理的全过程，是一个复杂而庞大的系统工程，在描述与其他业务 系统关联的同时，我们对大数据云平台工程有了一个清晰的定位： 1、大数据云平台工程建设是打造社会治理升级版的重要内容。 随着大数据时代的到来，社会治理面临着新机遇和新挑战。市 委九届四次全会提出，要实施社会治理工程，打造法治升级版，积 极探索以网格为基础的大数据建设。大数据云平台工程以块数据为 基础，运用大数据技术，创新社会治理方式方法，提高社会治理能 力，为打造法治“升级版”提供了有力的工作抓手，具有重大的实践意 义和社会价值。 2、大数据云平台工程建设是推进治理能力现代化的支撑平台。 我市大力发展大数据产业，为社会治理工作带来了前所未有的 契机。2015 年全市加强群众工作创新社会治理大会提出，要狠抓平 台建设，在以‘大数据’手段提升社会治理水平上实现新突破。通过实 9 大数据云平台实施方案 施大数据云平台工程建设，能够强化“条专块统”，倒逼体制改革，打 破数据“壁垒”，链接数据“孤岛”，激发社会活力，发挥党政部门、社 会组织、企事业单位、居民群众等多元主体的作用，构建众联、众 包、众创、众筹的社会治理新局面。 3、大数据云平台工程建设是完善民生服务体系的惠民工程。 创新社会治理，要以最广大人民根本利益为根本坐标，从人民 群众最关心最直接最现实的利益问题入手。大数据云平台工程建设 能够通过大数据运用，统计分析与民生相关的海量数据，准确把握 不同社会成员和不同地区的社会需求，实施精细化的服务管理，推 动建立多层次的服务体系，营造和谐稳定的社会环境。 大数据云平台工程覆盖至最基层的网格信息员，由网格信息员 采集的民生需求，拓宽社情民意的采集渠道，打通居民与政府之间 的沟通桥梁。同时，将民生数据汇总至“数据民生”的民生资源池，依 托大数据手段，整合线下群众的社情民意信息，为下一步政策的制 定和实施，提供决策依据。是政府由被动服务向主动服务、由基本 服务向更好服务、由普惠服务向个性化服务转变的重要手段。 4、大数据云平台工程建设是数据民生考核的组成部分。 大数据云平台工程具有完整的考核体系，通过对案件处置的情 况进行统计分析，对各级联动单位进行科学的评价。在大数据云平 台工程的设计过程中，同样考虑了与“数据民生”考核的对接，其数据 是“数据民生”面向社会考核的重要组成部分。 10 大数据云平台实施方案 2.2 系统功能指标 2.2.1 基础设施服务层（Iaas） 结合大数据云平台工程前端应用，依托市政务数据中心，基于 市统一的基础设施层技术体系，结合市统一的云服务平台相关技术 规范和参数，选择配置完善主机、存储、网络、操作系统等基础设 施标准，考虑采用虚拟化硬件技术、分布式存储技术、并行编程模 式、分布式资源管理、云计算平台管理、认证服务、证书服务、加 密服务等技术功能，实现数据容灾、快速回复、