大数据平台数据管控整体解决方案

微信扫码，打开到小程序

大数据平台数据管控整体解决方案 大数据平台数据管控整体解决方案 大数据平台数据管控整体解决方案 目录 数据管控概述 1 元数据管理 2 数据标准管理 3 数据质量管理 4 大数据平台数据管控整体解决方案 数据管控系统实施目标 数据管控系统实施是为解决企业所面临的数据标准问题、 数据质量问题、元数据管理问题。 • 推动数据标准在全企业的执行落地，规范化管理构成数据平 台的业务和技术基础设施，包括数据管控制度与流程规范文 档、信息项定义等。 数据标准规范落地 • 全方位管理数据平台的数据质量，提升数据可访问性、可用 性、正确性、一致性等，实现可定义的数据质量检核和维度 分析，以及问题跟踪。 数据质量问题定位分析 • 提升统一有序的业务系统和 MIS 系统的管理数据能力，实现 对数据间流转、依赖关系的影响和血缘分析，增加有效工作 时间用于分析数据，减少用于在复杂企业数据环境中搜索数 据的时间 数据关系脉络化 大数据平台数据管控整体解决方案 数据管控体系建设原则 循序渐进 结合现实 • 实施难度、影响 范围 • 实施成本、实施 风险 • 不可能齐头并 进，一蹴而就 • 先易后难 • 以业务的现实需 求为首要前提来 确定数据治理平 台的重点 业务驱动 大数据平台数据管控整体解决方案 数据管控系统实施步骤 大数据平台数据管控整体解决方案 目录 数据管控概述 1 元数据管理 2 数据标准管理 3 数据质量管理 4 大数据平台数据管控整体解决方案 元数据定义 大数据平台数据管控整体解决方案 元数据分类 大数据平台数据管控整体解决方案 元数据范围 大数据平台数据管控整体解决方案 元数据关联性 大数据平台数据管控整体解决方案 元数据系统应用模型 大数据平台数据管控整体解决方案 元数据管理系统功能构成图 大数据平台数据管控整体解决方案 技术架构图 大数据平台数据管控整体解决方案 庞大的数据资产如何管理？ 形态万千、散落在企业各处的数据资产如何管理？ 数据资产之间的关系怎样？ 如何让数据资产正确、有效的被使用 并产生价值？ enterprise ASSET 元数据管理 - 现状分析 企业数据资产管理的困惑 大数据平台数据管控整体解决方案 对元数据的概念理解不清或者不一致 到底哪些数据可以纳入到元数据管理范畴之内 元数据管理能带来什么价值 元数据管理的工作内容都是什么 元数据管理 - 元数据的意义 元数据到底是什么 大数据平台数据管控整体解决方案 需要借助元数据管理来解决理想和现实之间 的差异问题 ! 元数据能够辅助管理企业的各类数据资产； 元数据可以如实向用户反映企业的数据资产信息； 元数据管理的工作内容包括人员组织搭建、管理流程的梳理、基 础技术平台的实施； 元数据的解决方案回答了如何让元数据管理产生价值的问题。 解决之道 元数据系统 - 解决方案 大数据平台数据管控整体解决方案 定位： 元数据管理是对数据平台数据信息的梳理、组织和再现，帮助用户更好的 理解现有系统的建设现状，支撑用户对数据平台的管理工作作出更合理的决策， 但不能过分夸大元数据管理的工作范围，它并不能替代现有数据平台开发和管 理工具的角色，也不能彻底改变现有数据平台的管理模式。 元数据系统 - 元数据管理定位 大数据平台数据管控整体解决方案 元数据管理的应用价值 元数据管理的应用价值主要体现在：  对数据再组织并形成全局性的视图；  帮助用户更好的理解各环节的数据和系统的建设现状；  是保障企业数据质量的基础；  支持企业信息化的知识传承；  提升数据平台建设和管理水平。 元数据系统 - 价值 大数据平台数据管控整体解决方案 整合不同系统的元数据 整合不同来源的元数据 整合不同类型的元数据 统一可维护的元数据存储 内容 1 内容 1 内容 6 内容 2 内容 2 内容 4 内容 3 内容 3 内容 5 内容 3 内容 2 内容 4 内容 1 核心 系统 总账 系统 信贷 系统 元数据 存储 元数据管理 - 整合 大数据平台数据管控整体解决方案 统一的全局视图 元数据管理 - 数据地图 大数据平台数据管控整体解决方案 功 能 说 明 说 明  在查看报表的同时辅以文 字化的术语说明；  提供统一、清晰的业务定 义和口径；  是业务人员理解数据的好 帮手。 元数据解决方案 - 元数据应用 信息 大数据平台数据管控整体解决方案 功 能 说 明 说 明  通过快速搜索获取元数据 信息；  支持包括中英文名称、关 键字在内的搜索。 元数据解决方案 - 信息检索 大数据平台数据管控整体解决方案  通过快速搜索获取元数据信 息；  支持包括中英文名称、关键 字在内的搜索。 元数据解决方案 - 数据字典 大数据平台数据管控整体解决方案  支持自动定版和手工定版；  自动定版：元数据信息发生 变更，会自动维护版本；  手工定版：根据客户的需要 将一到多个元数据进行定版 并可对版本命名；  不论自动还是手工定的版本， 都可支持日后查阅和分析。 元数据解决方案 - 版本管理 大数据平台数据管控整体解决方案 元数据解决方案 - 影响分析 大数据平台数据管控整体解决方案 统一门户 数据管控 体系 数据标准 管理 元数据 管理 数据质量 管理 功 能 说 明 说 明 数据管控（ Data Governance ）是指对一个 企业数据的可用性、实用性、 完整性和安全性等的全面管 理。一个有效的数据管控包 括一个管控主体、定义好的 一组程序和一个执行这组程 序的计划。 元数据解决方案 - 数据管控 大数据平台数据管控整体解决方案 元数据实施 - 总体规划 大数据平台数据管控整体解决方案 元数据实施 - 组织机构 大数据平台数据管控整体解决方案 元数据实施 - 管理办法和流程 大数据平台数据管控整体解决方案 目录 数据管控概述 1 元数据管理 2 数据标准管理 3 数据质量管理 4 大数据平台数据管控整体解决方案 数据标准管理 数 据 标 准 定义与定义原则 •定义主题的概念、本质与内涵，明确开行对此类主题的定义。 •描述主题的识别原则。 信息模型 •定义主题信息项 •定义主题各类信息项的业务属性、技术属性及信息项所有者 数据 标准 定义 主题数据项 数据映射说明书 识别主题数据标准与源系统数据字典间的差异。 建立主题数据标准与源系统间的数据映射关系。 数据标准 执行建议 主题数据标准在业务层面及IT层面的执行的指引与建议。 执行 指引 数据 映射 分类 •定义主题分类原则。 •定义主题分类及产品清单。 • 前期成果借鉴 • 业务访谈 • 系统调研 • 结合最佳实践分析、 诊断 1. 现状分析 • 确定映射的系统 范围 • 制定源系统与标 准的映射规则 • 根据数据验证映 射规则 • 形成标准化定义 初稿并讲解 • 对定义初稿征求 意见和讨论 • 根据意见反馈和 讨论结果和修正 并形成数据标准 • 提出标准在未来 各影响面执行的 遵循原则 • 就标准与现状的 实际差异给出具 体的执行建议 2. 标准定义 3. 标准映射 4. 执行建议 大数据平台数据管控整体解决方案 数据标准管理应用场景 大数据平台数据管控整体解决方案 数据标准工具逻辑架构图 大数据平台数据管控整体解决方案  数据标准是企业级的业务规范，用于指导各业务系统及数据仓库的建设， 而元数据是系统级的描述手段，更多的反映系统建设情况；  数据标准指导系统建设的成果可以通过元数据来反映；  系统的建设反过来促进数据标准的完善； 数据标准与元数据关系 大数据平台数据管控整体解决方案 目录 数据管控概述 1 元数据管理 2 数据标准管理 3 数据质量管理 4 大数据平台数据管控整体解决方案 数据质量问题产生原因 质量问题 信息域 技术域 流程域 管理域 数据质量问题产生的原因 , 归 纳分析后可以总结为 4 个领 域： 信息问题域、技术问题域、流 程问题域、管理问题域 大数据平台数据管控整体解决方案 数据质量管理工具介绍 由于对数据本身的描述、理 解及其度量标准的偏差而造成的数据质量 问题。产生这类数据质量问题的原因主要 有：元数据描述及理解错误、数据度量的 各种性质得不到保证、变化频度不恰当 等。 元数据描述及理解错误中的相关元数据主 要包括：  业务元数据——主要包括业务描述、 业务规则、业务术语、业务指标口径 等；  技术元数据——主要包括接口规范、 执行顺序、依赖关系、 ETL 转换、数 据建模和工具等方面的内容。  数据度量和变化频度提供了衡量数据 质量好坏的手段。数据度量主要包括 完整性、唯一性、一致性、准确性、 合法性。变化频度主要包括业务系统 数据的变化周期和实体数据的刷新周 期。 数据质量问题产生的原因分析—信息域 大数据平台数据管控整体解决方案 数据质量管理工具介绍 由于具体数据处理的各技术环节异 常所造成的数据质量问题，它产生的直 接原因是技术实现上的某种缺陷。技术 类数据质量问题产生的环节主要包括： 数据创建、数据获取、数据传递、数据 装载、数据使用、数据维护等方面：  数据创建质量问题主要包括：创建数 据默认值使用不当和数据录入的校验 规则不当，导致指标统计结果不一 致、数据无效、记录重复等；  数据传递质量问题主要包括：接口数 据及时率低、接口数据漏传、网络传 输过程不可靠，如包丢失、文件传输 方式错误、传输技术问题、协议使用 不当导致的数据不完整等；  数据装载质量问题主要包括：数据清 洗算法、数据转换算法和数据加载算 法的错误； 数据质量问题产生的原因分析—技术域 大数据平台数据管控整体解决方案 数据质量管理工具介绍 由于系统作业流程和人工操作 流程设置不当造成的数据质量问题，主 要来源于系统数据的创建流程、传递流 程、装载流程、使用流程、维护流程等 各环节：  创建流程质量问题主要指操作员数据 录入时缺乏审核流程；  传递流程质量问题主要指通信流程沟 通不畅；  装载流程质量问题主要指清洗流程缺 乏 / 不当、调度流程逻辑错误、数据 加载流程逻辑错误及数据转换流程逻 辑错误；  使用流程质量问题主要指数据使用流 程缺乏流程管理；  维护流程质量问题主要指缺乏变更维 护流程、缺乏错误数据维护流程、缺 乏数据测试流程以及对人工后台调整 数据没有严格的流程监控； 数据质量问题产生的原因分析—流程域 大数据平台数据管控整体解决方案 数据质量管理工具介绍 由于人员素质及管理机制方面的 原因 造成的数据质量问题如：  数据库设计原则不严谨，数据使用 不规范导致的业务数据重复，数据 不一致。  人员培训所产生的质量问题主要指 对数据质量相关人员缺少长期培训 计划。  没有建立管理数据质量的专门机 构，出现数据质量问题后无专人负 责  没有明确的数据质量目标；  缺少管理数据质量的管理办法等。 数据质量问题产生的原因分析—管理域 大数据平台数据管控整体解决方案 数据质量管理工具介绍 大数据平台数据管控整体解决方案 质量管理模型和功能匹配 大数据平台数据管控整体解决方案 数据质量管理工具介绍 大数据平台数据管控整体解决方案 数据质量管理工具介绍 大数据平台数据管控整体解决方案 数据质量管理工具介绍 • 数据质量管理工具流程图 大数据平台数据管控整体解决方案 数据质量管理工具介绍 功能一级分类 功能二级分类 说明 首页 首页统计分析 支持最近一天以及最近一周的质量情况统计分析，支持钻取；支持个 性化首页定制； 规则管理 规则配置 规则依赖的需求，需要执行的数据标准，业务描述、规则类型（完整 性，一致性，时效性，正确性） 规则浏览 规则清单浏览 检查点管理 检查点配置 配置检查目标及规则，技术属性（唯一，非空，值域，代码，外键， 拉链） 检查点浏览 检查点清单浏览 检查点执行状态监控 检查点手动执行、状态监控 检查点执行历史查询 检查点运行历史查询，执行情况浏览 问题跟踪分析管理 问题浏览 检查点执行后的问题数据（综合问题查询） 问题发布 将问题提交给处理人，包括处理人信息、预期处理完成时间、提醒方 式等，支持已发布的问题数据浏览 问题处理 用于关闭问题。记录问题处理过程及方法。 问题归档 处理完成后的问题的归档，支持已归档的问题数据浏览 问题跟踪监控 反映问题严重级别，预期处理时间，预定处理部门或责任人，触发通 知等功能。 问题跟踪设置 设置问题数据处理日历。问题严重级别。 数据质量分析 数据质量全局统计 全局统计问题报告，系统维度，数据生成周期，处理情况 单表问题数据统计 单个检查目标问题数据类型统计图。 单检查点趋势分析 单个检查点趋势图 问题分析报告下载 问题分析报告下载 权限管理 用户管理 用户录入，修改。密码管理 角色管理 创建角色、用户分配角色 权限配置 系统功能权限分配 菜单管理 菜单管理 系统菜单新增、修改。 日志管理 系统监控日志 用户操作系统的记录，包括功能点，请求参数 检查执行日志 检查点执行时间，返回状态码，错误信息。 检查脚本 检核脚本（ PERL 模板） 后台调用检查配置信息的 Perl 脚本。 数据质量管理开发功能清单 大数据平台数据管控整体解决方案  元数据侧重于展现表结构化的信息，数据质量侧重展现表中数据存 在的问题；  元数据可以展现表上与数据质量相关的信息；  数据质量可以利用元数据的分布拓扑结构图信息（数据地图）展现 数据质量点、线、面的与质量相关的分布情况；  数据质量发现问题时可以查看相关表结构 数据质量与元数据的关系 大数据平台数据管控整体解决方案 汇报完毕 感谢聆听