第 7 章 数 据 服 务 总 线 34 . 34 .1 基础数据服务和接口 34 .1.1 资源数据服务 34 .1.2 业务数据服务 35 .1.3 逻辑数据服务 35 .1.4 分析数据服务 35 .1.5 海量非结构化数据服务 35 .2 服务调用方式 35 .2.1 请求服务方式 足不同用户的个性化需 求。 统一规划、分步实施原则 系统建设宜采用统一规划，分步实施的建设原则。逐步完善、分步实 施来完成产权信息的应用，以应用带发展，以效益促应用，逐步实现产 权信息数据服务化。 共享为原则，不共享为例外 各部门业务数据必须向“数据仓库”汇集，业务系统向“数据仓库”开 放，直接共享全公司范围内的大数据资源和服务。 .4 需求分析 产权大数据平台为推动产权信息化向深度和广度迈进，强化动态化、 产权大数据平台在规划、设计、建设过程中，坚持以前沿科技为手 段，以数据为核心，建立标准规范、安全可靠、高效稳定的面向业务应用的 数据服务平台。能够将各类结构化和非结构化的大数据，经过预处理、清 洗、转换、关联、比对、标识之后，变为有价值的信息资产，并以服务的 方式对外发布，实现横向集成、纵向贯通、全局共享的数据服务平台。 为各部门的日常工作、基础查询、综合分析、决策支持、深度挖掘提供 服务。 产权大数据平台建设架构如下图：

......................................................................................... 9 1.5. 数据服务的构建和治理............................................................................................ .................................................................................... 104 10.5.3. 数据服务化................................................................................................. 大数据平台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合， 目标是实现数据分层与解耦，沉淀公共数据，通过数据集成实现跨域数据整合，通过 数据开发管理工具对数据处理、分析以满足业务需求，通过数据服务满足上层应用对 数据的查询、访问等需求。 从广义上讲，大数据平台是直接服务于业务应用系统的数据服务工厂；狭义上讲， 大数据平台就是可复用的数据服务接口。主要包括两类服务： 1) 一类是数据资

统计分析 业务需求为导向 少量的统计分析 1.0 3.0 2.0 决策支持 建立数据理念 业务场景驱动 数据应用闭环 业务需求驱动 数据业务融合 数据仓库建设 数据服务 阶段 应用场景 数据需求 参与方 价值体现 存储计算 数据组织 Data 1.0 、 Data2.0 “ 描述过去，看结果； 看了，然后呢” 报表 明确 业务（决策） IT （实施） 选型：开源 Hadoop 、 CDH 、 HDP 等 面向业务主 题的指标体 系（准实时、 预测类指标） Data 3.0 “ 更多数据驱动业务、 更多活数据互通流动 应用、统一数据服务” 多元化场景：报表、 产品推荐、个性化 信息推送、客户健 康管理、核保核赔、 风控 迭代 系统（决策） 业务和 IT （实施） 面向业务创新 与快速需求响 数据建设 价值场景 持续运营 底层选型 大数据开发平台 资产管理平台 数据服务平台 企业数据中台实施步骤 数据汇聚 公共数据建设 数据标签建设 客群画像 精准营销 风险控制 场景推广 长效运营 数据闭环 业务盘点 数据盘点 场景盘点 中台战略 数据积累情况调研

DC 作业 接 连 超过 60% 计划或已经建立数据管理委员会 From 信通院、艾瑞咨询：预计到 2020 年，大数据软件市场规模将达 到 268.2 亿元，年复合增长率 38.6% ；大数据服务市场规模将达到 165.9 亿元，年复合增长率 41.4% 。初步估算数据管理市场约 43 亿， 核心发展方向：数据资产管理、 数据可视化以及机器学习 企业越来越重视数字化运营 ，核心重点是数据管理、可视以及数据治理 n n n n 数据采集 拿 拿 目标： • 从烟囱式多个平台向融合大数据平台，建立统一的数据采集 与整合大数据处理、计算及数据服务能力，降低大数据使用成 本 • 通过集中各领域数据，方便创新，让数据产生更大价值 • 大中台、小前台，前台特种兵敏捷作战单元 + 中台航母舰群 精确制导炮火 本浪费； 2 、断：数据理解与数据价值链条的断层； 3 、缺：缺标准、缺治理、缺数据； 4 、难：知数据难、要数据难、懂数据难； 数字化运营，需要由传统的烟囱式 IT 系统向数据中台转 型 统一数据服务 统一数据建模、分析与挖掘 数据中台 统一数据资产中心 统一数据采集 现网烟囱数据 IT 系统 生产数仓 数据采集 销售 预测 客户 分析 运营

离线数据存储 实时数据存储 字段标准化 代码标准化 标准制定 资源库 主题库 专题库 查询服务 订阅服务 比对服务 应用 数据源 数据汇聚 数据存储 数据标准 数据融合贯通 数据服务 存 通 聚 规 服 （数据资 产） （数 据） 数据中台 方案架构 方案构成 - 数据管理 数据管理： 通过数据源管理、数据对标、资源目录、质量管理等全方面对用户数据进行补充。 ：包含向导模式、脚本模式、标签模式等，满足 不同的场景 l API 管理 ：数据服务支持服务发 布、下架、编辑等 l 支持可视化配置：将各类数据库中的数据表快速生成服务 l 支持标准 SQL 编写：支持标准的 SQL 查询语句生产脚本，支 持多表关联查询等能力 方案构成 - 数据服务 数据服务： 通过 API 编写，针对一些特殊数据服务，通过响应参数、返回参数，定义服务业务模型 。提供上层应用接口。 ：完成“新基建 ”大数据基建 3 ：需要大数据分析 、 大数据研判 4 ：数据治理 、 数据处理 、 数据标准 化 5 ：数据汇聚 、 采集 、 接入 6 ：急需提升部门信息化水平 7 ：提供有价值的数据服务 …… 1 ：科技信息 （局 \ 处） 2 ：网络安全 （总队 \ 支队 \ 大 队） 3 ：反恐 （总队 \ 支队 \ 大队） 4 ：交警 （总队 \ 支队 \ 大队） 5 ：国安

01 02 03 04 数据服务 数据中台 中台 数据平台 初期痛点 基础建设 数据治理 服务建设 总有一款美的产品你感兴趣 01 02 03 04 数据服务 数据中台 中台 数据平台 初期痛点 基础建设 数据治理 服务建设 从无到有 - 快速上线 01 02 03 04 数据服务 数据中台 中台 数据平台 初期痛点 基础建设 数据治理 服务建设 采集 质量 数据采集痛点

AI 应用场景 服务生命周期管理 服务列表 数据 仓库 中台 志 大数据分析 DWS （ GaussDB200 服务化） 数据管理 统一接入、统一管理、统一服务的国网数据中台架构 数据服务（ DAYU ） Kafka 消息中间件 结构 化 业务类 采集类 ERP PMS 用采 J 营销系统 财务系统 共享层 贴源层 业级集群管理系统，可让用户更好的监控和管理大 数据平台，并可通过短信 / 邮件的方式，提醒用户 平台异常 高安全 经由华为专业的安全团队和德国 PSA 安全认证测 试，提供云上高安全的大数据服务。基于 Kerberos 认证，实现了基于角色的安全控制以及完善的审计功 能 低成本 • 灵活配置节点与磁盘规格 • 灵活配置集群规模 • 灵活配置大数据软件及版本 • ，根据负载自动伸缩 • 原生接口，企业应用无缝迁移 数据采集 采集，同步 数据规范 数据表 / 模型 设计，约束规 则定义 数据治理 标注，智能 ETL ，治理 数据资产 数据血缘，全 局视图 数据服务 支撑业务主题 / 画像 / 指标的 访问查询检索 数据中台组件介绍 -DAYU 敏捷可视能力 自助分析能力 快速开发能力 全局治理能力

......................................................................................36 3.4.5.2. 数据服务层-主题库(DWS)........................................................................................ .......................................................................................52 4.3.2. 数据服务层(DWS)-主题库........................................................................................ .....................................................................................126 8.4.3.2. 数据服务层(DWS)-主题库........................................................................................

以数据湖为底座，利用元数据智能驱动技术，深化数据全流程治理，提供异构数据汇聚、海量数据处理以及全域数据 运营等服务。解决企业数据领域多源异构数据融合、数据资产集中治理以及数据共享安全可控等难点。面向各行业领 域提供数据中台建设、管理及数据服务能力，赋能数字化转型与运营。 资源标签化 标签运营化 数据中台 解决方案 让只懂业务的人会用数据中台 il 数据价值变现流程 数据中台定位 第 数据 BI 可视化应用 AI 数据挖掘应用 数据服务 应用管理 平台管理 服务市场 数据汇聚 离线采集 文件同步 人工数据填报 数据模型管理 数据开发 BC-Hadoop 生态组件 异构 数据 各类 应用 经营 分析 系统 分析应用需求。 自助式数据探查 实现基本探查、深度探查以及 业务探查的能力 ，提升盘点数 据资产效率 数据共享融旧创新 实现管理与共享无缝集成 ，提 供库表、接口、文件、流式等 数据服务模式 ，实现数据服务 双向协同。 主数据管理 提供数据定义、主数据建模、主数据 开发、主数据维护、主数据分发等管 理 ，实现主数据全流程管理。 客户 360 度画像管理 提供标签的创建 、 修改 、发布、

数据中台不仅需要关注数据生产过程中的效率 问题，中台实际上还具备以下能力：1. 如何收 集数据被消费之后的反馈闭环；2. 解决多源异 构的数据组合的效率；3. 具备业务发生变化时 的快速自适应力；4. 保障数据服务的稳定性。 数据中台围绕数据生命周期的各个阶段（产 生、存储、增强、使用、传输、共用共创、更新、 销毁等）而建立，服务的对象可以是 IT 研发者、 数据科学专家、产品经理、分析师、决策管理者 追踪数据价值。因此，一般数据中台的价值体 现可以根据数据开发能否化繁为简作为考核， 进一步理解就是开发成本的节省（第五种能 力）。 数据服务赋能快速创新 一切数据都是因业务目标驱动而 形成，产生于业务且又服务于业务。 通过松耦合的数据服务带来业务 24 / 新经济导刊 / New Economy Weekly 10/2018 亿人 的复用，例如淘宝和天猫有着各自的买家评价 模型鉴别虚假评价。所以即便业务场景不一样， 但很多的基础数据模型及算法可以被重复使用 服务。 经过清晰的沉淀，算法可以通过重新编排、 组合，成为服务接口响应业务的基本需求。由 于具备快速编排、组合数据服务的能力，企业 可以以较小的成本投入来构建出一个创新的前 端业务。这是传统模式构建的系统中前所未有 的，容许快速试错，更适合今天具有互联网精 神的轻公司模式。 需要相应的组织架构与激励机制