对基于数据资产化建设过程中识 别 的新的数据应用场景进行分析； 企业数据中台实施步骤：调研盘点 统一数据存储计算平台 解决大数据量存储计算问题， 主要包括结构化、非结构化数据的分 布式存储和离线计算、实时计算、即席计算、在线计算、算法建模 等， 主要是以 Hadoop 生态体系为代表的分布式存储计算框架为主。 数据中台基础设施 统一数据资产建设工具 解决数据资产建设过程中数据交换、数据开发、数据资产管理、数 据服务的问题 ，提高了数据开发、数据管理、数据应用效率，构建 数据应用基础设施。 企业数据中台实施步骤：平台搭建 企业数据中台实施步骤：数据建设 数据汇聚 ：通过统一数据交换中心进行增量离线、实时数据汇聚，将相关数据逐步汇聚至统一数据存储、计算平台，形成 ODS 原始数据层。 高性能计算存储 HANA 文件存储 HDFS 、 OSS 等 Oracle 、 Sql Server 调用访问审计 元数据管理 算法库 开发角色管理 服务引擎发布 数据服务上架 离线数据开发 数据工具 / 服务管 理 数据服务引擎管理 用户角色管理 数据标准管理 数据资产管理 数据安全管理 开发角色管理 数据开发 数据同步 运维监控 数据开发平台：数据汇聚 支持 20 多种多源、异构数据的汇集、可以支持离线、实时的数据接入，支持以插件化、热插拔的方式对数据源 进 行扩充 数据源

生产数据 报表服务 计算引擎 数据传输 数据开发 数据建模 任务调度 监控预警 基础集群 离线计算 实时计 算 通信 数据中台应用场景 智能生活 新物流 自助服务 提供多种方式、多种维度的数据自服务能力 ，方便数 据 的业务触达 统一融合 打破业务丛林式发展、多云部署、微服务等形成的数 据孤岛 ，满足数据时利用和离线处理之需 安全合规 还数据与客户 ，让客户触达数据价值 ，确保数据在客 户、产品单元和数据平台之间利用的合规 全量数据 面向业务 ，全量聚合云、移动、边缘以及符合 价 值需要的社会化数据

数据 如何把数据开放给公司 各个业务使用，尽可能 达到易用 、透明 、规范 算力 对外开放实时 、离线的计算 能力，助力业务发展 需要一个数据平台 业务系统 统一的数据访问 API 可视化配置 实时计算 数据管理 数据订阅 平台 SDK 数据分发 任务调度系统 美图智能计算引擎 云基建 SQL 配置 离线统计 数据集成 固化业务 即席查询 成本管理 元 数 据 管 理 中台体系应用与服务 数据报表平台 统一输出各产品的新增 、活跃 、留存 、 地域 、设备等常规统计和大屏数据 渠道投放平台

• 基于 Hadoop 构建大数据离线批处理集群 • 基于 Storm 构建大数据实时流处理集群 • 打造大数据平台，统一全公司数据 • 统一管理 • 统一口径 • 统一整合 • 数仓多维度、多层次建模，充分利用数据价值 • 图 5-1 大数据平台系统示意图 第 17 页 共 34 页 包含功能如下： 离线任务  负责数据离线加工处理  HQL，Shell

0 时 代 数据 2.0 时 代 数据 1.0 时 代 数据资源化 业务数据化 数据 治理 平台 存储 计算 基于底座 IaaS 能力，实现多源异构数据汇聚、治理融合、数据模型可视化构建、离线 / 实时开发、多维分析和可视化、数据 服务可视化构建 ，解决数据中台建设过程中数据互通难、数据融合难、数据运营难等问题，实现数据资产价值化。 角色管理 权限管理 AI 数据挖掘应用 数据服务 应用管理 平台管理 服务市场 数据汇聚 离线采集 文件同步 人工数据填报 数据模型管理 数据开发 BC-Hadoop 生态组件 异构 数据 各类 应用 经营 分析 系统 数据湖生态组件 数据资产管理 标签管理 数据中台整体能力 中，每条数据精准一 次处理。 • 基于 Connector 进行动 态扩展连接器，支持 消息队列 kafka 、数据 库 Binlog 等实时流数据， 也支持数据库 MySQL 等离线批数据 14 • 可以通过数据开发窗 口完成一站式开发 ， 包括数据接入，数据 转换，数据关联，数 据输出等。 • 自动提示补全、语法 高亮、语句美化、在 线调试、血缘分析、

数据源 调度 流 非严管 数据 调 度流 严管数 据 支撑 业务 主题 / 画像 / 指标 的访 问查 询检 索 离线 迁移 第三 方 工具 离线 迁移 实时 接入 实时 接入 第三 方 工具 数据规范 数据模型，约束规则 数据质量 质量规则、质量报告 数据开发 Pipeline 开发、调度 数据流 分析

注塑件下料并转运至阴模区 悬挂输送系统（图上省略） 注塑件暂存、待处理 货架 装配零部件上料至线边库 AGV+ 悬挂系统 注塑件上料至阴模机、弱化机 周转车 + 悬挂系统 成品入库（包装在线 / 离线待定） AGV AGV 运输控制 物料库 配料区 物料需求 齐套发料 AVG 呼 叫 AVG 配 送 物料管理 AGV 控制系统 产线接收 产线生产 完工呼叫 工单计划 成品装载 私有云数据中心 私有云服务 工业大数据架构 元数据 数据标准 数据质量 数据安全 数据生命周期 数据定义 数据分类 数据分布 数据建模 数据交换 编码数据 业务基础数据 实时控制数据 业务系统数据 离线分析数据 数据治理 数据规划 数据内容 技 术 体 系 在线事务处理 联机事务分析 1 、 SQL 关系型数据库 2 、数据库集群 3 、核心交易 1 、 OLAP 2 、只读 3 、在线分析

以满足结构化、非结构化、多媒体类型数据存储及计算物理空间需求。 2.3.1.3 计算节点规划 根据需要分析的数据量引用支撑引擎，对业务应用的功能进行基础能力支 撑，通过新增大数据计算存储节点以扩充系统实时计算、离线计算、分布式计 算能力，满足针对各类应用的并发用户数、响应时间、计算速度等性能指标， 在项目建设完成后保证后期能够有对更多用户的支撑能力。 2.3.1.4 支撑组件规划 根据业务应用需求，重 业务应用系统 可以通过业务应用系统操作和管理数据，人员数据、社会企业数据、并在 应用系统中对人员关系进行挖掘分析，实现重点人员关系分析应用、虚实关联 分析应用等应用。另一方面，通过构建 GIS 离线地图服务，构建人员在地图上 的定位、轨迹等应用，通过大数据系统的对比分析结果，利用短信接口或警务 通完成预警和报警的推送通知，业务应用系统还包含对分级权限和登录账号权 限的管理，实现对区分局、 大数据基础平台基于大数据处理技术构建，提供海量数据的存储、分析和 实时查询服务。大数据处理技术保证了数据的分布式存储、数据的并行处理和 数据的可靠性，实现对 PB 级结构化和非结构化数据的实时计算和离线计算处 理能力，实现多计算存储节点的管理能力，满足 XX 市禁毒应用需求，同时保 证系统具有高容错性和可扩展性。 采用 Cloudera 作为大数据基础平台。Cloudera 是全球 70%的

产品服务 工具 · 数据评价 工具 · 资产管理 平台 解决核心问题：数据到信息，信息到知识一整套的治理平台，挖掘数据价值 ! 数据汇聚 ·ETL ·GPA · 脚本读取 · 离线拷贝 ● .… 归集库 标准库 主题库 应用系统 资产管理平台 二、数据治理能力构建 数 据 治 理 航空 遥感 水文 监测 水下地形 解决核心问题：面对不同的数据和业务，确立不同的自动化更新流程和工具 ! ETL 工 具 GPA 工 具 脚本读取 定时任务 数据接口 采集系统 离线拷贝 多种汇聚方式 统 一存 储 二、数据治理能力构建 数 据 动 态 汇 聚 更 新 无人 机 遥感 视频 监测 GISTC 涉水要素全域感知 天

等。不同的应用根据实 际资源需求，请求不同个数以及大小的容器。基于 YARN 的资源调度与隔离， 用户可以根据不同需求，启用多个内存分析计算引擎。如对流处理的分析应用， 对于在线实时数据内容的统计分析应用，对于离线数据仓库的统计分析应用， 以及使用 R 语言进行数据探索以及挖掘的应用等。 YARN 为 了 提 高 可 靠 性 主 要 指 解 决 ResourceManager 单 点 问 题 ， ResourceManager 注意四个级别。提供实时告警、预警展示功能。当设备产生告警时设备本身、 设备所属机柜、机柜所属机房都会进行告警提醒（颜色）。当点击产生告警的 设备时关联到告警基本信息。  以饼状图的形式显示当前离线和在线的物理机分配图。  分别显示每个物理机的图标。选中物理机图标后，显示物理机的名称 CPU 使用率等信息。 图-物理机性能视图 4.3.4.5.1.1.2 虚拟设备监控 通过软件手段 注意四个级别。提供实时告警、预警展示功能。当设备产生告警时设备本身、 设备所属机柜、机柜所属机房都会进行告警提醒（颜色）。当点击产生告警的 设备时关联到告警基本信息。  以饼状图的形式显示当前离线和在线的虚拟机分配图。  分别显示每个虚拟机的图标。选中虚拟机图标后，显示虚拟机的名称 CPU 使用率等信息。  在列表中显示每个虚拟机的实时监控数据。包括虚拟机的状态、IP、操 作系统、CPU