......................................................................................20 2.4.1. 定制主题应用数仓............................................................................................... ..................................................................................... 50 8.6.3. 确定主题域.................................................................................................. ....................................................................................... 53 8.6.5. 主题域示例................................................................................................

..... 119 4.5 建设 S 县主题库 ............................................................................................................................ 119 4.5.1 产业经济主题库 ....................... 建设方案 V 4.5.2 电子证照主题库 .................................................................................................................. 120 4.5.3 权力事项主题库 ............................ .......... 125 4.8.1 乡村产业经济振兴主题库 ................................................................................................... 125 4.8.2 乡村居民文化振兴主题库 .................................

时 为应用系统（四个业务平台及政务共享平台）的数据分析及展示提供支持。 （2）舆情采集数据主要来自全国及 XX 市本地的新闻媒体、论坛、微博、 微信等网络数据源。 舆情采集数据提供主题数据分析（具体主题待定），结合委办局及企事业 单位及人口库、法人库数据满足应用系统（四平台及政务共享平台）需求。 采集数据包括：人口基本信息、流动人口信息、居住证信息(16 岁及居住半 年以上的外来人口)、户口信息、标准地址信息、XX 根据梳理的规则，统一通过数据处理工具进行数据的抽取、转换、加载，形成 委办局和舆情主题库数据，以及人口库、法人库等基础信息专题库数据。 （3）大数据中心提供数据共享服务，根据内部系统和外部委办局及系统的 需求提供数据授权，提供完善的数据安全机制，保证数据的安全性。 （4）大数据中心通过数据管理平台提供数据管理维护的功能，方便运维人 员及管理员查看委办局主题库、人口法人库的数据量、数据使用情况等。依据 数据需求量 础信息进行梳理、编目，形成 XX 市信息资源目录体系的示范应用，带动目录体 系建设； （2）建立覆盖各共建单位的信息资源交换体系，提供人口、法人数据的交 换服务，将政务信息汇聚落地成库，为实现跨部门主题应用提供支撑。同时为 下一步交换体系横向覆盖更多的委办局提供可扩展的框架； （3）以现有的 XX 市政务外网和互联网为依托，融合公安、人社、计生、 民政等厅局单位与人口相关的信息资源，形成全市人口基础信息库，为人口生

.................................................................................36 3.4.5.2. 数据服务层-主题库(DWS)............................................................................................. .............................................................................52 4.3.2. 数据服务层(DWS)-主题库.................................................................................................. .......................................................................................53 4.3.2.2. 主题域..................................................................................................

数据治理工具，提高基础数据的质量，形成高质量的有效数据层。 最后对高质 量的数据进行挖掘和分析，形成高价值数据层，为教师和学生提供个性化的应 用，为管理层提供决策支持。 针对不同的对象（用户角色），以不同主题（基本校情、院系竞争力、科 研力量、师资力量、资产建设、财务状况等），在不同的场景和层次（校、院 系、专业、班）上进行数据综合统计分析，为广大师生、各级管理机构和校领 导提供一个实时、全景式的 本次建设数据分析平台，督促各部门开放数据接口，进行更大范围的数据集成， 最终形成完整的信息链条。 3. 构建学校数据挖掘系统和分析展示平台 对学校现积累的数据资产，构建跨部门、跨系统的数据挖掘系统和展现平 台，建立不同主题和层次的数据挖掘类应用系统，为校领导、各级管理机构和 教师，提供一个实时、全景式的数据分析挖掘和展现平台。 四、总体规划 1. 技术架构 结构化数据 非结构化数据 仓库接口的重用和扩展。 对集成后的学校数据进行综合数据治理，进行数据清洗和数据质量的管控， 提高数据质量，形成完整的信息链条。 对集成后的学校数据，定制面向师生和决策层的数据挖掘分析模型，建立 不同主题和层次的数据挖掘类应用服务，为学校管理各级机构，提供一个实时、 全景式的数据分析挖掘和展现平台。 3. 建设原则 校园信息化建设是一个长期过程，根据国内外高校信息化建设的经验和教 训，我们提出在校园信息化建设中应坚持的几个原则：

数据节点上升级调整，并对各类数据资源实现导入、清洗、汇集存储功能。 (2) 建立实体身份主题库。将原含在实体身份主题库中的关系信息拆出，使 用图数据库单独建库存储，计算信息真实性和可信度，辅助用户理解。 (3) 建立人像要素库。拟采用新的比对引擎，并以该引擎为基础建设另一个 独立的人像库。 17 (5) 建立虚拟主题库，实现对虚实关联。 (6) 建立关系库，使用图数据库存储模式。 (7) 建 标签体系。 (8) 建立空间数据库，实现数据与空间地图的对应，对数据中包含位置信息 的字段进行空间化编码，将地址转换为对应的经纬度并入数据库。 (9) 建立标准规范数据库，包括数据的清洗落地、主题库及标签体系的设计 规范和不同类别数据发布共享的标准规范等。 2.3.2.2 数据治理体系建设 (1) 建立数据资源目录，实现数据资产从规划、设计、创建、应用、监管、 评估的全生命周期管理。 建立数据血缘追溯，通过数据血缘追踪，可以获得数据在数据流中的演 化过程，包括数据的起源和处理这些数据的所有后继过程。 (4) 建立主题库拆分工具，全面管理主题数据从主题维度定义、原始数据调 取、主题数据计算、排重、属性优先级策略、可信度计算、真实性计算、特征 计算、关系计算、回溯检查的全生命周期，支持主题库进行进行属性维度、对 18 象关系、对象标签（引用标签管理运维）的自定义扩展和计算。 2.3.3 数据安全

24 大数据云平台实施方案 进的 Hadoop 大数据技术，存储来自于网格化管理、社区、各专业部 门、社会组织、互联网等若干渠道的数据。在大数据云平台工程工 程的数据层，将为这些数据建立各自的主题域，更重的是建立各类 实体数据的关联关系。数据层的建设情况主要涉及以下几个方面：  源系统 指数据层上游的业务数据产生系统。是数据平台的主要数据来 源。主要包括：公安系统的人口基本信息数据、房管系统的房屋信 大数据云平台实施方案 图 3 数据架构  数据缓冲层 数据缓冲层与源系统的数据结构一一对应，它是数据存储的临 时存储区域。方便数据处理重跑及应用系统数据过渡至大数据平台。  整合模型层 面向分析型业务主题建立三范式模型，构建全系统级的单一数 据视图，模型扩展性强且具有业务中立性，用于支持各类整合型的 分析型应用。  共性加工层 依赖于对应用共性需求的的分析，提炼出对数据集成平台具有 共性 数据交换共享平台，包含增量和全量的数据。 3.4.4 整合模型层设计 3.4.4.1 模型设计思路 借鉴数据模型的建设思路、利用在政府数据模型领域的实践经 验、结合市网格中心的需求进行整合层模型层的设计。 整合层模型采用面向主题的设计方法，有效组织来源多样的业 务数据，使用统一的逻辑语言描述相关业务，保证了数据的一致性。 在此基础上可以进行多种不同应用的开发设计，满足不同部门的业 务需求和不同的数据访问方式，真正实现数据一次导入，多次使用。

....................................................59 1 / 309 大数据能力平台建设项目方案建议书 4.1.3 基础库及主题库建设................................................................................................ 库。 （2）加快主题库建设，在汇聚整合部门基础库的基础上，加快 建设完善市级主题库，并由业务部门牵头建设 Z 务服务、宏观经济、 营商环境、精准扶贫等专题库。 12 / 309 大数据能力平台建设项目方案建议书 （3）完成监管数据中心建设，按照 GJ“互联网+监管”平台的建 设要求，梳理市一级 ZF 监管目录，完成互联网+监管核心业务基础 数据库和主题数据库建库。 （4）实现时空大数据中心建设，按照市一级 理体系。 五、运营指挥中心 充分利用物联网、云计算、大数据等信息技术，基于市电子 Z 务建设的基础支撑环境，以 Z 务管理主题库为基础，扩展建设新型 17 / 309 大数据能力平台建设项目方案建议书 城市智慧中心业务所需地理信息库、业务库、主题库和指标库，建 设融合业务展示系统，提供综合的运行监测、信息查询展示、信息 简报呈现、数据分析、联动指挥、决策支持等资源服务应用。实现

17 .4.1 数据流 18 .4.2 事件驱动网络 19 第 4 章 数 据 存 储 20 . 20 .1 基础库 20 .2 主题库 21 .2.1 建立完善行业大数据技术标准 21 .2.2 项目库的建立 21 .2.3 投资人数据库的建立 22 .2.4 产权交易机构资源库的建立 复杂、缓慢、超出预 期，而图形数据库的独特设计恰恰弥补了这个缺陷。计划采用 Neo4j 做 为图数据库。 .2 主题库 通过 ETL 抽取基础资源库所整合的标准业务数据，根据数据模型，按照 项目、人、资源、行为等要素为对象，对标准业务数据进行重新梳理组织 后分门别类存入各种主题表。 .2.1 建立完善行业大数据技术标准 汇集行业内外各类交易系统、大数据平台等信息系统的技术标准，通 过对 果的计算技术。通 过分布式计算技术，可以有效提升系统响应性能和效率。 2) 内含高效分析引擎，支持对海量数据进行高速的 OLAP 统计和 SQL 离 线批处理，多维分析以及数据挖掘根据需要分析的主题，从数据仓库 的应用层抽取相关的数据到 OLAP 多维模型，利用 OLAP 多维分析功 能，给最终用户提供在线多维分析的功能，能够让最终用户从多个视 角充分观察和挖掘数据中包含的信息。借助数据挖掘工具、GIS

作为反映企业核心竞争力的业务分析数据必须采取相应的安全保护措施。在数据 访问层，系统提供灵活的权限机制分配和管理使用者对数据资源的访问。  实用性 结合不同部门、不同的业务需求，合理的构建分析模型（按主题、地市、部门建 立不同的 OLAP 分析模型），以及合理地组织数据（特别是有效又合理的数据粒度、 分析模型的数据总量控制），保证了查询效率与响应时间。 对现有业务运营系统影响小，是系统的基本设计要求，因此必须采取恰当的数据 的存 储。在数据仓库的实施过程中，对于某些主题的业务分析问题，可能会按照主题采用 数据集市的方式对数据进行进一步的组织。所以在中央数据仓库的基础之上根据分析 需求创建相应的从属数据集市。 2.2.2.3 数据仓库 数据仓库是按照中国电信整体的信息模型进行构建的，是系统建设的核心。 由于经营信息需求的不断变化，数据仓库中数据的存储必须采用主题分域的方式 和尽可能小的业务单元来进行数据的 数据集市 中央数据仓库构建是对数据集市的数据支撑，几乎所有的业务分析都需要通过进 一步组织数据集市来实现，以满足性能、灵活性的要求。 数据集市的建设主要面向部门、地市和重要的领导，根据其关心的主题、数据层 次、数据粒度不同，构建相应的数据集市。 数据集市的数据直接来自于数据仓库。采用这种方式，可以保持整体数据的一致 性。为一些访问数据仓库十分频繁的关键业务部门建立从属数据集市，可以提高查询