.......................................................................................29 3.4.5 共性加工层设计................................................................................................ 。 由于采用统一的 hcatalog 管理，因此在 pig 进行数据清洗后，可 以直接将数据存储到整合层的 hive 表中。  汇总层 汇总层又叫共性加工层，主要特点是针对特定应用逻辑，对数 据平台中存储的业务历史数据进行加工汇总和分析，供后续的业务 应用和集市使用。例如客户数统计、客户交易笔记统计等。 汇总层的作用即时提取常用的共性分析结果进行存储，为后续 应用提供系统的数据支撑。 任务并发与互斥、系统跑批进度监控、作业跑批状态监控、数据抽 取与下发监控等。  数据整合平台 数据整合平台是数据层的建设核心。会对上游数据生成系统的 结构化与非结构化数据进行统一的抽取、清洗、处理、加工、汇总、 下发等。为下游的业务系统运行、业务系统分析、决策支持等提供 强大的数据服务支持。 3.3.1.4 基础设施层 本次建设的大数据云平台工程将利用成熟的云架构 Issa 服务平 台作为基础设施层。在

升级数据集成引擎提升效 率。 4 7 2 5 6 1 3 提升智能化水 平 增强数据溯源 能力 升级数据集成 引擎 密级数据交换 扩展专题库 构建政策库 完善基础库 9 • 根据标签加工程度和应用场景 ， 将标签体系分为三层：基础标签、 画像标签和营销标签 基础标签：如年龄标签 ， 青年 计算标签：如高收入人群 特征标签：信用好 ，国企 员工等 • 原子指标 指标目录 衍生指标 派生指标 业务 场景 业务指标模型构建 资产评估指标体系 质量评估指标体系 技术指标模型构建 外部 数据源 大数据数据库 关系型数据库 加工调度管理 资产成效评估 发布审批管理 加工脉络分析 依赖影响分析 计算存储监控 指标版本管理 指标导入导出 治 理 评 估 专 项 诊 治 45 绩 效 考 飞瞰 数据集成引擎 权限管理 指标加工 周期调度 实时调度 上游依赖 任务运维 指标定义 原子指标 派生指标 衍生指标 内置指标 指标 应用 智能 引擎 数据 来源 46 建成数用一体模式： 指标管理 - 指标定义 l 提供健全的指标体系自定义，包括：指标目录、原子指标、派生指标、衍生指标、统计维度等； l 提供多样化的指标定义模式，界面化操作，可零门槛完成复杂指标开发、加工任务调度等。

..................................................................................... 35 4.2.2 扫描加工管理 ................................................................................................ 基础设施建设需要在应用系统建设之前 完成，本方案不专门针对基础设施建设进行描述， 只是提出应用系统建设对基础 设施的要求。 2.1.3 资源建设现状 某市档案局现有馆藏档案 15 万卷，采用自行扫描加工的方式进行数字化建 设，预计到 2010 年，将完成 10,000,000 页的扫描任务。按照 600K/页（按照扫 第 4 页 数字档案馆应用系统建设方案 描图片 Tiff 系统建设；开展馆藏档案数字化加工等。二期建设目标在 2008 年 1 月 —2008 年 12 月底完成，建设内容包括：完善公众服务专网网站和资源共享专网网站功 能，扩充二个网站的内容， 形成某市电子政务信息集中与发布中心； 建设某市档 案目录和电子公文接收中心； 建立和健全某市档案信息交换系统； 进一步完善和 第 5 页 数字档案馆应用系统建设方案 扩大档案资源库和数字化加工建设等。

还处在起步发展阶段，还没有建立起满足档案数字资源管理要求的工作模式，无法实现对电 子档案的齐全收集、高效管理、长期保存、便捷利用，无法确保电子档案的凭证作用。这种 10 学重扫室货二系就 进一数要等口 元数据影像加工程域 虚拟档秦章系统 电子档案长期保存系统 法煤体档案益理家成 电子阅范室 惊室一体化家统 开放档秦查阅系统 一站式公共程务系统 首概环建益控系施 档案库房管理系感 机关单位 基于 RHD 性案库房管理 案管理服务，贵州省数字档案馆建设十分必要。 3.4.项目建设的可行性 贵州省档案馆对馆藏档案进行了梳理，有针对性的进行档案数字化加工工作，经过多年 的扎实工作，已经完成了馆藏中部分属于国家重点档案抢救和保护范围、利用率高、保存价 值高的档案数字化加工工作，档案核心数据库已经建成。这部分档案涵盖了馆藏文书档案、 照片档案以及明清、民国珍贵档案、录音录像等门类。在新档案管理系统的支撑下，这些数 电子阅览室 一站式档案公共服 务系统 电子档案长期保存 系统 格式封装工具 档案信息门户 开放档案查阅系统 三维虚拟网上展厅 专题档案展示系统 档案业务系统 掌上档案馆 元数据影像加工系 统 服务导览系统 局 域 网 互 联 网 第四章 需求分析 4.1.业务功能、业务流程和业务量分析 4.1.1 现状分析 贵 州 省 数 字 档 案 馆 应 首 先 满 足 馆

件归档和各类纸质等传统载体档案进行数字化加工，以数字形式存 储各类档案信息； ② 档案管理信息化，企业数字档案馆 ( 室 ) 将档案管理业务流 程固化在档案管理系统中，实现数字档案资源的自动化管理，档案 的 收、管、存、用通过信息技术手段实现； ③ 档案服务知识化，企业数字档案馆 ( 室 ) 利用知识管理、大 数据等概念和技术，创新档案利用创新方式和方法，对档案信息进 行 深层次化加工和知识化组织，以档案利用为需求导向，有针对性 其他来源文书档案 主要指，纸质、照 片、声像等，例 如，上级主管单位 发文，重大活动相 关记录等 . 其他相关业务档案 例如，工程项目 ，采购以 及经营类等 档案蚁据 存储与管理 铛累 采集与加工 档案 查询与利用 OA 系 统 系统管瑷 档案管理与保存流程 基于“一级部署、二级采集与管理”的系统架构，各级公司将归档完成后的数字档案数据上传到集团“数据中心”集中存 OA 及业务系统 o 邴 ● 6 @ ◎ ⑦ ● 地 ( 感查为蜒出力的 过 Ⅷ PaRQ 斗 ir# 卜 × 黑 破 的 数字化加工管理系统 j 数字北质检系 统 数季化加工承线

集群的元数据信息，如： HDFS 文件 系统元数据 集团数据交换平台每日获取运输局推送平台提供的业务系统变 化数据，暂存在 NAS 临时数据区 金融数据平台加工计算结果返回给业务系统，暂存在 NAS 临时 数据区 数据平台 ETL 加工处理程序（数据压缩、数据加载、各数据数据 处理等）统一存储在 NAS 集群指定目录，各接口服务器通过文 件系统 Link 建立映射 Page 15 大数据分 平台（接口服务器） NAS 指定目录  存储数据到数据平台 大数据区指定 HDFS 目录  定时抽取用户访问 日志，加载到数据 平台大数据区 HDFS 指定目录， MR 程序加工处理  开发网络爬虫程 序，扫描用户微 博，抓取用户微博 内容，社交圈信 息，存入大数据区 处理对象 实现技术 实现功能 应用场景 Page 16 大数据分析平台总体架构——数据交换层数据库数据交换组件 获取企业内外部非结构化数 据，并进行结构化处理，存入 主题或集市数据区 3. 按照贴源数据模型整合数据 （标准化、数据更新 / 追加） 4. 按照主题数据模型整合数据并 生成汇总 5. 数据加工计算后，结果交付到 数据集市，支持分析类应用 Page 19 大数据分析平台总体架构——流程调度层实时数据处理流程  实时数据处理强调的是实时或准实时获 取并处理数据，通常采取消息队列等技

建设目标 建设应用于局域网、政务网、因特网的数字档案管 理系统。  实现对电子文件、电子档案的网上接收  实现对档案资料的标准化、规范化、电子化的 管理  实现对馆藏档案的数字化加工  实现档案数据在政务网和因特网上的发布利用， 并实现对公众来馆查阅的管理。  …… SEAS 建设内容 数字档案馆 基础 设施 信息 资源 应用 系统 安全 保障 标准 规范 接 收 发 布 档案规范标准数据库 电子文件资源库 档案目录数据库 系统维护数据库 管理过程资源库 电子公文归档 业务数据归档 立档单位数据上报 下级档案馆数据上报 手工录入 数字化加工 历史数据导入 SEAS 安全保障体系建设 东软数字档案馆安全保障体系建设方案 法规标准 基础设施 组织管理 安全技术 全程控制 规章制度 标准规范 档案安全 保管环境 存储设备 服务中心 政府信息 公开中心 电子文件 管理中心 档案安全 保管基地 档案信息门户 档案资源共享平台 数字档案管理系统 电子文件中心系统 电子阅览室 SEAS 电子文件中心 扫描加工 手工著录 单位文件员 单位文件员 单位档案员 下级档案馆人员 价值鉴定 开放鉴定 信息维护 提交 档案馆管理员 文件鉴定 文件接收 统计 移交 OA、ERP、MIS 提交数据

税务整体数据架构，实现智能数据驱动业务发展 数 据 源 智 能 数 据 平 台 数据治理 数据分析工具 数据采集 批量数据迁移 实时数 据集成 数据库实时同步 数据服务 数据加工 流计算 及存储 文件存储 批处理 数据仓库 对象存储 图数据库 人工智能工具 数据分析工具 BI 分析工具 指标模型管理 业务标签工具 AI 开发平台 数据标准 管理 程 调 度 稽核结果 稽核 监控 稽核问题管理 稽核异常工单 数据质量报告 （日报、月报） 自定义表单 流程设置 BPM 流程管理 稽核工单 配置 采集 服务 加工 加工 稽核 稽核 稽核 质管处 审批人 数据质量平台实现数据仓库数据 处理全过程的质量监控与质量稽 核，规避数据问题，提高数据质 量，让数据变得更好。  全图形化配置界面，简化稽 访问层 价格 预测 竞情 分析 营销 分析 报表应用 自助分析 深度分析 自助分析 云平台 银行版 / 电力 版 财政 报表 移动 APP 协同决 策 分析展现 加工处理 自助数据准备 自助数据集、规则、配 置 Meta Data 业务、技术元数据 多类型数据源接入 RDMS 、 MPPDB 、 Hadoop 、 OLAP Server 和

数据服务接口 数据服务管理 数据服务门户 数据资源服务目录 帖源 层 标准层 整合层 集市层 数据分析工具 BI 分析工具 指标模型管理 业务标签工具 人工智能工具 数据交换平台 数据加工 流计算 批处理 对象存储 建设内容 批量数据迁移 数据库实时同步 8 智能分析 建立数据质量考评制度，综 合 评估数据稽核及问题处理 结 果，定期生成数据质量评估报 告 数据处理全过程的质量稽核，有效保证数据质量 加工 加工 DW 层 DM 层 稽核 u 20 数据源 深度 挖掘 分析展现 分析展现 返回结果 访问层 PC 端 大屏可视化 移动 APP 行业应用 自助分析 云平台 银行版 / 电力版 深度分析 分析展现 加工处理 图形可视化 GIS 地图分析 交互式仪表盘（大屏） 解决方案 1 、企业级商业智能 提供报表展现、自助数据探索、地图可视化，仪表盘驾驶舱、 数据采集等各种数据分析应用需求。 2

务违规外联 3. 数据泄露后， 无法溯源和追 责。 数据输出的合法性没有审核 标准 ，缺乏有效合法性审核。  数据安全风险无处不在，现对数据安全风险进行详细分析，具体包括 1. 数据的采集、存储、加工、发布 、传输、 外部合作等生命周 期的各个环节风险广泛存在。 第三方人员风险分析 市 民 、 公 众 政 务 服 支 务 撑 人 员 25 IaaS 基础 设施 应 用 层 平 台 系，覆盖采集、传输、存储、加工、发 布等数据生命周期内，包含防御、检测、 审计等的多重安全功能。 • 制定大数据安全制度与流程，如数据安 全管理办法、数据分类分级标准；数据 输入、输出审核 标准与 流程等。 • 梳理与完善政府、数广和本机构三方应 承担的安全职责，确保工作界面清晰， 职责分明。 大数据整体安全体系建设（体系 包含技术与管理两个方面） • 大数据平台系统采集、加工、存储、发布 等全生命周期的安全监督检查。