道及大众市场协同服务和享受资费折扣分级授权等优惠，并通过对产品需求挖 掘和集团成员圈子营销，进行全价值深度分析、运营。 1.3.2 客户经营中心 近几年在营销服务过程中产生了大量的客户群，这些客户群以各种形式散 布在平台、文件和规划中。随着大数据微营销的推进，客户群的数量还在不断 增长，导致客户数据分散，难以统一管理，也无法实现知识沉淀和积累。在这 种背景下，以客户为中心的持续经营重要性凸显。 客户经营中心应用目标 多租户管理 任务管理 数据管理 运维& 监控 元数据 基础设施(主机、存储、网络) 数据处理加工平台 数据采集 批处理 实时处理 数据中心数据模型 数据开放共享 ODS DWD DW 文件 消息 API …… ST 数据挖掘 访问层 数据开放管理 …… …… …… —企业家大数据中心示意图— 3.1 大数据平台总体功能架构 实现数据脉络化、关系化，实现统一的数据处理加工，包括非实时数 据处理和实时数据处理两部分。  计算与存储： 建立统一的数据计算与存储中心，实现统一的数据存储与计算，具体 提供关系数据库、分布式非关系数据库、分布式文件、分布式计算。  数据共享服务： 通过数据服务标准化开放访问，帮助企业 IT 建设中，应用和数据分离， 引入更多的应用开发商，促进应用的百花齐放和应用的专业性；基于 标准化接口，实现对标签、客户视图、指标等数据查询

.....................................................................................13 2.2.2.3. 输出文件................................................................................................... .......120 8.1. 文件命名规范........................................................................................................................................ 120 8.1.1. FTP 命名规范(文件上传).............. .................120 8.1.1.1. 文件目录命名规范................................................................................................................. 120 8.1.1.2. 文件名称命名规范..........................

一个平台、一套服务、一批应用”的总体建设思路，以实现全局信息资源 的深度整合和综合应用，为领导决策提供支持，为业务拓展提供支持。 （1） 整体架构。采用云计算技术，优化技术架构的顶层设计，以分布式文件 系统和分布式计算为核心，建立全局统一的一套存储、网络、应用、管理 平台,通过统一数据格式、接口标准，推动并实现基础设施资源、软件资源、 服务资源、信息资源的共享共建，提供海量的数据存储和强大的数据处理 化动态化、 信息化条件下的业务拓展，在技术层面上形成具有选择性和扩展性的生 态体系，为公司信息化建设提供完善的数据支撑环境。主要需求包括： （一）结构化、非结构化数据量暴涨。产权业务视频、图片、文件等 非结构化数据存储与应用不足，并且业务每月产生大量信息。随着经济 社会发展，未来几年的数据量将成倍增长。如何合理存储、分析、利用 这些数据资源，是业务所 需，形势所迫。 （二）数据整合共享难 披露与监管数据 利用信息化手段汇集全国国有产股权、增资扩股、企业增资的实时信息披 露 和过程监测数据。 .2 数据集成系统（ETL）介绍 采用支持关系型数据库、分布式全文数据库、分布式文件系统的 ETL 工具作为数据集成工具。利用多主机集群分布式部署数据集成工具，同 时并发处理大量数据抽取、数据清洗转换处理和数据装载任务，将各种 源数据装载到指定位置。 源数据库 数据集成引擎 配置管理

数据中台技术架构图 分析层 DCS( 缓存 ) DLI( 跨源分析 ) DLI( 实时流计算 ) CSS( 云搜索服务 ) 报表分析 GES ( 图引擎服务） 标签管理 模型层 近源层 E 文件 ETL 数据质量管理 元数据管理 数据开发 数据资产 模型管理 数据安全 人力资源 管理 IoT 平台 4 其他 层次 特点 选型组件 贴源层 • 数据只增不减，具备审计能力，并提供给共享层做数据恢复 E 文件经第三方解析程序写入 MRS 中，供业务据实际场景使用。 1.E 文件数据经第三方解析程 序写入 MRS 镜像数据。如需流 式计算，把数据写入 Kafka 。 2. 根据业务实际情况选择后端 组件 数据管理 ETL 数据开发 元数据管理 模型管理 数据质量管理 MRS 镜像数据 审计数据（按需） 数据中台非结构化接入 -E 文件数据 流 的共享层中。 2. 文件类数据包括 CSV 、 TXT 以及图片等形式，由第三方写入 到数据中台提供的文件目录中。 两级交换文件存储数据放到文件 服务器，再根据需要放到不同的 存储里面 3. 总部和网省的消息由第三方写 入 Kafka 中。数据中台提供消息 缓存通道，不对其做解析。客户 需求本身不明确。 总部和网省的写入、读取数据由第三方对接 MRS 、 DWS 完成。 文件目录 文件交换

.........40 第 1 章 总则 1.1 概述 本文件是福州市水利局（以下简称买方）为拟建的“福州溪源溪小流域（溪源水库） 数字孪生建设项目” （以下简称本项目）向提供软硬件开发服务的供应商（以下简称卖方） 提出的整体技术要求，作为双方合同签订的技术附件。 卖方负责本项目投入正常运行的自始至终全过程，包括对本文件要求的所有系统及 其相关系统进行需求调研、系统设计、软件编码调试、软件测试、软件运行、维护，以 件开发、应用集成，具体包括软件开发、测试、部署、投入试运行、验收、维护、服务 等。 卖方满足本文件中对本项目系统建设模式及技术路线的要求。 卖方提供本项目全部系统应用集成部署服务，包括软件安装调试、部署，系统测试、 系统联调和维护操作指导等。 1.3 交货地点 以福州市水利局指定的地点为准。 1.4 付款方式 按招标文件执行。 1.5 遵循的技术标准 （1）《中华人民共和国水法》 （2）《中华人民共和国防洪法》 加强组织、顶 层谋划、统筹协调、协同推进。同时下发了《数字孪生流域建设技术大纲（试行）》《数 字孪生水利工程建设技术导则（试行）》《水利业务“四预” 基本技术要求（试行）》等 技术文件。 本次将依据相关文件精神，按照《水利部办公厅关于印发数字孪生流域建设先行先 试台账》94 个试点建设要求，《福建省水利厅关于下达山洪灾害防治项目非工程措施部 分 2022 年度建设任务的通知》开展溪源溪

及各地省市相关指导意见和实施方案的基 本要求项目建设后对各省市优化营商环境、促进数字产业发展具有 重要意义。 综上，本项目建设的建设目标明确，详细可考核。方案详尽可 行，本项目费用估算严格遵循 GJ 相关工程建设费用估算指导文件， 项目概算合理，项目风险可控，具有明显的经济效益和社会效益。 建议抓紧组织配备高素质项目管理人员，进行项目后期建设工 作，以先进的理念，搞好项目投资、技术开发、设备采购等事宜， 加快项目进度，以时间争效益，尽快组织实施。 2.3.4 密码应用系统需求 2.3.4.1 合规性需求 一、GJ 法律法规合规性要求 1. 国内云计算安全政策 我国把云计算列为鼓励发展的战略性产业，颁布了一系列鼓励 扶持发展的重要政策性文件，如《GJ 发展改革委办公厅关于当前推 进高技术服务业发展有关工作的通知》、《国务院关于加快培育和 41 / 309 大数据能力平台建设项目方案建议书 发展战略性新兴产业的决定》、《关于做好云计算服务创新发展试 （1）2016 年 7 月，国务院发布《GJ 信息化发展战略纲要》， 这是加快释放信息化发展的巨大潜能，以信息化驱动现代化，加快 建设网络强国的需要，是规范和指导未来 10 年 GJ 信息化发展的纲 领性文件。该纲要提出“五位一体”总体布局和“四个全面”战略布局， 以及创新、协调、绿色、开放、共享的发展理念。提出建设网络强 国“三步走”策略；建立以信息化驱动现代化的基本方针。施行五方面 网络扶贫行

协议防止被抓包，另外对接口进行加密不使用明文传输，保证接口使用上 的安全性。 2.1.2.3 互联网边界模块 与现有的边界系统进行打通，系统在接收数据后自动生成任务把变动数据 生成脚本并进行打包，上传到边界摆渡文件夹，并在公安内网向互联网摆渡文 件时，自动完成收取并执行对应任务。 2.1.3 学习 app（被监管人员使用） 2.1.3.1 信息上报 在吸毒人员使用 app 时，系统会在后台收集使用 app 作为大数据基础平台。Cloudera 是全球 70%的 Hadoop 用户的 选择，实践验证运行最稳定，且全球合作伙伴体系最完整，基本上所有的已有 工具都能无缝集成。Hadoop 框架下的 HDFS 分布式文件系统存储数据，HDFS 23 能够很好的 Hadoop 的相关大数据组件无缝连接，包括 MapReduce，Storm 等离 线计算和实时计算组件。 大数据基础平台通过搭建其生态体系下的各种运算框架，对大数据基础数 述由界面工具配置成的一个数据清洗流程的 XML 文件，将文件固化在硬盘之中；以及 解析一个这种方式生成的文件，生成串行或并行的任务来做一次数据清洗动作，一个 具体的例子将在下面说明该模块的工作流程。 4）元数据管理模块 配合元数据库，将每一个执行流程中的数据记录至元数据库中。 5）抽取任务配置模块 该模块提供一个可视化的配置界面，方便用户配置一个完整的数据清洗流程，并 配合工作流引擎生成一段 XML 配置文件。 该服务的具体工作流程如图所示：

...............79 1 服务器客户机软硬件平台需求表 1.1 服务器部署方案 为保证服务的稳定可靠性和数据安全性，我们推荐关键位置部署至少 2 台服务器进行 双机热备，进行文件及数据同步，这样一旦其中一台服务器发生故障，即可将服务转至 另外一台备用服务器。并且当日后用户访问并发量增大的时候，也方便实现负载均衡。 同时在实际运营过程中，根据实际需求，可以方便的增加建立服务器集群。 程序实现了业务层和逻辑层的完全分离的情况。同时针对常见安全漏洞采取了严密的防 范措施，系统不但提供对文件进行木马扫描的功能，而且增加了对系统历史数据的备份 方案，以此尽量保证系统不会因被外部人员进行恶意的攻击，而导致全系统数据丢失或 者毁坏。 目前系统支持的安全措施有：  数据库分卷备份、恢复、数据表优化，支持备份文件打包下载。  IP 禁止，支持 IP 段禁止访问、允许登录后台 IP 限制、登录错误次数限制。 限制、登录错误次数限制。  操作日志记录，详细记录后台登陆人员的具体操作流程、操作时间、登录 IP。  木马扫描，完备的文件代码扫描方式可以快速找出隐藏在服务器上的木马文件。  文件校验，创建当前系统文件镜像，在以后需要时快速定位被修改、删除的文件。 16  系统前后台完全分离、静态文件和动态程序完全分离，通过设置实现“可执行程序目 录不可写，可写目录不可执行程序”来最大限度的保障服务器安全。

响，但重点已经从AI接管人类的工作，转向人类和AI的合作模式。就像谈到未来 书籍中常出现的状况一样，这些论点没有佐证大量数据，但确实谈到工作里的增 强技术。我们两人都坚信，AI的主要影响是增强人类的能力。我们希望有更多证 据和文件可以佐证，而非只有那两本早期书籍里提到的初步例子。 我们也坚信，未来一、两年内，因AI而流失的工作比例，将比较接近专家估 计的下限。有一个预测非常有启发性：2015年，麦肯锡全球研究院（McKinsey 品，排列潜在销售客户清单。称为「倾向建模」（propensity modeling， 编按：使用数据预测行为），以机器学习为根据； 使用自然语言处理技术和客户或员工对话，称为「对话式AI」； 从信件或合约等文件中撷取重要资料； 自动化流程里的关键步骤，并利用这个流程里使用的资讯做决策 （和机器学习混用时，最常称为「机器人流程自动化」或「智慧流程自动 化」）。 AI 正在改变工作，但不会让每个人都失业 automation, RPA），将抵押贷款流程从一个任务转移到另一 个任务，并执行诸如自动撰写电子邮件给抵押贷款的各方等活动。针对这种途 径，雷帝斯最后选择UiPath为其供应商。 另一种是用AI从抵押贷款文件中抽取重要资讯。雷帝斯在波士顿北部找到了 一家叫AI Foundry的公司，该公司正在处理雷帝斯希望解决的抵押贷款处理问 题。AI Foundry使用影像侦测技术，从高达两百种不同类型的表单，甚至是更多

AI 数据挖掘应用 数据服务 应用管理 平台管理 服务市场 数据汇聚 离线采集 文件同步 人工数据填报 数据模型管理 数据开发 BC-Hadoop 生态组件 异构 数据 各类 应用 经营 分析 系统 数据湖生态组件 数据资产管理 标签管理 数据中台整体能力 数据中台 时推送等能力 ，满足物联网实时 分析应用需求。 自助式数据探查 实现基本探查、深度探查以及 业务探查的能力 ，提升盘点数 据资产效率 数据共享融旧创新 实现管理与共享无缝集成 ，提 供库表、接口、文件、流式等 数据服务模式 ，实现数据服务 双向协同。 主数据管理 提供数据定义、主数据建模、主数据 开发、主数据维护、主数据分发等管 理 ，实现主数据全流程管理。 客户 360 度画像管理 提供标签的创建 择已有或自定义转按规则完成对数据的同 步、转存、结构化分析等操作。通过一键 配置操作，实现海量数据间传输。 单表同步 实现多源异构数据同步， 支持 2000+ 种单表全量或 增量、文件同步配对方式， 提供可视化的任务配置界 面， 10+ 种转换组件，丰 富的单表数据同步场景。 整库同步 支持 200+ 种批量、整库 同步配对方式，采用一键 配置方式实现海量数据间