大型集团企业数字化转型规划设计解决方案

语言	格式	评分
中文（简体）	.pptx	3
概览
企业数字化转型规划设计目录 CONTENTS 1 企业数字化转型建设背景 2 企业数字化转型需求分析 3 企业数字化转型顶层设计 4 企业数字化转型业务应用 5 企业数字化转型未来展望 1 企业数字化转型建设背景 Part Page4 企业数字化转型建设背景综合化经营  提供包括企业、证券、信托、保险等及非企业服务在内的、全方位、专业化、个性化、多元化的综合企业服务互联网企业战略  PC 端向移动端转化趋势明显，互联网企业向移动互联网企业转变，移动先行战略  呈现移动化、社交化、平台化、开放化、产业化的发展趋势，以泛在、跨界、聚合、智慧为发展方向，以用户体验和用户价值为中心，全面融入到企业价值链各个环节和个人衣食住行玩等生活场景中，企业服务无处不在  以移动支付、大数据应用为核心，向电商、 O2O 、 P2P 等拓展，围绕互联网生态体系，持续推进产品创新、客户体验创新和商业模式创新  客户深耕：“主办企业”、“伙伴企业”、“社区企业”、“县域企业”  渠道创新：“移动企业”、“社交企业”、“智慧企业”  产品差异：“专业化企业”、“全能企业”、“不仅是企业” 管理转型科技引领创新  成立互联网企业实验室、大数据分析中心，通过组织创新推动新技术创新  通过生物识别技术、互联网、移动支付、大数据、云计算、智能可穿戴设备等技术的创新应用，迅速加强客户洞察、全渠道协同、精准营销、线上线下协同、信用评估、风险监控等可持续业务创新的能力建设业务转型创新  优化业务结构，变粗放型发展为集约化经营，实现向轻资产、轻资本的表外业务拓展  发展资产管理、投资企业、资产托管等市场化业务，从传统企业变身为数据分析者、撮合交易者和财富管理者  服务国家战略，服务实体经济  营销精准化、管理精细化、决策科学化  运营集约化、自动化  组织扁平化、团队专业化差异化、特色化经营 1 2 3 4 5 6 Page5 企业数字化转型建设背景 Page6 企业数字化转型建设背景 Page7 企业数字化转型建设背景 Page8 企业数字化转型建设背景 Page9 企业数字化转型建设背景中国 P2P 模式纯线上模式线下模式线上线下结合 O2O 模式 • P2P 公司已接近 2000 家，市场规模约 0.2 万亿元，在整个融资体系中占比还非常小 • 借款客户主要以中小企业客户为主，个人贷款客户少 • 纯线上模式少，多以线上线下结合，投资端以线上为主，资产端以线下为主，营销、运营成本高 • 贷款利率高，信息不透明，纯线上大数据风控技术不成熟，信用风险较大，平台风险与收益不对等 • 企业直接进入 P2P 比较少，主要是监管政策不明确，但已有不少企业与 P2P 公司合作，布局 P2P 现状 • 往行业垂直细分领域发展，提供特色化、专业化服务 • 与供应链企业融合，实现产融结合； • 向交易撮合平台、信息中介平台、综合化网络理财平台等综合性平台方向发展 • 随着监管政策明确，企业会快速进入 P2P ，以企业信用优势给 P2P 行业带来快速发展机会 • 企业拓展与 P2P 公司合作范围：客户推荐、信息共享、风险评估、资金托管、资金流监控、贷款催收、资产保全、委托贷款等全方位合作 • 企业自营或共营方式建立 P2P 平台：客户自助信用评估授信；社交信用评估（社交授信、熟人授信）；社交信用隐性担保增信；熟人信用显性担保增信；跟投贷款、领投贷款模式创新发展趋势 Page10 企业数字化转型建设背景 Page11 企业数字化转型建设背景 Page12 企业数字化转型建设背景 Page13 企业数字化转型建设背景 Page14 消费企业管理分析类应用建设现状基本分析关注的内容存在的问题基本的现状  商城数据仓库累积数据没有充分利用  缺乏面向整个消费企业的统一、完整的数据视图；  缺乏支撑消费企业日常业务运转的风险评估体系；  缺乏消费企业客户 360 度视图，客户行为分析和预测无法实现；  缺乏面向企业业务运营管理的关键绩效指标体系；  ……  商城已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；  消费企业已开展供应链企业、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；  …… 数据平台、数据应用、数据管控…… 基础数据平台和 BI 应用建设是未来一段时间的重点！  数据平台整体架构；  数据平台各层建设的标准；  较成熟的企业业数据模型；  数据质量治理；  元数据管理；  数据标准建设  数据整合；  数据应用建设；  数据平台的软硬环境  …… Page15 企业数字化转型建设目标外部非结构化数据 0% 100% 200% 300% 400% 500% 600% 2004年 2005年 2006年 2007年 2008年铁矿石焦煤统一制定目标和分析模型统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础统一定义 BI 应用自定义报表工具行＋列的简单定义方式自定义报表工具行＋列的简单定义方式多种格式报表多种格式报表集团决策层集团决策层集团职能管控层集团职能管控层各级业务操作层各级业务操作层关注集团主要经营指标关注集团主要经营指标业务人员使用 BI 应用实现业务协作和创新业务人员使用 BI 应用实现业务协作和创新 BI 分析工具 BI 分析工具供应链企业系统 POP 系统其他业务系统云数据推送平台已实现了主要零售及企业业务系统数据清洗、整合，为未来消费企业数据平台提供了丰富的数据源。通过数据平台和 BI 应用建设，消费企业将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况查看职能部门的业务经营情况 Page16 企业数字化转型建设预期收益 2. 加强业务协作实现分散在供应链企业、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础实现分散在供应链企业、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础 3. 促进业务创新消费企业业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为企业业务创新（客户服务创新、产品创新等）创造了有利条件消费企业业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为企业业务创新（客户服务创新、产品创新等）创造了有利条件 4. 提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关 IT 系统的建设和运行效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关 IT 系统的建设和运行效率 5. 改善数据质量从中长期看，数据仓库对消费企业分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性从中长期看，数据仓库对消费企业分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性通过数据平台实现数据集中，确保消费企业各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值通过数据平台实现数据集中，确保消费企业各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值 1. 实现数据共享 2 企业数字化转型需求分析 Part Page18 企业数字化转型总体架构历史数据查询数据交换平台应用集市数据区商城零售供应链企业人人贷系统基金系统 …… 系统企业内外部半结构化、非结构化数据大数据交换组件数据库数据交换组件数据区数据交换组件数据计算层大数据区沙盘演练数据区数据应用层实时数据区客户主题协议主题产品主题业务沙盘演练数据增值产品零售数据供应链数据增值产品数据区主题数据区 …… 用户访问层客户汇总账户汇总机构汇总 …… 社交媒体移动互联用户评价访问日志处理后大数据待处理大数据流程调度监控告警数据标准数据质量元数据数据安全流程调度平台 …… 数据管控平台流程调度层数据管控层数据产生层数据交换层实时数据查询客户管理财务管理 …… 外部用户贴源数据区 …… 内部管理分析内部用户历史归档数据区 IT 人员风险管理 Page19 企业数字化转型总体架构——数据产生层  内部业务系统产生的结构化数据  商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……  消费企业日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、企业产品信息、交易流水……  企业内部非结构化数据  日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……  企业外部数据  企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息…… 源数据内容  在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据  商城和消费企业业务系统的数据  增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现  对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量  初始数据加载均采用全量模式源数据增量 Page20 企业数字化转型总体架构——数据交换层数据交换层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据在平台内高速流转保证数据交换过程中不失真保证数据交换过程中不丢失保证数据交换过程安全可靠数据区数据交换组件数据库数据交换组件大数据交换组件消费企业系统数据服务层外部大数据商城系统 Hadoop 元数据云数据推送平台数据平台导入临时区数据平台导出临时区 NAS 存储 ETL 程序区 Page21 企业数字化转型总体架构——数据交换层 NAS 存储 Hadoop 集群元数据区数据平台 ETL 数据处理程序区数据平台临时数据区存储数据平台各个 Hadoop 集群的元数据信息，如： HDFS 文件系统元数据集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在 NAS 临时数据区企业数据平台加工计算结果返回给业务系统，暂存在 NAS 临时数据区数据平台 ETL 加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在 NAS 集群指定目录，各接口服务器通过文件系统 Link 建立映射 Page22 企业数字化转型总体架构——数据交换层大数据交换组件  企业内部非结构化、半结构化数据，如：音频、视频、邮件、 Office 文档、抵押品扫描件等  企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流用户移动位  批量采集：大数据源以 SFTP 协议批量传输数据文件  在线访问：开发 Java 或 C 应用，调用大据源 API ，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据  组件以实时和批量两种模式实现下列功能：  数据采集  数据传输到数据交换平台（接口服务器） NAS 指定目录  存储数据到数据平台大数据区指定 HDFS 目录  定时抽取用户访问日志，加载到数据平台大数据区 HDFS 指定目录， MR 程序加工处理  开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区处理对象实现技术实现功能应用场景 Page23 企业数字化转型总体架构——流程调度层批量处理流程  批量数据处理由流程调度层部署的自定义开发 WorkFlow 组件调度运行  整个流程主要完成如下工作： 1. 获取业务系统结构化数据，存入临时数据区 2. 获取企业内外部非结构化数据，并进行结构化处理，存入主题或集市数据区 3. 按照贴源数据模型整合数据（标准化、数据更新 / 追加） 4. 按照主题数据模型整合数据并生成汇总 5. 数据加工计算后，结果交付到数据集市，支持分析类应用 Page24 企业数字化转型总体架构——流程调度层实时数据处理流程  实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”  整个处理流程由流程调度层部署的自定义开发 WorkFlow 组件调度运行  整个流程主要完成如下工作： 1. 通过数据库数据交换组件获取增量数据，加载到实时数据区 2. 通过大数据交换组件获取非结构化数据，并利用 Storm 处理数据，加载到实时数据区 3. 针对实时数据区数据执行标准化处理和贴源整合 Page25 企业数字化转型总体架构——数据存储层  业务系统前日增量数据  缓存数据，支持后续 ELT 数据处理数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求  贴源数据模型  保存最近 7 天数据  贴源数据区和主题数据区批量作业访问  无最终用户访问  I/O 敏感，连续小批量的数据抽取和加载  少量量数据使用 Hive 的 Load 命令，大量数据使用 MR 程序  与主题区 / 贴源区 / 集市区构成一个 Hadoop 集群（ Hive ）  无单点故障， 7×24 小时 + 非工作日有限停机  主题数据区、集市数据区和沙盘演练数据区批量作业访问  无最终用户访问  I/O 敏感，日终批量 ETL  以 ELT 形式通过 HiveSQL 执行  与主题区 / 贴源区 / 集市区构成一个 Hadoop 集群（ Hive ）  无单点故障， 7×24 小时 + 非工作日有限停机  贴源数据模型  不保存历史  业务系统前日快照数据和一段时间的流水数据  数据标准化，为后续主题模型、集市和沙盘演练提供数据临时数据区贴源数据区 Page26 企业数字化转型总体架构——数据存储层（续）  企业内外部非结构化、半结构化数据  采集并存储数据，进行结构化处理，最终得到结构化数据数据内容主要用途数据模型保留周期用户访问模式工作负载平台要求  数据按照 HDFS 文件存储  建议保留 1 年  集市区 / 沙盘区 / 增值产品区 / 主题区 / 归档区批量作业访问  少量高级业务人员进行大数据分析  MapReduce 分布式计算，半 / 非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）  与主题区 / 贴源区构成一个 Hadoop 集群（ HDFS ）  无单点故障， 7×24 小时 + 非工作日有限停机  集市区 / 沙盘区 / 增值产品区 / 主题区 / 高时效区批量作业访问  业务人员执行历史数据查询  MapReduce 分布式计算， HDFS 命令实现 Hadoop 集群内归档， Sqoop 实现数据库归档，通过 Hive 提供历史查询  独立的 Hadoop 集群（ HDFS+Hive ）  无单点故障， 7×24 小时 + 非工作日有限停机  数据按照 HDFS 文件存储  数据文件按照数据区划分目录，建议保留 7 年  其他各数据区历史数据  按数据生命周期规划归档平台过期数据，支撑历史数据查询大数据区历史归档数据区 Page27 企业数字化转型总体架构——数据存储层（续）  业务系统历史明细数据  打破业务条线整合数据数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求  第三范式模型  保留长期历史，需要根据主题细化  主题区 / 集市区 / 沙盘区 / 增值产品区 / 归档区批量作业访问  少量高级业务人员进行灵活查询、挖掘预测  I/O 敏感，日终批量 ETL （合并、拉链、关联、汇总等等）  以 ELT 形式通过 HiveSQL 执行，复杂处理使用 MR 定制 UDF  与大数据区 / 贴源区构成一个 Hadoop 集群（ Hive ）  无单点故障， 7×24 小时 + 非工作日有限停机  集市区 / 沙盘区 / 增值产品区 / 归档区批量作业访问  少量高级业务人员进行灵活查询、挖掘预测  I/O 敏感，日终批量 ETL （连接、聚合、汇总等等）  以 ELT 形式通过 HiveSQL 执行，复杂处理使用 MR 定制 UDF  与大数据区 / 贴源区构成一个 Hadoop 集群（ Hive ）  无单点故障， 7×24 小时 + 非工作日有限停机  逆范式宽表  依赖于集市数据需求  对主题数据预加工后的结果数据  针对应用需求进行数据预连接、预汇总，为集市提供数据主题数据区—明细主题数据区—汇总 Page28 企业数字化转型总体架构——数据存储层（续）  按沙盘演练需求，准备的明细或汇总业务数据  为数据科学家的挖掘预测操作提供数据服务数据内容主要用途数据模型保留周期用户访问模式工作负载可用性要求  模型依赖于沙盘演练需求  在整个沙盘演练周期内保留  集市区 / 沙盘区 / 归档区批量作业访问  少量高级业务人员进行灵活查询、挖掘预测  I/O 敏感，终批量 ETL （合并、拉链、关联、汇总等等）  以 ELT