大数据平台产品建设和应用方案

语言	格式	评分
中文（简体）	.pptx	3
概览
大数据平台产品建设和应用方案大数据平台产品建设和应用方案 1. 大数据概述 2. 大数据平台建设 3. 大数据平台应用目录 Contents Part 1 大数据概述大数据平台产品建设和应用方案大数据：成为国家战略《十三五规划纲要》  提出实施国家大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用； 2016 年 3 月 18 日 2016 年 8 月 31 日江苏省政府《关于运用大数据加强对市场主体服务和监管的若干意见》  提高政府运用大数据能力；  推动简政放权和政府职能转变；  提高政府服务水平和监管效率，降低服务和监管成本； 2015 年 9 月 5 日国务院 2015 年 7 月 1 日国务院《促进大数据发展行动纲要》  大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合；  以企业为主体，加大大数据关键技术研发，着力推进数据汇集和发掘，深化大数据在各行业创新应用；大数据成为国家战略《江苏省大数据发展行动计划》工信部、发改委大数据平台产品建设和应用方案大数据实例：中国电信海量数据携程、途牛、去哪儿、同程、美团等月上网总量 5.02 亿条 / 月手机定位 7 亿条 / 天上网搜索、浏览、点击等行为数据 100 亿条 / 天海量数据实时获取 GPS 定位 500 万 / 天次海量数据覆盖人口固定电话 2000 万用户家庭、公共景区 WiFi 使用者 90% 以上 IPTV 用户 600 万政府大企业 200 万全省网民 650 0 万手机用户 2300 万 10T 仅江苏省每天数据量大数据平台产品建设和应用方案江苏电信数据现状  容量大（ Volume ）：江苏电信数据总量已达 10P+ ，日均产生网络日志数据 10T+ 、话单数据 1T 、…  类型多（ Variety ）：包括位置信令数据、用户网络数据、呼叫记录数据、终端数据、视频数据、…  存取速度快（ Volecity ）：海量数据的快速产生、快速存储、快速使用  应用价值高（ Value ）：最真实的客户、产品、资源和订单等数据；最详实的用户行为数据电信用户基本数据号码身份信息缴费信息消费信息移动位置数据基站信息移动信息滞留信息 …… 信令数据主叫信息被叫信息 IP 信息位置信息终端数据 Mac 地址终端 ESN APP 信息 …… 网络日志数据移动／固网源地址目的地 IP 目的地 URL …… 用户触点数据 10000 网厅 …… 大数据特征大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据平台产品建设和应用方案大数据行业生态图谱  大数据的核心 - 企业技术大数据基本上就是管道设施的一种。大数据为许多消费者或商业用户体验提供了动力，但它的核心是企业技术：数据库、分析等。  大数据的关键 - 无缝集成大数据的成功不在于实现技术的某一方面（像 Hadoop 、 spark 等），而是需要把一连串的技术、人和流程糅合到一起。  大数据的构成 - 多层递进大数据基础设施日益完善，大数据分析 BI 平台普遍成熟，大数据应用层正在快速构建。大数据平台产品建设和应用方案大数据思维 - 数据范畴信息管理 • 坚实的信息基础 • 标准化的数据管理实践 • 可获得并且可用的洞察力分析技能和工具 • 作为核心专业而发展的技能 • 通过一套可靠的工具和解决方案而实现 • 培养面向行动的洞察力面向数据的文化 • 基于事实的领导力 • 用作战略资产的分析技术 • 洞察力知道的战略和运营管理数据理解数据使用数据企业必须掌握三项分析技能才能实现竞争优势大数据平台产品建设和应用方案大数据思维 - 三原则 “ 大数据三原则”：要全体不要抽样，要效率不要绝对精确，要相关不要因果。小数据大数据抽样数据、局部数据和片面数据用全体代替抽样统计抽样的局限性精准性用数量代替精确拥抱混杂性：容错性更强经验、假设和价值观用相关性代替因果性知道是什么比知道为什么更重要大数据平台产品建设和应用方案大数据角色业务人员 • 业务用户：提出业务需求，并制定优先级 • 业务分析师：有较深的行业业务知识，通过分析业务数据提供决策支持 • 数据科学家：具有专业领域知识、统计分析背景和计算机技术基础，从数据中挖掘有效信息以解决业务深度分析需求 • 机器学习专家：具有统计学思维、丰富的编程和数据建模经验，通过开发算法进行业务分析和预测技术人员 • 平台 / 系统架构师：软件工程师背景，对大数据、云计算有较深的理解，负责技术选型和实现流程 • 数据工程师：负责数据的采集、存储、处理 • IT/ 运维人员：负责平台的开发、部署、运营、发布、管理和监控大数据时代，解析海量难以理解的信息足以导致改变世界的革新。但真正理解这些数据，需要各个方面专业人士。大数据思维 - 角色划分大数据平台产品建设和应用方案  数据仓库数据源不断扩大（新增互联网非结构化数据等），数据量由 TB 级向 PB 级增长  几乎所有互联网企业都在业务或分析系统中采用了大数据 ( 特别是 Hadoop 数据分析技术），一方面应对不确定的业务增长和处理各种结构化与非结构化数据，另一方面降低采购和运维成本。采用 Hadoop 大数据平台的互联网企业如国际上的 Facebook 、亚马逊（ Amazon ）、 ebay 等，国内的淘宝、阿里巴巴、京东、苏宁云商、百度、腾讯、优酷等  电信运营商包括国际上的 AT&T 、 Vodafone 等，国内的中国电信、中国联通、中国移动也已经引入了 hadoop 大数据平台谁在使用大数据？大数据平台产品建设和应用方案调研报告 - 大数据使用和分析的目标 53% 关注客户 40% 关注运营 7% 关注财务全球企业使用数据和分析的目标获得客户和提升体验运营销量财务和风险管理使用数据和分析改进客户体验 59% 关注客户 34% 关注运营 7% 关注财务中国区使用数据和分析的目标获得客户和提升体验运营销量使用数据和分析改进客户体验大数据平台产品建设和应用方案调研报告 - 大数据来源企业主要使用内部数据源开展大数据举措交易日志数据事件电子邮件 88% 57% 73% 59% 社交媒体传感器外部来源 RFID 扫描或 POS 数据自由格式文本地理空间音频静态图像 / 视频 41% 41% 42% 42% 43% 40% 38% 34% 大数据平台产品建设和应用方案调研报告 - 大数据基础设施（平台）信息整合可扩展的存储基础架构高容量数据仓库安全与治理 65% 64% 59% 58% 脚本与开发工具列存储数据库复杂事件处理工作负载优化分析加速器 Hadoop/MapReduce NoSQL 引擎流计算 54% 51% 45% 45% 44% 42% 42% 38% 受访者大数据基础设施的组件信息整合是任何分析项目的关键组成要素，对大数据来说，它甚至更加重要。企业的数据必须随时可被需要数据的人员使用和获得。大数据平台产品建设和应用方案调研报告 - 大数据分析能力（应用）查询与报表数据挖掘数据可视化预测建模优化 65% 67% 71% 77% 91% 模拟仿真自然语言文本地理空间分析流分析视频分析语音分析 35% 43% 52% 56% 25% 26% 受访者采用多种高级分析技能 Part 2 大数据平台建设大数据平台产品建设和应用方案人在干、数在转、云在算把握数据灵魂找准应用抓手夯实能力基础风险防控舆情分析行为预测 …… 电信自有数据 + 业务应用数据政务 + 教育 + 医卫 + 交通 + 旅游 + 基础设施能力云网融合关键业务能力安全服务运营保障能力运营支撑云计算云计算强调的是底层基础设施的资源复用，让资源的能力尽量发挥出来。大数据大数据是主要面向业务，业务需要什么样的构架，大数据就要有相应的平台、技术和构架。大数据平台产品建设和应用方案智慧的医疗智慧的市民服务智慧的公共安全智慧的交通 •实时路况发送 •公交到站提醒 •通畅路线规划 •远程会诊 •智慧处方 •临床决策系统 •犯罪信息挖掘 •突发事件响应 •高危位区域统计、预警智慧的公共事业 •智能用电分析 •环境状况分析预测 •水处理 / 水资源管理 •智能就业匹配 •政策舆情分析 •商品优惠客户匹配全面感知充分整合智能处理协同运作精确管控创新应用政务大数据需求外部数据源内部数据源互联网移动互联网物联网社交媒体等政府部门资料信息及相关系统：经济运行、产业、投资、消费、能耗、交通、电力、装备、中小企业……等大数据来源舆情评论社交关系实时位置旅游度假城市车位使用 …… 大数据平台产品建设和应用方案企业大数据需求助力运营大数据平台产品建设和应用方案大数据挑战 - 客户分析全流程 5 6 7 8 9 1 2 3 4 项目是为了实现哪个业务目标？如何表达成功（通过哪些数据）？您需要分析哪数据，哪些数据具有相关性您有哪些数据，缺乏哪些数据，哪些数据具有相关性您需要哪些沟通能力来实施您的研究结果，并实现公司战略？您需要采取哪些行动？这些活动与哪些客户和产品相关？您选择哪些沟通渠道？您在哪些方面成功 ( 包括响应能力和业务绩效的衡量和反馈 ) ？客户分析举措的治理检查表大数据平台产品建设和应用方案数据源多种多样数据存储代价高昂数据资产缺乏有效管理数据价值缺乏有效利用用管存收大数据挑战 59% 59% 数据自然流失 70% 70% 数据过于复杂 85% 85% 企业数据架构无法适应数据量和复杂性增长的需求 98% 98% 企业无法及时、准确地为业务提供正确的信息大数据平台产品建设和应用方案性能灵活共享价值安全关注要素大数据关注要素  关键功能点  多级团队管理  资源开通和隔离  数据安全和隔离  程序管理和调度  数据查询分析  数据开放共享  数据隐私保护大数据平台产品建设和应用方案数据应用层数据共享层数据存储与分析层数据采集层任务调度与元数据管理安全、权限与监控搜索报表 OLAP 其它数据接口 DB Redis HBase Other File/ftp/http 实时计算（ Storm /Spark Streaming) MR Hive Spark Sparksql HDFS Flume kafka 网站日志 ftp/http Mysql Oracle Other Drill AD-HOC sqoop Kylin 批处理抽取程序依据数据特性和应用特点，建立批处理和实时计算的大数据平台系统架构 1 收 2 存 4 用 3 管大数据系统架构 -Hadoop 方案大数据平台产品建设和应用方案电信大数据定位基础设施提供商数据产品与能力提供商分析技术提供商业务应用提供商大数据使用者基础设施提供商数据和分析提供商业务应用提供商数据标签位置信息趋势预测精准营销咨询报告我们能做什么观云大数据产品观云大数据应用大数据平台产品建设和应用方案大数据管理数据地图数据开发生产部署调度管理数据管理系统管理数据交换 …… 大数据存储数据批处理数据实时处理大数据收集结构化数据实时数据非结构化数据大数据分析 BI 分析可视化大数据挖掘机器学习决策支持观云提供大数据一站式解决方案，帮助客户收集、存储、管理、使用（分析和挖掘）相关数据，提升客户业务支撑水平。观云基于成熟的大数据开源技术（ hadoop/spark ），结合鸿信大数据团队的技术特长和项目实施经验，形成了具有自主知识产权的大数据软件产品。观云概述大数据平台产品建设和应用方案大数据源日志数据大数据集群大数据文件结构化数据多媒体数据  实时收集实时毫秒级不间断采集数据，并存入大数据集群  批量收集按小时、日、周、月等时间周期，批量采集各类数据，存入大数据集群大数据收集非结构化数据实时数据数据流观云 - 收集大数据平台产品建设和应用方案小型机光纤交换机存储阵列网络交换机 X86 服务器数据库软件（ ORACL E/DB2 等）大数据软件（ Hadoo p/ Spark ）成本显著降低同等存储和计算能力，软硬件综合成本最低仅需 10% V S 架构健壮扩展灵活 Volume 海量支持 GB\TB\PB 各种量级数据存储和运算，实现海量数据并发管理。 Variety 多样轻松处理结构化和非结构化数据，包括 Web\ 语音 \ 图像 \ 视频等数据。 Velocity 实时实时 & 流式处理，支持海量数据的毫秒级运算。 Scale 规模适用小 \ 中 \ 大各种规模，可根据数据发展情况灵活、快速扩展集群：几台 - 千台。实时处理高效迅捷不同数据同地存储海量数据轻松存储观云 - 存储大数据平台产品建设和应用方案数据资产管理 1 分门别类观云 - 管理分散各处，杂乱无序各取所需一点汇总，整齐统一数据血缘管理 2 寻根溯源关系不清，野蛮生长枝繁叶茂，欣欣向荣正本清源大数据平台产品建设和应用方案团队和资源管理 3 观云 - 管理开发工具管理 4 五花八门，参差不齐僧多粥少，山头众多团队 1 团队 2 管理灵活，合理调配核心自主降低门槛统一规范，提升效率削峰填谷合作无间大数据平台产品建设和应用方案数据安全管理 5 观云 - 管理 IP 和工具限制函数授权用户审计数据表授权 4 大安全保障字段加密数据分级 2 重隐私保护大数据平台产品建设和应用方案处理效率显著提升 2 应用名称数据量本地集市耗时 ( 分钟 ) 大数据平台耗时 ( 分钟 ) 效率提升天翼、快销品到达及净增统计上亿级 50 13 74% 天翼、快销品、 4G 新装统计上亿级 54 15 72% 宽带日统计千万级 10 4 60% 4G 产品清单统计千万级 24 10 58% 天翼快销品清单统计上亿级 34 11 68% 根据现有产品实例表作的宽表上亿级 121 45 63% 天翼单产品合约统计千万级 32 12 63% 后付费宽带超期缴费统计百万级 47 20 57% 指定账目收入统计千万级 53 23 57% 应收账款月统计上亿级 79 20 75% 出库终端匹配月统计千万级 61 21 66% 对比大数据平台和传统数据库处理效率，发现效率提升 60% 左右，而且数据数量级越大，效率提升越高。多团队支撑能力 1 架构灵活，可以支撑不同的团队基于企业数据进行分析挖掘，实现了资源的充分利用和数据的高效共享。 A B C D 观云 - 使用大数据平台产品建设和应用方案 3 丰富的可视化展现提供海量数据的批量和实时分析、图形化操作、丰富的可视化展现，帮助客户轻松自如地完成数据分析、业务数据探查，提升数据化运营水平。实时监控大屏展现图表结合界面展现用户自定义界面展现实景地图展现观云 - 使用大数据平台产品建设和应用方案一站式大数据解决方案提供大数据存储、计算、安全、工具和服务等基础设施及一站式解决方案，可根据客户需求进行个性化定制。成本大幅降低规模灵活可调使用廉价的 X86 服务器（新增或利旧）组建大数据平台，极大地降低建设成本，最低仅需传统投资成本的 10% 。架构先进，适用小 \ 中 \ 大各种规模，可根据业务数据增长情况灵活、快速扩展。优质电信数据引用提供客户数据 + 电信标签的能力，助推客户业务拓展水平跃升。电信级的品质保障电信级的实施团队，电信级的管理规范，经过电信内部多年使用的考验。通过灵活高效的管理，开放的大数据解决方案，助力客户业务服务水平的提升。服务水平大幅提升观云差异化优势大数据平台产品建设和应用方案科研情况：支持所有主流大数据批处理 (hadoop) 、实时处理 (spark) 技术，秒级同步百万条记录；秒级处理 TB 级别数据，小时内部署百节点规模的大数据集群； 100+ 数据业务挖掘模型， 50+ 并行化数据挖掘算法；完整的大数据解决方案供应商，产品线全面覆盖基础平台、数据应用和可视化各个层次。成果展示：鸿信公司累计获得软件著作权 48 项，专利 11 项；省市以上奖项 12 项；获得资质包括计算机信息系统集成一级、 CMMI5 、 ISO9001 ： 2008 等。团队组成团队规模 80 人，数据仓库及大数据行业从业经验 7 年以上；与国内领先企业、高校建立广泛的合作关系和联合研发团队。项目经验成功实施 500 万 + 级项目 7 个， 200 万 + 级项目 5 个， 100 万 + 级项目 6 个， 30 万 + 级项目 9 个；涉及运营商、社保、交通、教育、财政等多个领域。精英团队成熟经验前端科研丰硕成果观云大数据团队大数据平台产品建设和应用方案  江苏电信大数据汇聚与共享平台  建设大数据基础平台，支撑电信大数据存储和计算： PC SER