企业大数据解决方案-大数据企业架构分析

微信扫码，打开到小程序

大数据企业架构讨论 案例研究：智慧交通 大数据实时处理和分析 目的：提高城市交通的科学管理和组织服务水 平 业务目标 • 智能交通数据的有力支撑 • 智能交通公共信息服务的实时传递和快速 反 应的应急指挥 • 智能交通业务联动快速应对变化 • 可视化事件跟踪 挑战 • 近千万辆轿车、轨道交通、快速公交系 统 • 高并发事件及数据流的实时处理 • 海量非结构化大数据的组织与分析 • 压力传感 器 传感 • 速度 传感器 器 • 生物 传感器 • 温度、湿 度…… RFID • 射频天线扫 描 • 电子标识 摄像 • 高速拍照 头 • 高清摄像 头 3 车地双向实时无线通信网数传电台 政府专网 Internet GPRS/CDMA/3G/Wi-Fi/WiMax 光纤 TCP/IP 公路可视化综合信息平台 雷达测速 GIS 公共交通运营管理平台 监控 车次号识 别 紧急救援 CBTC 旅行时间 路径识别 城市综合信息管理平台 通信 ETC PIS 信号 BRT 公交调度管理 电警 接处警 卡口 交通诱导 信号控制 出行者信息系统 视频监控 智能停车场 电子站牌 事件检测 用户服务 政府 企业 个人 公共 感知层 / 信息采集 网络层 / 信息传输 应用层 / 信息处理 水运综合管理平台 ITS 智能交通物联网平 台 交通行业 信息服务 智能交通整体规划架构 铁路综合管理平台 4 • 深度分析 • 敏捷开发 • 高度扩展性 • 实时分析结 果 • 大吞吐量 • 实时准备 • 所有的数据源及数据结 构 • 低延时 • 高并发的交易 • 高度灵活的数据结 构 数据获取 数据传输 数据处理 数据是智能交通的核心 数据获取 数据传输 数据处理 People. Process. Portfolio. Discussion 实时事件处理 — 概念图解 业务场景 • 重要车辆监 控 • 交通诱导 • 出行者信息 • 技术机遇 • 实时处理大数据量 • 合并历史事务和实时事 务 架构决策 • 实时流 • 利用现有分析 • 最大限度地减少数据移 动 实时 批处理 流 （ CEP 引 擎） 警报 • BPEL • 移动 • 信息 板 • 数据 库 NoSQL HDFS 实时分析数据流 实时数据源 CEP RDBMS 实时位置 NOSQL 外部数据库 黑名单 小型机 历史事务 备份 历史配置文件 RDBMS 事务 历史数据源 计算配置文件 实时事务 （基于消息） Hadoop 集 群 事件处理 规则和结果 关联和分析 — 概念图解 NoSQL BI 平台与分析 业务机会 • 行车路线建 议 • 信号控制 • 交通流量分 析 技术选择 • 将缩减结果集成到关系数 据 库 • 构建另一个环境 • 手动关联 架构决策 • 使用集成元数据 • 使用标准 BI 平台 • 最大限度地减少数据移 动 数据仓库 数据集市 数据库中的 分析 MapReduce HDFS 实时处理和分析 — 逻辑图解 关键组件 • Oracle 大数据机 • Oracle Exalogic • Oracle CEP/Coherence • Oracle SOA Suite • Oracle 大数据连接器 • Oracle Exadata • Oracle Advanced Analytics • Oracle Exalytics • Oracle BI Foundation Oracle 大数据机 Oracle 大数据连接器 Oracle Exadata Oracle Exalytics InfiniBand Infini Band Oracle Advanced Analytics Oracle BI HDFS 和 NoSQL MapReduce CEP/SOA Coherence 消息流 Oracle Exalogic People. Process. Portfolio. Discussion 问题 • 请为自己公司 / 单位设计一个大数据的解决方案。分组 讨论结束之后，每组派一到两个代表上来讲一下这个方案 • A) 公司里存在哪些数据 • 结构化 / 多结构化 / 大小 / 实 时数据 / 流式数据 • 公司是否已经应用了非关系型数据库 • B) 那些业务考虑引入大数据 • C) 有了这些大数据，如何设计公司的大数据平台 • D) 公司数据的问题或者远景 • 企业的数据架构远景 岳‘ . ＿ ← ..’... ＠ 。同 AC L 1 a:> .a 吕 . ""S< 案例： Facebook 数据仓库架构 Hadoop@Facebook 世界上第二大 Hadoop 集群 用于处理 log 和 dimension data Use Case • 从大量数据中产生每 天和每小时的汇总 . • 在历史数据中执行 ad hoc jobs • 事实上作为一个长期 的数据归档 • 根据特定属性来查找 log, 可用于维护站点 的 一致性，保护用户免受垃圾邮件影响 13 Hadoop Map/Reduce 实时分析 — 真实情况 • Real time(msec/sec) • Near real time(Min/Hours) • Batch(Days..) Hadoop/Hive..Not realtime. Many dependencies. Lots of points of failure. Complicated system. Not dependable enough to hit realtime goals ( Alex Himel, Engineering Manager at Facebook.) “With the paths that go through Hadoop [at Yahoo!], the latency is about fifteen minutes. … It will never be true real-time..” (Yahoo CTO Raymie Stata) "MapReduce and other batch-processing systems cannot process small updates individually as they rely on creating large batches for efficiency,“ (Google senior director of engineering Eisar Lipkovitz) 实时分析 — 传统的分析应用 • 垂直扩展 (Scale-up) 数据库 – 使用传统的 SQL 数据库 – 使用存储过程生成事件驱动报表 – 使用闪存盘，以减少磁盘 I/O – 使用只读副本横向扩展 (Scale Out) 只读查询 • 限制： – 无法写扩展 – 昂贵的成本 (HW&SW) 实时分析 — Complex Event Processing(CEP) • 当数据到来时立即处理数据 • 维护内存数据窗口 • 优势： – 延迟极低 (mS 级 ) – 相对低的成本 • 劣势： – 难于扩展 ( 横向扩展局限 ) – 不敏捷（查询必须预生成） – 实现非常复杂 实时分析 — In Memory Data Grid • 分布式内存数据网格 • 横向扩展 (Scale out) • 优势： – 读 / 写可扩展 – 适合事件驱动 (CEP style),ad-hoc 查询模 式 • 劣势： – 相比磁盘，内存成本昂贵 – 内存容量有 限 实时分析 — No SQL • 使用分布式数据 库 – Hbase, Cassandra, MongoDB • 优势： – 读 / 写可扩展 – 海量数据支持 – 弹性 • 缺点： – 读延迟，实时 性差 弱数据 致性 Facebook 实时分析系统（实时 + 批量） Memory Grid PTail Puma3 Facebook 实时分析 - Put all together • 内存数据网 格 • 实时处理网 格 – 轻量级事 件处理 –Map- Reduce – 事件驱动 – 代码随数 据执行 – 基于交易 – 安全 – 弹性 NoSQL 数据 库 部分网站大数据实时分析架构 Storm + Pig + Vertica +Cassandra+ MySQL S4 + HBase/Cassandra + MySQL Kafka + Dynamo + MySQL