Lindorm一站式车联网数据平台解决方案（14页 PPT）

微信扫码，打开到小程序

Lindorm 一站式车联 网 数据平台 葛双博 阿里云高级产品专家 A P S A R A 云 栖 大 会 车联网数据特点 100+ 项指标 数千项指标 汽车保有量 百万级 / 千万 级 数据采集频度 100ms/1s/10s 性能 数千列大宽表实时写入 数千亿数据实时检索 国标 GB_T 32960 企标 智能业务 多元化 存储、检索、计 算、 AI 成本 PB+ 规模数据 动态列 车辆增加信号 第三方机构观点 / 数据，仅供参考，不代表本公司观点 / 研究数 据 分析计算 • 车辆运营分析 • 电池分析 • 车辆状态分析 • 时空聚类 • 轨迹相似性分析 • …… • HDFS+Hive+Spark 存储和检索 • 存储成本和存储规模 。 在线扩容， 冷 热 分离、压缩率。 • 一辆车一张表， 维护难 。 如何实现所 有 车一张表。 • 业务灵活变更 ，如何动态增加字段？ • 轨迹查询， 时空查询。 • 车 ID+ 时间范围检索 ，多维检索 • HBase/MongoDB + ES 实时计算 • 车辆状态实时监控 / 告警 • 实时地理围栏计算和告警 • Flink • Spark Streaming • 自己开发流计算代码 A P S A R A 云 栖 大 会 传统开源技术栈的痛点 开发门槛高 各产品架构原理、 API 、 运维等完全不一样 扩展性挑战 如何动态增加字段？ 架构如何跟随业务迭代 ? 技术栈复杂 多产品组合 多条数据链路 存储碎片化 产品数据冗余 Lindorm SQL( 兼容 MySQL 协议 ) 宽表：点查 + 搜索 列存索引 推理 分析 BLOB 向量化 非结构化数据存储 ( 文本、文档、图片、图像等 ) — 一 向量引擎 A P S A R A 云 栖 大 会 Lindorm 一站式车联网数据平台 多模态 半结构化 + 非结构化 数据 向量 + 标量 语言大模型 + 多模态大模型 AI 服 务 模型服务 ( 灵积、魔搭 LLM 、 Embedding) ( 异构算力 :GPU+CPU) 20% 成本 2-10 倍压缩，冷热分离 Serverless 弹性计算 百 PB 规模 存算分离，在线扩容 千万吞吐，毫秒延迟 一站式 数据不出库 在线服务 + 离线分析 +AI 40% 头部车企 50% 造车新势 力 开源架构升级 降本、增效 泛时序 数据 半结构化 非结构化 数据 在线 查询 离线 分析 智能 应用 数据 Lindorm HDFS Hive Spark 推理引擎 Prometheus ElasticSearch 流 引 擎 (CEP+UDF) 故障预警 模型训练 电池分析 报表分析 数据标注 详单查询 车联网应用 OpenTSDB HBase 倒排索引 列存：分析 批量 写入 实时 写入 SQL 动态列 稀疏表 行级 TTL 多版本 以宽表呈现的逻辑试图 (CREATE TABLE DemoTable) column5 …… column100 倒排索引 ( 标量 + 全文 ) 向量索引 CREATE SEARCH INDEX idx1 ON DemoTable( VehicleID, vector_column(type=vector) ) 搜索引擎 向量引擎 A P S A R A 云 栖 大 会 多模在线宽表 column101 …… 列存索引 CREATE INDEX idx2 USING COLUMNAR ON DemoTable; 列存引擎 CREATE TABLE DemoTable; 宽表 column500 BLOB CREATE TABLE DemoTable; 文件引擎 column2 基础数据类型 column4 文档 (json) column3 二级索引 column1 主键 LDFS 共享存储 池 多级介质管理 本地盘：性价比 (SSD/HDD) 云盘：弹性 (ESSD PL1/PL0 高效 ) 对象存储：低成本 (OSS) A P S A R A 云 栖 大 会 存算分离，弹性扩容 多级介质混合管理 • 混合管理本地盘、云盘、 OSS 等多种存储介质 • 支持多副本异构存储，高速介质提供性能，低速介 质保障可靠性，最大化性价比 • 数据随热温冷变化，在多级介质间进行转存，大幅 降低综合成本 高效压缩与编码 • 支持使用纠删码 EC 算法，副本冗余系数低至 1.25 • 数据文件分块压缩，上层计算透明使用 • 基于 ZSTD 深度优化压缩算法，效果提升 30% 弹性使用 • 基于存算分离的全分布式架构，存储和计算资源解 耦，支持独立伸缩 • 底层存储池化管理，用户按需使用，无感扩缩容 存算分离 灵活组合的存储能力 Lindorm 多模引擎 Hadoop Compatible Filesystem Protocol （ HDFS 兼容） Lindorm DFS 搜索 引擎 时序 引擎 向量 引擎 流 引擎 列存 引擎 宽表 引擎 副本异构 软件定义存储 冷热转存 文件管理 纠删码 EC 目录组织 透明压缩 多租户安 全 ( 可靠性、带宽、 IOPS 、成 本 ) N 开源数据集 原始文件 Lindorm HBase MySQL MongoDB MongoDB （ ZSTD ） 订单数据 (TPC-H) 1.76 GB 639 MB 1.23 GB 2.10 GB 1.63 GB 1.32 GB 车联网数据 (NGSIM2) 1.54GB 818 MB 1.72 GB 2.51 GB 1.88 GB 1.50 GB 日志数据 (Web Logs3) 3.51GB 387 MB 737 MB 3.99 GB 1.17 GB 893 MB 行为数据 (IJCAI-20154) 1.91GB 721 MB 1.48 GB 2.90 GB 3.33 GB 2.74 GB A P S A R A 云 栖 大 会 高压缩率 自适应编码 在开源数据集下， Lindorm 与常见数据库的压缩对比， 压缩率提升 100% 深度优化的 ZSTD 压缩 Apple Apple Xiaomi Huawei 0x01 0x00 0x01 0x00 0.1 0.1 0.1 0.12 U1 U1 U1 U2 100 +1 +10 -2 JNA 重写，并且基于字典采样优化 String String FastPFor Float Delta XOR IN T IN T Dict RLE Offset1 … Offset2 KV2 KV 持久存储：可检索编码 （ Indexable Encoding ） Node Data Chunk Node4 … CCSMap Chunk2 内存存储：高并发无锁跳表 （ CCSMap ） • 随机读性能提升 50% • 查询 CPU 开销减少 20% • 读写 P99 延迟优化 4 倍 • 内存利用率提升 40% A P S A R A 云 栖 大 会 通用性能优化 • 平均写 RT 减少 50% • P99 延迟下降至 1/6 • 抖动、坏盘、宕机无 感 知 • 批量写吞吐提升 200%+ Batch Put Batch Row Lock Partition1 Batch Memstore Partition2 Batch Write Log MVCC 批量组提交 （ GroupCommit ） 查询优化 写入优化 DN2 多副本并发写 （ Quorum 机 制） Diff … Origin 二 分 查 找 Origin KV Diff KV2 Diff KV1 Diff KV1 ChunkN Index WAL Chunk1 Header DN3 DN1 Node1 Node2 Node3 Node0 Meta Ln L0 L1 A P S A R A 云 栖 大 会 数千列大宽表写入性能优化 数千项指标 JSON 追加式更新 • 数据建模 ，非主键指标以 JSON 格式，合并成一个列 • 数据写入， 同一行的 JSON 列的多次更新，仅将变更内容持久化记录 • 数据查询， 同一行 JSON 列的多次更新记录，合并后返回给客户端，支持仅读取部分字段 • 数据合并， 同一行 JSON 列的多次更新记录，存储层自动合并，优化存储效率 • 数据索引 ，支持对 JSON 列中的部分或全部字段构建搜索索引、列存索引 车架 ID 时间 车辆 状态 充电 状态 运行 模式 车速 累计 里程 电机 个数 电机 转速 LSVNV2182E 0100001 16920648 00000 1 3 2 60 10000 2 20000 Lindorm 宽表引 擎 多个 JSON 存储侧自合并 车架 ID 时间 车辆指标 LSVNV2182E0100001 1692064800000 { “ 车辆状态” : 1, “ 充电状态” : 3, “ 运行模式” : 2, “ 车速” : 60, “ 累计里程” : 10000, “ 电机个数” : 2, “ 电机转速” : 20000 ， … } 写入 1 LSVNV2182E0100001 ， 1692064800000 ， { “ 车辆状态” : 1, “ 充电 状态” : 3, “ 运行 模式” : 2 ，“累计里程” : 9999 } 写入 2 LSVNV2182E0100001 ， 1692064800000 ， { “ 车速” : 60, “ 累计里 程” : 10000, “ 电机个数” : 2, “ 电机转速” : 20000 } 查询返回 （多个 JSON 查询侧自合并） LSVNV2182E0100001 ， 1692064800000 ， {“ 车辆状态” : 1, “ 充电 状态” : 3, “ 运行 模式” : 2 ，“车速” : 60, “ 累 计里程” : 10000, “ 电机个数” : 2, “ 电机转速” : 20000 } 读写效率提升 3 倍以上 按 JSON 方式建模 数据库 痛点：大宽表的读写效率低 按展开方式建模 A P S A R A 云 栖 大 会 动态列 vin ts lon lat speed LSVNV2001 169206480000 123.11 33.3 LSVNV2001 169206490000 100 使用资源 业务负载 -- 业务新增 speed 车机指标 UPSERT INTO vehicle(vin, ts, speed) VALUES( ,L S V N V 2 0 0 1 , ,16920649000 ， 100) [ ] xx,xx xx,xx `vin` VARCHAR,`ts` BIGINT,`lon` FLOAT,`lat` FLOAT ， PRIMARY KEY(Vin, Ts) ） WITH (DYNAMIC_COLUMNS=‘TRUE’); UPSERT INTO vehicle(vin, ts, lon, lat) VALUES( ,L S V N V 2 0 0 1 , ,169206480000, 123.11, 33.3) 支持指定数据类型 支持创建索引 支持离线分 析 ALTER COLUMNAR INDEX idx2 ON vehicle ADD COLUMNS(speed); ALTER SEARCH INDEX idx ON vehicle ADD COLUMNS(speed); speed 100 lon lat 计算引擎 按需分配，秒级弹性 CREATE TABLE vehicle( late [ ] Lindorm 搜索引 擎 Lindorm 宽表引 擎 Lindorm 列存引 擎 1 3 2 4 peed xx,xx 10 0 s ] [ 上海市新能源汽车公共数据平台 数据应用及报表 A P S A R A 云 栖 大 会 客户案例 数据清理与处理 数据标注 数据网关 量产车 工程车 • 简单易用，多模一体化存查算，业务开发大幅提效 • 高扩展与性价比，存算分离云原生架构，成本优化 50% 以 上 数据工程师 数据报表 数据大屏 数据筛选、验证计算、统计分析 Lindorm 一体化数据存储计算 自动驾驶元数据 标注数据 电动汽车 智能网联 汽车 加氢站 数据 电池溯源 数据 Momenta 自动驾驶数据平 台 数据 场景 数据 基座 Lindorm 流引擎 实时 ETL 云原生多模数据 库 Lindorm 网关 服务器 Lindorm 列存引擎 架构优势 Lindorm 计算引擎 Lindorm 宽表引擎 数据 存储 数 据 上 传 算法评测 交付评测 车机数据 向量数据 数据 分析 行列 转存 A P S A R A 云 栖 大 会 多模态检索：文搜图、图搜图、标注搜图 Step1 向量提取入库 图片 图像 Step3 图搜图 • 选择雨天黑色的小汽车 • 搜索相似图片 Step4 标注搜图 • 选择图片，标注“摩托车” • 搜索包含标注的图片 Step2 文搜图 • 雨天的黑色小汽车 阿里云多模态大模型 (OpenTrek) 标签 +BLOB 向量 宽表 A P S A R A 云 栖 大 会 开箱即用的私域知识大脑 查询 / 问题 （输入） 答案 ( 输出 ) 3 答 案 LLM ：通义千问 等 文本、 TXT 文件、 PDF 文件 1 文档导入 知识溯源 知识更新 源文档存储和检索 文本自动更 新 Lindorm 多模引擎 向量 + 标量 + 非结构化数 据 ( 文档 / 图片 / 图 像 ) 开箱即用 多路召 回 文本分割 Text chunks Embedding 文档加载、分割、 Embedding 多路召回、 Prompt 构造 LLM 自动部署 or 对接已部署好的模型服务 多路召回： 向量检索 + 全文检 索 Lindorm AI 数据平 台 2 在线问答 输出 TopK 关联内容 增 量 更 新 ： 数 据 订 阅 / 流 处 理 合法合规 校验 向量 + 标量 + 全 文 构筑 Prompt Prompt 模 板 GPU 算 力 用户 G P U G P U G P U THANKS