使用Lindorm对泛时序数据进行一站式的处理分析,不仅在开发效率和成本效益上超越传统自建方式,更在性能优化和运维便捷性上提供卓越表现。
支持接收实时数据,进行流数据接收和ETL,处理后的数据根据数据类型存储在宽表/列存引擎中,列存引擎提供更高的压缩比和分析效率。
数据存入后,可以通过宽表引擎实现数据的高并发实时查询,可以通过搜索引擎做多维检索和复杂查询。
通过计算引擎,实现数据离线分析和实时交互分析。
自建方案 | VS | 云原生多模数据库Lindorm |
效率低 依赖HBase、MongoDB、ES、Hive、Spark、Flink等多个开源产品的组合实现,运维难度高、数据冗余成本高,开发运维效率低。 | 开发效率 | 一体化 一站式实现非结构化数据的低成本存储、检索、分析和AI处理,100%兼容HBase、ES等开源产品,可选择开源接口(业务迁移零改造)或标准SQL(更方便使用)进行统一开发。 |
成本高 开源自建方案压缩效果差,存储成本高 | 成本 | 低成本 使用深度优化的压缩算法,压缩比是HBase、Hive的2倍以上,数据存储成本降低50%。支持异构存储冷热分离,历史数据成本可降低80%。 |
性能低 开源自建方案产品化能力缺失,吞吐性能随数据量增加急剧下降,毛刺频繁。 | 性能 | 高性能 支持多维检索、全文检索、地理位置检索等多种高级检索能力,吞吐性能是HBase的3~7倍,性能P99时延低于10ms。 |
运维难 架构不灵活,扩缩容难,存在资源浪费;需要自部署自运维,高可用实现成本高;各组件间的数据一致性难以保证。 | 运维 | 弹性 存算分离架构,可按需分配计算资源;99.95%高可用保证,支持全球多活、支持多可用区主备容灾;各引擎间数据无缝流转,共享存储层,客户无需关心和维护数据链路。 |
对于业务中产生的大量泛时序数据,包括状态、轨迹、图像、音频、视频等数据,企业往往需要涵盖数据采集、存储、查询和分析等多个繁琐步骤。Lindorm的泛时序数据一站式解决方案集日志采集+Lindorm+数据治理于一体,多种数据一个入口,统一SQL操作。
业务数据实时上报至ECS,再流转至Lindorm进行流数据接收和ETL,处理后的数据根据数据类型存储在宽表/列存引擎中,列存引擎提供更高的压缩比和分析效率。数据存入后,可以通过宽表引擎实现数据的高并发实时查询,可以通过搜索引擎做多维检索和复杂查询。通过计算引擎,实现数据离线分析和实时交互分析。
本方案将Hologres与Flink深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
本方案是基于开放可控数据湖仓构建的大数据/搜索/AI一体化解决方案。通过元数据管理平台DLF管理结构化和半/非结构化数据,提供湖仓数据表和文件的安全访问及IO加速。支持多引擎对接和平权协同计算,通过DataWorks统一开发,并保障大规模任务调度。