文章 2021-06-01 来自:开发者社区

来电科技:基于Flink+Hologres的实时数仓演进之路

作者:陈健新,来电科技数据仓库开发工程师,目前专注于负责来电科技大数据平台离线和实时架构的整合。深圳来电科技有限公司(以下简称“来电科技”)是共享充电宝行业开创企业,主要业务覆盖充电宝自助租赁、定制商场导航机开发、广告展示设备及广告传播等服务。来电科技拥有业内立体化产品线,大中小机柜以及桌面型&#x...

来电科技:基于Flink+Hologres的实时数仓演进之路
文章 2021-06-01 来自:开发者社区

Flink + Iceberg 在去哪儿的实时数仓实践

作者:余东摘要: 本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括:背景及痛点Iceberg 架构痛点一:Kafka 数据丢失痛点二:近实时 Hive 压力大Iceberg 优化实践总结GitHub 地址 https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~一、背景及痛点1. 背景我们在使用 Flin....

Flink + Iceberg 在去哪儿的实时数仓实践

云数据库 SelectDB 实时数仓介绍

3 课时 |
205 人已学 |
免费

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
323 人已学 |
免费

实时数仓Hologres 干货20讲

20 课时 |
475 人已学 |
免费
开发者课程背景图
文章 2021-05-27 来自:开发者社区

Flink+Hologres亿级用户实时UV精确去重最佳实践

UV、PV计算,因为业务需求不同,通常会分为两种场景:离线计算场景:以T+1为主,计算历史数据实时计算场景:实时计算日常新增的数据,对用户标签去重针对离线计算场景,Hologres基于RoaringBitmap,提供超高基数的UV计算,只需进行一次最...

Flink+Hologres亿级用户实时UV精确去重最佳实践
文章 2021-03-23 来自:开发者社区

实时数仓专题 | Apache Flink 实时数仓最佳实践

随着数字化业务的增长,企业的数据量呈现爆发式增长,数据仓库已经成为企业数据发展到一定规模后必然提供的基础服务之一。Apache Flink 作为业界公认为最好的流计算引擎,其计算能力不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,用户只需根据业务逻辑开发一套代码,无论是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持。在实际的应用场景中,Flink 已成为....

实时数仓专题 | Apache Flink 实时数仓最佳实践
文章 2021-01-28 来自:开发者社区

Flink + Iceberg 全场景实时数仓的建设实践

整理|路培杰(Flink 社区志愿者) 摘要:Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构,以 Iceberg、Hudi、Delta 为代表的解决方案应运而生,Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表,并提供对 Apache Flink 1.....

Flink + Iceberg 全场景实时数仓的建设实践
文章 2020-12-04 来自:开发者社区

基于Flink的资讯场景实时数仓

直达最佳实践:【基于Flink的资讯场景实时数仓】最佳实践频道:【点击查看更多上云最佳实践】 这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。2.通过实时计算Flink实现实时ETL和数据流。3.通过实时计算F...

基于Flink的资讯场景实时数仓
文章 2020-11-25 来自:开发者社区

Hologres+Flink实时数仓详解

点击免费下载《实时数仓技术入门一本通》>>> 也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 下载 一、Hologres生态 从前面几篇的内容,相信大家已经了解到Hologres是一款兼容PostgreSQL协议的实时交互式分析产品。在生态的兼容性上,Hologres有着非常庞大的生态家族,如下图所示,...

Hologres+Flink实时数仓详解
文章 2020-11-17 来自:开发者社区

基于 Flink + ClickHouse 打造轻量级点击流实时数仓

作者:LittleMagic Flink 和 ClickHouse 分别是实时计算和(近实时)OLAP 领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。 点击流及其维度建模 所谓点击流(click stream),就是指用户访问网站、App 等 Web 前端....

基于 Flink + ClickHouse 打造轻量级点击流实时数仓
文章 2020-11-17 来自:开发者社区

当 TiDB 与 Flink 相结合:高效、易用的实时数仓

作者:齐智@TiDB 随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。如果在数据清洗导入过程中就能流式的完成 Join,那么分析时就无需再次 Join,从而提升查询性能。....

当 TiDB 与 Flink 相结合:高效、易用的实时数仓
文章 2020-11-02 来自:开发者社区

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介:本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用 问题 & 改进 直播回放:https://developer.aliyun.com/live/2894 一、背景介绍 (一)流平台通用框架 目前流平台通用的架构一般来...

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时数仓Hologres

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975

+关注