问答 2020-05-19 来自:开发者社区

kafka作为实时数仓,它的元数据如何管理的,用啥技术合适?有ignite的使用场景么?#Flink

kafka作为实时数仓,它的元数据如何管理的,用啥技术合适?有ignite的使用场景么?#Flink

问答 2020-05-19 来自:开发者社区

用kafka作实时数仓时候,ODS层,是每个topic对应一张原始表,每个DWD及DW #Flink

用kafka作实时数仓时候,ODS层,是每个topic对应一张原始表,每个DWD及DWS层都是各个单topic么,如果是的话,那么在星型模型+宽表模型下, 这么多的topic如何规划及设计较合理? #Flink

问答 2020-05-19 来自:开发者社区

ABTest的例子不应该是实时报表场景吗?跟实时数仓有何关系?#Flink

ABTest的例子不应该是实时报表场景吗?跟实时数仓有何关系?#Flink

文章 2020-05-14 来自:开发者社区

实时数仓、1.10生产实践、AI 都来了,2020 首场 Flink 社区 Meetup,可!

好久不见,2020 你们心心念念的 Meetup 重磅回归啦!从二月到现在小松鼠收到诸多关于 Meetup 的咨询和大家的一些心声,比如: “2020 Meetup 还有吗?什么时候办?”“有没有 1.10 的生产环境实践,我想下手又犹豫不决”“最近假期宅在家不能出门太无聊了,你们要不要搞点活动”“作为 Flink 发烧友,没T恤不专业!我什么时候能拿到?” ▼ 满足大家的心愿,机会来了 !...

文章 2020-01-03 来自:开发者社区

美团点评基于 Flink 的实时数仓平台实践 | 1月3号云栖号夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.美团点评基于 Flink 的实时数仓平台实践 从整个实时计算角度来考虑,目前美团点评的实时计算平台的节点数已经达到了几千台,未来很可能会达到上万台,因此资源优化这件事情很快就会被提上日程。由于业务本身的流量存在高峰和低谷,对于一个实时任务来说,可能在高峰时需要很多资源,但是在低谷时并不需要那么多资源。外一方面,波峰本身也...

文章 2020-01-02 来自:开发者社区

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 点击查看本场直播>>> 更多2019 Flink Forward 大会视频>>> 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017....

美团点评基于 Flink 的实时数仓平台实践
文章 2020-01-02 来自:开发者社区

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017 年底,美团点评实时计算平台引入了 Flink。相比于 Storm 和 Spark Streaming,Flink 在....

文章 2019-11-18 来自:开发者社区

基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。在智能商业中,数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策,更好地进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 如何更好的建设实时数仓、有哪些优秀的生产实践经验可借鉴? 11月28-30日,Flink Forward Asia 邀请来自 Netflix、.....

基于 Flink 的实时数仓生产实践
问答 2019-09-09 来自:开发者社区

flink 实时数仓一条数据的key改变怎么处理

一笔订单开始计划配送公司是中通,后来计划配送公司变成了圆通,那么直接针对配送公司进行汇总可能得到的结果是中通和圆通各一笔。如何来处理这种“变key”的场景呢

文章 2019-08-05 来自:开发者社区

用Flink取代Spark Streaming!知乎实时数仓架构演进

作者 | 知乎数据工程团队 “数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 本文主要讲述....

用Flink取代Spark Streaming!知乎实时数仓架构演进

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注