文章 2020-08-07 来自:开发者社区

【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践

行业背景 行业现状:  物联网(Internet of Things,以下简写为 IoT)是互联网、传统电信网等资讯的承载体,让所有具备独立功能的普通物体实现互联互通的网络。物联网广泛应用于运输和物流、健康医疗、智慧环境(家庭、办公、工厂)等领域, 具有十分广阔的市场和应用前景。物联网将智能感知、识别技术、网络通信与普适计算等技术融合起来,被认为是继计算机、互联网、智能手机之后世界信息产...

【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践
文章 2020-08-06 来自:开发者社区

【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践

行业背景 行业现状:  金融是现代经济的核心。我国金融业在市场化改革和对外开放中不断发展,金融总量大幅增长。金融稳定直接关系到国家经济发展的前途和命运,金融业是国民经济发展的晴雨表。对我国金融业发展现状进行客观分析,对金融业发展趋势进行探索,有助于消除金融隐患,使金融业朝着健康、有序方向发展。 大数据在其行业中的作用: 金融服务和产品创新:借助社交网络等平台产生的海量用户和数据记录着用户...

【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践
高性能

Flink 与 Hologres 搭建实时数仓

本方案将 Hologres 与 Flink 深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
技术解决方案背景图
文章 2020-07-24 来自:开发者社区

进击的 Flink:网易云音乐实时数仓建设实践

作者 | 汪磊(网易云音乐 / 数据平台开发专家)整理 | 杨涛(Flink 社区志愿者) 如何基于 Flink 的新 API 升级实时数仓架构? 背景介绍 网易云音乐从 2018 年开始搭建实时计算平台,到目前为止已经发展至如下规模: 机器数量:130+ 单 Kafka 峰值 QPS:400W+ 在线运行任务数:500+ 开发者:160+ 业务覆盖:在线业务支持,实时报表统计,实时特征处理,.....

进击的 Flink:网易云音乐实时数仓建设实践
文章 2020-07-04 来自:开发者社区

专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享

整理 | 青渊(Flink 社区志愿者)校对 | 青雉(Flink 社区志愿者)作者 | 黄伟伦@美团点评 摘要:本文根据 Apache Flink 系列直播整理而成,由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下: 实时数仓建设目的 如何建立实时数仓 仓库质量保证 Tips:点击「阅读原文」链接可查看作者原版 PPT 及分享视频~ 实时数仓建设目的 解决传统数仓的问题 实时数...

专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享
文章 2020-06-12 来自:开发者社区

周末直播|Flink、Hologres、AI等热门话题全都安排!

6月14日,计算平台事业部与阿里云开发者社区联合举办的首期大数据+AI Meetup即将重磅开启,来自阿里、Databricks、快手、网易云音乐的国内外多位技术专家齐聚一堂,与你探讨大数据及 AI 领域的热门话题! Meetup 精华看点 Flink 1.11、Spark 3.0、Alink 1.1.1 等大数据热门开源软件核心开发者帮你圈出最新版本重点 实时数仓、数据湖、HSAP 架构能干.....

周末直播|Flink、Hologres、AI等热门话题全都安排!
问答 2020-05-28 来自:开发者社区

你们用flink做实时数仓的吗?dw、dwd的数据是存储在habse?#Flink

你们用flink做实时数仓的吗?dw、dwd的数据是存储在habse?#Flink

文章 2020-01-03 来自:开发者社区

美团点评基于 Flink 的实时数仓平台实践 | 1月3号云栖号夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.美团点评基于 Flink 的实时数仓平台实践 从整个实时计算角度来考虑,目前美团点评的实时计算平台的节点数已经达到了几千台,未来很可能会达到上万台,因此资源优化这件事情很快就会被提上日程。由于业务本身的流量存在高峰和低谷,对于一个实时任务来说,可能在高峰时需要很多资源,但是在低谷时并不需要那么多资源。外一方面,波峰本身也...

文章 2020-01-02 来自:开发者社区

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 点击查看本场直播>>> 更多2019 Flink Forward 大会视频>>> 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017....

美团点评基于 Flink 的实时数仓平台实践
文章 2020-01-02 来自:开发者社区

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017 年底,美团点评实时计算平台引入了 Flink。相比于 Storm 和 Spark Streaming,Flink 在....

文章 2019-11-18 来自:开发者社区

基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。在智能商业中,数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策,更好地进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 如何更好的建设实时数仓、有哪些优秀的生产实践经验可借鉴? 11月28-30日,Flink Forward Asia 邀请来自 Netflix、.....

基于 Flink 的实时数仓生产实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时数仓Hologres

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975

+关注