文章 2020-08-07 来自:开发者社区

【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践

行业背景 行业现状:  物联网(Internet of Things,以下简写为 IoT)是互联网、传统电信网等资讯的承载体,让所有具备独立功能的普通物体实现互联互通的网络。物联网广泛应用于运输和物流、健康医疗、智慧环境(家庭、办公、工厂)等领域, 具有十分广阔的市场和应用前景。物联网将智能感知、识别技术、网络通信与普适计算等技术融合起来,被认为是继计算机、互联网、智能手机之后世界信息产...

【最佳实践】实时计算Flink在IoT行业的实时数仓建设实践
文章 2020-08-06 来自:开发者社区

【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践

行业背景 行业现状:  金融是现代经济的核心。我国金融业在市场化改革和对外开放中不断发展,金融总量大幅增长。金融稳定直接关系到国家经济发展的前途和命运,金融业是国民经济发展的晴雨表。对我国金融业发展现状进行客观分析,对金融业发展趋势进行探索,有助于消除金融隐患,使金融业朝着健康、有序方向发展。 大数据在其行业中的作用: 金融服务和产品创新:借助社交网络等平台产生的海量用户和数据记录着用户...

【最佳实践】实时计算 Flink 版在金融行业的实时数仓建设实践
文章 2020-07-24 来自:开发者社区

进击的 Flink:网易云音乐实时数仓建设实践

作者 | 汪磊(网易云音乐 / 数据平台开发专家)整理 | 杨涛(Flink 社区志愿者) 如何基于 Flink 的新 API 升级实时数仓架构? 背景介绍 网易云音乐从 2018 年开始搭建实时计算平台,到目前为止已经发展至如下规模: 机器数量:130+ 单 Kafka 峰值 QPS:400W+ 在线运行任务数:500+ 开发者:160+ 业务覆盖:在线业务支持,实时报表统计,实时特征处理,.....

进击的 Flink:网易云音乐实时数仓建设实践
文章 2020-07-04 来自:开发者社区

专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享

整理 | 青渊(Flink 社区志愿者)校对 | 青雉(Flink 社区志愿者)作者 | 黄伟伦@美团点评 摘要:本文根据 Apache Flink 系列直播整理而成,由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下: 实时数仓建设目的 如何建立实时数仓 仓库质量保证 Tips:点击「阅读原文」链接可查看作者原版 PPT 及分享视频~ 实时数仓建设目的 解决传统数仓的问题 实时数...

专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享
文章 2020-06-17 来自:开发者社区

数仓系列 | 深入解读 Flink 资源管理机制

作者:宋辛童(五藏)整理:王文杰(Flink 社区志愿者) 摘要:本文根据 Apache Flink 系列直播整理而成,由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。 基本概念 当前机制与策略 未来发展方向 Tips:点击「下方链接」可查看更多数仓系列视频~https://ververica.c...

数仓系列 | 深入解读 Flink 资源管理机制
文章 2020-06-09 来自:开发者社区

数仓系列 | Flink 窗口的应用与实现

作者 | 张俊(OPPO大数据平台研发负责人)整理 | 祝尚(Flink 社区志愿者)校对 | 邹志业(Flink 社区志愿者) 摘要:本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 整体思路与学习路径 应用场景与编程模型 工作流程与实现机制 Tips:点击「下方链接」可...

数仓系列 | Flink 窗口的应用与实现
文章 2020-06-01 来自:开发者社区

深度解读 Flink 1.11:流批一体 Hive 数仓

作者:李劲松、李锐 Flink 1.11 features 已经冻结,流批一体在新版中是浓墨重彩的一笔,在此提前对 Flink 1.11 中流批一体方面的改善进行深度解读,大家可期待正式版本的发布。 首先恭喜 Table/SQL 的 blink planner 成为默认 Planner,撒花、撒花。 Flink 1.11 中流计算结合 Hive 批处理数仓,给离线数仓带来 Flink 流处理实时....

深度解读 Flink 1.11:流批一体 Hive 数仓
问答 2020-05-28 来自:开发者社区

你们用flink做实时数仓的吗?dw、dwd的数据是存储在habse?#Flink

你们用flink做实时数仓的吗?dw、dwd的数据是存储在habse?#Flink

问答 2020-05-26 来自:开发者社区

实时数仓里面,实时部分是按1分钟来处理,那如何和离线数据(一般是按天进行汇总)结合呢?#Flink

实时数仓里面,实时部分是按1分钟来处理,那如何和离线数据(一般是按天进行汇总)结合呢?#Flink

问答 2020-05-19 来自:开发者社区

实时数仓血缘关系只是表级别么?如果实时数仓要做字段级别血缘,元数据中心与统一字段指标体 #Flink

实时数仓血缘关系只是表级别么?如果实时数仓要做字段级别血缘,元数据中心与统一字段指标体系建立,再结合流血缘关系,这个方案是否可行,有没有欠缺地方? #Flink

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注