实时计算 Flink版数仓的相关内容

文章 2020-11-17 来自：开发者社区

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

作者：齐智@TiDB随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的 Join 操作，降低性能。如果在数据清洗导入过程中就能流式的完成 Join，那么分析时就无需再次 Join，从而提升查询性能。利....

文章 2020-11-05 来自：开发者社区

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与Hive 进行整合。本文主要分享在 Flink 1.11 中对接 Hive 的新特性，以及如何利用 Flink 对 Hive 数仓进行实时化改造，从而实现批流一体的目标。主要内容包括： · Flink ...

文章 2020-11-02 来自：开发者社区

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战：背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用问题 & 改进直播回放：https://developer.aliyun.com/live/2894 一、背景介绍（一）流平台通用框架目前流平台通用的架构一般来...

文章 2020-10-21 来自：开发者社区

从 Storm 迁移到 Flink，美团外卖实时数仓建设实践

作者：朱良本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易于开发、易于维护、效率最高的流水线，兼顾开发效率与生产成本，以较好的投入产出比满足业务多样需求。 01 实时场景....

文章 2020-09-29 来自：开发者社区

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外搭建基于 Flink 的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。想要搭建流式链路就必须得抛弃现有的 Hive 数仓吗？并不是，借助 Flink 可以实.....

文章 2020-09-16 来自：开发者社区

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。 1、可解决的痛点可以先看一下，多维实时数据分析系统可以解决....

文章 2020-09-02 来自：开发者社区

滴滴基于 Flink 的实时数仓建设实践

随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。 1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出....

文章 2020-08-07 来自：开发者社区

【最佳实践】实时计算Flink在游戏行业的实时数仓建设实践

行业背景行业现状：随着互联网和移动互联网的相互促进与融合，以及PC终端和各类移动终端在智能化和便携性上的趋同，游戏产品跨平台运行于各类终端的需求逐步显现，特别是互联网页面游戏中的社交类游戏等产品跨平台运行于各类移动终端已经出现，随着版权价值意识的增强，游戏开发商和运营商在取得版权后，加强了对文化内容的开发利用，力图以多形式多媒介的产品实现版权价值的最大化。大数据在游戏行业中的作用...

文章 2020-08-07 来自：开发者社区

【最佳实践】实时计算Flink在在线教育行业的实时数仓建设实践

行业背景行业现状：在线教育是运用互联网、人工智能等现代信息技术进行教与学互动的新型教育方式，是教育服务的重要组成部分。发展在线教育，有利于构建网络化、数字化、个性化、终身化的教育体系，有利于建设“人人皆学、处处能学、时时可学”的学习型社会。大数据在其行业中的作用：对未来客户的画像更加精准，营销推广时可以对接更好的服务并提升成交转化率（提升ROI不一定，这涉及到外部竞争）；更....

文章 2020-08-07 来自：开发者社区

【最佳实践】实时计算Flink在广告行业的实时数仓建设实践

行业背景行业现状：广告仍然是互联网公司的主要变现手段，2019年，中国广告市场总体规模达到8674.28亿元，较2018年增长了8.54%，据统计全球互联网市值前十的公司广告收入占比高达40%，可见其重要性。AI、大数据、智能投放等创新技术的普及应用，不仅创生了一批独角兽营销平台，而且大幅拉低了广告投放门槛，拓宽了广告市场空间。大数据在其行业中的作用：大数据技术的应用在改变我们...

共有170条

< 1 ... 13 14 15 16 17 >

跳转至： GO

更新时间 2025-03-06 18:33:44

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

实时计算 Flink版更多数仓相关

实时计算 Flink版您可能感兴趣

产品推荐

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":7,"count":7}]},"card":[{"des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，基于开源的Apache Flink，优化后成熟稳定的企业版本，提供批流统一、完全托管、高性能的实时智能计算平台。","link1":"https://www.aliyun.com/product/bigdata/product/sc","link":"https://www.aliyun.com/product/bigdata/product/sc","icon":"https://img.alicdn.com/tfs/TB1yy8cD4D1gK0jSZFyXXciOVXa-200-200.png","btn2":"产品文档","tip":"阿里云实时计算推出独享模式，专属定制的计算大脑，2折试用，<a href=\" https://yq.aliyun.com/live/591\" target=\"_blank\">观看发布会</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/product/45029.html","title":"实时计算Flink版"}],"search":[{"txt":"申请免费试用","link":"https://help.aliyun.com/document_detail/72329.html?spm"},{"txt":"管理控制台","link":"https://stream.console.aliyun.com/zh/dark/"},{"txt":"产品文档介绍","link":"https://help.aliyun.com/document_detail/62438.html?spm"},{"txt":"独享模式价格计算器","link":"https://stream.console.aliyun.com/zh/dark/#/profile/calculator"},{"txt":"独享模式2折试用","link":"https://promotion.aliyun.com/ntms/act/rc.html"},{"txt":"技术解读","link":"https://yq.aliyun.com/articles/669177"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","icon":"sc","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","title":"实时计算Flink版","des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。","btn1":"立即开通","link1":"https://www.aliyun.com/product/bigdata/product/sc","btn3":"产品文档","link3":"https://help.aliyun.com/product/45029.html","btn2":"产品控制台","link2":"https://realtime-compute.console.aliyun.com/#/dashboard","infoGroup":[{"infoName":"实时同步","infoContent":{"firstContentName":"MySQL 到 Hologres","firstContentLink":"https://help.aliyun.com/document_detail/374270.html","lastContentName":"Kafka 到 Hologres","lastContentLink":"https://help.aliyun.com/document_detail/417217.html"}},{"infoName":"功能对比","infoContent":{"firstContentName":"开源Flink对比","firstContentLink":"https://developer.aliyun.com/article/784034?spm=5176.15088477.J_3921126020.9.1a951708XMCptN"}},{"infoName":"成本优化","infoContent":{"firstContentName":"作业自动调优","firstContentLink":"https://help.aliyun.com/document_detail/212422.html","lastContentName":"","lastContentLink":""}},{"infoName":"学习资料","infoContent":{"firstContentName":"实时数仓入门课程","firstContentLink":"https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_3921126020.7.1a951708XMCptN"}}],"contentLink":"https://www.aliyun.com/product/bigdata/sc"}]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":7,"count":7}]},"card":[{"des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，基于开源的Apache Flink，优化后成熟稳定的企业版本，提供批流统一、完全托管、高性能的实时智能计算平台。","link1":"https://www.aliyun.com/product/bigdata/product/sc","link":"https://www.aliyun.com/product/bigdata/product/sc","icon":"https://img.alicdn.com/tfs/TB1yy8cD4D1gK0jSZFyXXciOVXa-200-200.png","btn2":"产品文档","tip":"阿里云实时计算推出独享模式，专属定制的计算大脑，2折试用，<a href=\" https://yq.aliyun.com/live/591\" target=\"_blank\">观看发布会</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/product/45029.html","title":"实时计算Flink版"}],"search":[{"txt":"申请免费试用","link":"https://help.aliyun.com/document_detail/72329.html?spm"},{"txt":"管理控制台","link":"https://stream.console.aliyun.com/zh/dark/"},{"txt":"产品文档介绍","link":"https://help.aliyun.com/document_detail/62438.html?spm"},{"txt":"独享模式价格计算器","link":"https://stream.console.aliyun.com/zh/dark/#/profile/calculator"},{"txt":"独享模式2折试用","link":"https://promotion.aliyun.com/ntms/act/rc.html"},{"txt":"技术解读","link":"https://yq.aliyun.com/articles/669177"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","icon":"sc","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","title":"实时计算Flink版","des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。","btn1":"立即开通","link1":"https://www.aliyun.com/product/bigdata/product/sc","btn3":"产品文档","link3":"https://help.aliyun.com/product/45029.html","btn2":"产品控制台","link2":"https://realtime-compute.console.aliyun.com/#/dashboard","infoGroup":[{"infoName":"实时同步","infoContent":{"firstContentName":"MySQL 到 Hologres","firstContentLink":"https://help.aliyun.com/document_detail/374270.html","lastContentName":"Kafka 到 Hologres","lastContentLink":"https://help.aliyun.com/document_detail/417217.html"}},{"infoName":"功能对比","infoContent":{"firstContentName":"开源Flink对比","firstContentLink":"https://developer.aliyun.com/article/784034?spm=5176.15088477.J_3921126020.9.1a951708XMCptN"}},{"infoName":"成本优化","infoContent":{"firstContentName":"作业自动调优","firstContentLink":"https://help.aliyun.com/document_detail/212422.html","lastContentName":"","lastContentLink":""}},{"infoName":"学习资料","infoContent":{"firstContentName":"实时数仓入门课程","firstContentLink":"https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_3921126020.7.1a951708XMCptN"}}],"contentLink":"https://www.aliyun.com/product/bigdata/sc"}]}}

实时计算Flink版

阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。

立即开通

产品控制台

产品文档

实时同步

MySQL 到 Hologres

Kafka 到 Hologres

功能对比

开源Flink对比

成本优化

作业自动调优