实时计算 Flink版数仓的相关内容

文章 2024-05-19 来自：开发者社区

Flink+Hologres搭建实时数仓

方案介绍 Flink+Hologres搭建实时数仓通过Flink将数据源写入Hologres，形成ODS层。Flink订阅ODS层的Binlog进行加工，形成DWD层再次写入Hologres。Flink订阅DWD层的Binlog，通过计算形成DWS层，再次写入Hologres。最后由Hologres对外提供应用查询。解决问题：中间层不易查 Hologres的每...

文章 2024-05-08 来自：开发者社区

基于OceanBase+Flink CDC，云粒智慧实时数仓演进之路

摘要：本文整理自云粒智慧高级技术专家付大伟在 4 月 20 日的 2024 OceanBase 开发者大会上的分享，讲述了其数据中台在传统数仓技术框架下做的一系列努力后，跨进 FlinkCDC 结合 OceanBase 的实时数仓演进过程。内容主要分为以下几个部分: 业务背景及挑战实时数仓的架构演进未来规划 4月20日，云粒智慧高级技术专...

问答 2024-04-22 来自：开发者社区

Flink有没有做过实时数仓的大佬，请教个问题。我是否可以实时统计今天有多少人来参加了这个活动？

Flink有没有做过实时数仓的大佬，请教个问题。比如我有这样一个需求。有一个活动，参加这个活动需要去买票后，像是坐地铁那样刷卡进去。然后我这边有个数据库会实时更新刷卡人的信息，我是否可以实时统计今天有多少人来参加了这个活动。就是count(刷卡时间)这种操作？

问答 2024-02-28 来自：开发者社区

我们公司有个flink实时数仓的项目，想请问下咱们这边是否有成熟的落地方案和服务可以售卖？

问答 2024-02-28 来自：开发者社区

Flink实时数仓在现有资源的情况下最好建在哪里？

可用资源：datahub, RDS， ES，flink场景：有RDS中有三个部分的欠费A表、B表、C表, 这三个表在RDS中本身就是一直在变化的， A B C三个部分共同组成欠费目标：实现实时欠费统计存入实时数仓中的层中的欠费D表（D表的数据需要一直实时被更新）问题：1、实时数仓在现有资源的情况下最好建在哪里(其实最好是有kafka)，2、D表的数据怎么实现一直实时变化更新 (这个不是统计...

文章 2024-02-26 来自：开发者社区

flink问题之做实时数仓sql保证分topic区有序如何解决

问题一：flink 1.10 kafka collector topic 配置pattern 请教大家，flink 1.10里面kafka connector 不能配置topic pattern，后续会支持吗？参考回答：可以关注下：https://issues.apache.org/jira/browse/FLINK-18449 预计1.1...

文章 2024-01-29 来自：开发者社区

1 时效性保证1：查看kafka延迟监控：flink 消费上游的 lag（比如看消费 kafka lag 情况） 2：分层和时延之间做好平衡和取舍，既需要保证复用性，又要避免造成链路过长。 3：乱序数据的处理。 4：提前压测，应对流量高峰期，特别是大促场景下，提前做好资源保障、任务优化等措施。 5：设置好延时基线，通过优化程序代码、资源、解决倾斜与反压等问题，使其控制在base line之内。 ....

文章 2024-01-18 来自：开发者社区

基于 Flink 的实时数仓在曹操出行运营中的应用

本文整理自曹操出行基础研发部负责人史何富，在 Flink Forward Asia 2023 主会场的分享。本次分享将为大家介绍实时数仓在曹操出行（互联网网约车出行企业）的实时数仓应用场景，以及通过离线场景向实时场景下加速升级而获得的业务价值。内容主要分为以下六部分：业务简介实时数仓解决业务痛点曹操出行实时数仓运营落地及收益...

文章 2024-01-16 来自：开发者社区

基于 Hologres+Flink 的曹操出行实时数仓建设

1.业务背景曹操出行创立于 2015 年 5 月 21 日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。作为一家互联网出行平台，曹操主要提供了网约车、顺风车和专车等出行服务。其中，打车是其核心业务之一。整....

文章 2024-01-11 来自：开发者社区

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

2023 年 12 月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓 Hologres 研发负责人姜伟华现场分享 Hologres+Flink 构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新、实时查询。同时，随着流式湖仓的兴起，Hologres 除了支持 Delta、Hudi 等通用湖格式...

共有170条

< 1 2 3 4 ... 17 >

跳转至： GO

更新时间 2025-03-06 18:33:44

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

实时计算 Flink版更多数仓相关

实时计算 Flink版您可能感兴趣

产品推荐

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":7,"count":7}]},"card":[{"des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，基于开源的Apache Flink，优化后成熟稳定的企业版本，提供批流统一、完全托管、高性能的实时智能计算平台。","link1":"https://www.aliyun.com/product/bigdata/product/sc","link":"https://www.aliyun.com/product/bigdata/product/sc","icon":"https://img.alicdn.com/tfs/TB1yy8cD4D1gK0jSZFyXXciOVXa-200-200.png","btn2":"产品文档","tip":"阿里云实时计算推出独享模式，专属定制的计算大脑，2折试用，<a href=\" https://yq.aliyun.com/live/591\" target=\"_blank\">观看发布会</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/product/45029.html","title":"实时计算Flink版"}],"search":[{"txt":"申请免费试用","link":"https://help.aliyun.com/document_detail/72329.html?spm"},{"txt":"管理控制台","link":"https://stream.console.aliyun.com/zh/dark/"},{"txt":"产品文档介绍","link":"https://help.aliyun.com/document_detail/62438.html?spm"},{"txt":"独享模式价格计算器","link":"https://stream.console.aliyun.com/zh/dark/#/profile/calculator"},{"txt":"独享模式2折试用","link":"https://promotion.aliyun.com/ntms/act/rc.html"},{"txt":"技术解读","link":"https://yq.aliyun.com/articles/669177"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","icon":"sc","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","title":"实时计算Flink版","des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。","btn1":"立即开通","link1":"https://www.aliyun.com/product/bigdata/product/sc","btn3":"产品文档","link3":"https://help.aliyun.com/product/45029.html","btn2":"产品控制台","link2":"https://realtime-compute.console.aliyun.com/#/dashboard","infoGroup":[{"infoName":"实时同步","infoContent":{"firstContentName":"MySQL 到 Hologres","firstContentLink":"https://help.aliyun.com/document_detail/374270.html","lastContentName":"Kafka 到 Hologres","lastContentLink":"https://help.aliyun.com/document_detail/417217.html"}},{"infoName":"功能对比","infoContent":{"firstContentName":"开源Flink对比","firstContentLink":"https://developer.aliyun.com/article/784034?spm=5176.15088477.J_3921126020.9.1a951708XMCptN"}},{"infoName":"成本优化","infoContent":{"firstContentName":"作业自动调优","firstContentLink":"https://help.aliyun.com/document_detail/212422.html","lastContentName":"","lastContentLink":""}},{"infoName":"学习资料","infoContent":{"firstContentName":"实时数仓入门课程","firstContentLink":"https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_3921126020.7.1a951708XMCptN"}}],"contentLink":"https://www.aliyun.com/product/bigdata/sc"}]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":7,"count":7}]},"card":[{"des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，基于开源的Apache Flink，优化后成熟稳定的企业版本，提供批流统一、完全托管、高性能的实时智能计算平台。","link1":"https://www.aliyun.com/product/bigdata/product/sc","link":"https://www.aliyun.com/product/bigdata/product/sc","icon":"https://img.alicdn.com/tfs/TB1yy8cD4D1gK0jSZFyXXciOVXa-200-200.png","btn2":"产品文档","tip":"阿里云实时计算推出独享模式，专属定制的计算大脑，2折试用，<a href=\" https://yq.aliyun.com/live/591\" target=\"_blank\">观看发布会</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/product/45029.html","title":"实时计算Flink版"}],"search":[{"txt":"申请免费试用","link":"https://help.aliyun.com/document_detail/72329.html?spm"},{"txt":"管理控制台","link":"https://stream.console.aliyun.com/zh/dark/"},{"txt":"产品文档介绍","link":"https://help.aliyun.com/document_detail/62438.html?spm"},{"txt":"独享模式价格计算器","link":"https://stream.console.aliyun.com/zh/dark/#/profile/calculator"},{"txt":"独享模式2折试用","link":"https://promotion.aliyun.com/ntms/act/rc.html"},{"txt":"技术解读","link":"https://yq.aliyun.com/articles/669177"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","icon":"sc","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","title":"实时计算Flink版","des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。","btn1":"立即开通","link1":"https://www.aliyun.com/product/bigdata/product/sc","btn3":"产品文档","link3":"https://help.aliyun.com/product/45029.html","btn2":"产品控制台","link2":"https://realtime-compute.console.aliyun.com/#/dashboard","infoGroup":[{"infoName":"实时同步","infoContent":{"firstContentName":"MySQL 到 Hologres","firstContentLink":"https://help.aliyun.com/document_detail/374270.html","lastContentName":"Kafka 到 Hologres","lastContentLink":"https://help.aliyun.com/document_detail/417217.html"}},{"infoName":"功能对比","infoContent":{"firstContentName":"开源Flink对比","firstContentLink":"https://developer.aliyun.com/article/784034?spm=5176.15088477.J_3921126020.9.1a951708XMCptN"}},{"infoName":"成本优化","infoContent":{"firstContentName":"作业自动调优","firstContentLink":"https://help.aliyun.com/document_detail/212422.html","lastContentName":"","lastContentLink":""}},{"infoName":"学习资料","infoContent":{"firstContentName":"实时数仓入门课程","firstContentLink":"https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_3921126020.7.1a951708XMCptN"}}],"contentLink":"https://www.aliyun.com/product/bigdata/sc"}]}}

实时计算Flink版

阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。

立即开通

产品控制台

产品文档

实时同步

MySQL 到 Hologres

Kafka 到 Hologres

功能对比

开源Flink对比

成本优化

作业自动调优