阿里云实时计算 Flink版实践的相关内容

文章 2024-03-07 来自：开发者社区

阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践

湖仓一体（LakeHouse）是大数据领域的重要发展方向，提供了流批一体和湖仓结合的新场景。阿里云AnalyticDB for MySQL基于 Apache Hudi 构建了新一代的湖仓平台，提供日志、CDC等多种数据源一键入湖，在离线计算引擎融合分析等能力。本文将主要介绍AnalyticDB for MySQL基于Apache Hudi实现多表CDC全增量入湖的经验与实践。 1. 背景...

文章 2024-01-18 来自：开发者社区

阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

1. 背景及需求链路：Flink -> sink kafka需求：客户需求根据数据的特征，以自定义的逻辑，将不同的数据写到kafka不同的分区中阿里云官方文档链接：https://help.aliyun.com/zh/flink/developer-reference/kafka-connector?spm=a2c4g.11186623.0.0.bc541be5ucyowS#section....

文章 2023-09-27 来自：开发者社区

【湖仓一体】阿里云AnalyticDB MySQL基于Flink CDC+Hudi实现多表全增量入湖实践

【一波小广告】AnalyticDB MySQL和Intel联合推出基于ADB Spark的训练营，ADB新用户参营可获得价值100元的权益包！心动不如行动，速速参加！点击前往参加文章作者：焰流、含风、风泽1. 背景简介1.1. 多表CDC入湖背景介绍客户在使用数据湖、传统数据仓库的过程中，常常会遇到以下业务痛点：全量建仓或直连分析对源库压力较大，需要卸载线上压力规避故障建仓延迟较长（T+1天），....

文章 2023-08-07 来自：开发者社区

阿里云全托管flink-vvp平台hudi connector实践（基于emr集群oss-hdfs存储）

1. 上游数据准备上游数据以mysql为例作为hudi入湖的上游应用表，详细的建表、插入及更新语句如下droptable if exists `sunyf_db`.`flink_test_02_hudi`;createtable if not EXISTS `sunyf_db`.`flink_test_02_hudi`( id BIGINTnotnull PRIMARY KEY ,`name...

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——3.机器学习——钱大妈-基于阿里云Flink的实时风控实践（1）

作者：彭明德用户背景钱大妈是在社区生鲜连锁中，以"不卖隔夜肉"作为品牌理念的的行业开拓者。在成立之初即从新鲜角度重新梳理传统生鲜行业的标准，对肉菜市场进行新的定义。通过尝试和验证"日清"模式，以及"定时打折"清货机制，坚定落实不隔夜销售。业务需求钱大妈全渠道数据中台当前已经基于阿里云云原生的大数据解决方案（DataWorks、MaxCompute、Flink、Hologres）构建起离线和....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——3.机器学习——钱大妈-基于阿里云Flink的实时风控实践（2）

《Apache Flink 案例集（2022版）》——3.机器学习——钱大妈-基于阿里云Flink的实时风控实践（1） https://developer.aliyun.com/article/1228153生产实践风控业务专员在产品界面通过简单配置即可实时、动态地发布风控规则，更加可以在线地对规则进行更新、删除。其中规则模型分为统计型规则和序列型规则。相同模型支持子规则的嵌套，不同模型之间可....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——3.机器学习——钱大妈-基于阿里云Flink的实时风控实践（3）

《Apache Flink 案例集（2022版）》——3.机器学习——钱大妈-基于阿里云Flink的实时风控实践（2） https://developer.aliyun.com/article/1228150针对规则模型的流式序列型数据，钱大妈选择 Flink CEP 处理事件序列匹配，由于我们整个风控作业使用 Flink 实现，并且 Flink CEP 作为 Flink 官方原生支持的 Lib....

文章 2023-05-08 来自：开发者社区

日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践

摘要：本文整理自阿里云开发工程师，Apache Flink Contributor 钟旭阳，在 Flink Forward Asia 2022 生产实践的分享。本篇内容主要分为四个部分：历史背景框架简介案例介绍未来规划点击查看原文视频 & 演讲PPT一、历史背景批作业在算子实际处理数据时，可以提前感知到要处理的这部分数据有多大。从而可以根据数据量的大小，选择合适的资源处理数据。但流作业是....

文章 2022-05-09 来自：开发者社区

某电商基于阿里云Flink的实时风控实践

背景许多互联网电商行业客户当前已经基于阿里云云原生的大数据解决方案（DataWorks、MaxCompute、Flink、Hologres）构建起离线和实时数据一体化的数据中台，为各业务线提供BI报表及数据接口支持。电商行业客户在数仓的分析场景外，也面临业务系统中的风控需求。比如：每季度的营销费用中，不少的羊毛党薅走正常用户的利益。羊毛党一方面导致可能导致用户的口碑下降，另一方面原有的活动运营预....

共有19条

< 1 2 >

跳转至： GO

更新时间 2025-03-02 12:51:00

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

实时计算 Flink版阿里云相关内容

实时计算 Flink版更多阿里云相关

实时计算 Flink版您可能感兴趣

产品推荐

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":7,"count":7}]},"card":[{"des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，基于开源的Apache Flink，优化后成熟稳定的企业版本，提供批流统一、完全托管、高性能的实时智能计算平台。","link1":"https://www.aliyun.com/product/bigdata/product/sc","link":"https://www.aliyun.com/product/bigdata/product/sc","icon":"https://img.alicdn.com/tfs/TB1yy8cD4D1gK0jSZFyXXciOVXa-200-200.png","btn2":"产品文档","tip":"阿里云实时计算推出独享模式，专属定制的计算大脑，2折试用，<a href=\" https://yq.aliyun.com/live/591\" target=\"_blank\">观看发布会</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/product/45029.html","title":"实时计算Flink版"}],"search":[{"txt":"申请免费试用","link":"https://help.aliyun.com/document_detail/72329.html?spm"},{"txt":"管理控制台","link":"https://stream.console.aliyun.com/zh/dark/"},{"txt":"产品文档介绍","link":"https://help.aliyun.com/document_detail/62438.html?spm"},{"txt":"独享模式价格计算器","link":"https://stream.console.aliyun.com/zh/dark/#/profile/calculator"},{"txt":"独享模式2折试用","link":"https://promotion.aliyun.com/ntms/act/rc.html"},{"txt":"技术解读","link":"https://yq.aliyun.com/articles/669177"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","icon":"sc","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","title":"实时计算Flink版","des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。","btn1":"立即开通","link1":"https://www.aliyun.com/product/bigdata/product/sc","btn3":"产品文档","link3":"https://help.aliyun.com/product/45029.html","btn2":"产品控制台","link2":"https://realtime-compute.console.aliyun.com/#/dashboard","infoGroup":[{"infoName":"实时同步","infoContent":{"firstContentName":"MySQL 到 Hologres","firstContentLink":"https://help.aliyun.com/document_detail/374270.html","lastContentName":"Kafka 到 Hologres","lastContentLink":"https://help.aliyun.com/document_detail/417217.html"}},{"infoName":"功能对比","infoContent":{"firstContentName":"开源Flink对比","firstContentLink":"https://developer.aliyun.com/article/784034?spm=5176.15088477.J_3921126020.9.1a951708XMCptN"}},{"infoName":"成本优化","infoContent":{"firstContentName":"作业自动调优","firstContentLink":"https://help.aliyun.com/document_detail/212422.html","lastContentName":"","lastContentLink":""}},{"infoName":"学习资料","infoContent":{"firstContentName":"实时数仓入门课程","firstContentLink":"https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_3921126020.7.1a951708XMCptN"}}],"contentLink":"https://www.aliyun.com/product/bigdata/sc"}]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":7,"count":7}]},"card":[{"des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，基于开源的Apache Flink，优化后成熟稳定的企业版本，提供批流统一、完全托管、高性能的实时智能计算平台。","link1":"https://www.aliyun.com/product/bigdata/product/sc","link":"https://www.aliyun.com/product/bigdata/product/sc","icon":"https://img.alicdn.com/tfs/TB1yy8cD4D1gK0jSZFyXXciOVXa-200-200.png","btn2":"产品文档","tip":"阿里云实时计算推出独享模式，专属定制的计算大脑，2折试用，<a href=\" https://yq.aliyun.com/live/591\" target=\"_blank\">观看发布会</a>          最新产品和实时动态重磅发布 ，<a href=\"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/product/45029.html","title":"实时计算Flink版"}],"search":[{"txt":"申请免费试用","link":"https://help.aliyun.com/document_detail/72329.html?spm"},{"txt":"管理控制台","link":"https://stream.console.aliyun.com/zh/dark/"},{"txt":"产品文档介绍","link":"https://help.aliyun.com/document_detail/62438.html?spm"},{"txt":"独享模式价格计算器","link":"https://stream.console.aliyun.com/zh/dark/#/profile/calculator"},{"txt":"独享模式2折试用","link":"https://promotion.aliyun.com/ntms/act/rc.html"},{"txt":"技术解读","link":"https://yq.aliyun.com/articles/669177"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new?source_type=out_sousuo_feature_0716"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","icon":"sc","link":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png","title":"实时计算Flink版","des":"阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。","btn1":"立即开通","link1":"https://www.aliyun.com/product/bigdata/product/sc","btn3":"产品文档","link3":"https://help.aliyun.com/product/45029.html","btn2":"产品控制台","link2":"https://realtime-compute.console.aliyun.com/#/dashboard","infoGroup":[{"infoName":"实时同步","infoContent":{"firstContentName":"MySQL 到 Hologres","firstContentLink":"https://help.aliyun.com/document_detail/374270.html","lastContentName":"Kafka 到 Hologres","lastContentLink":"https://help.aliyun.com/document_detail/417217.html"}},{"infoName":"功能对比","infoContent":{"firstContentName":"开源Flink对比","firstContentLink":"https://developer.aliyun.com/article/784034?spm=5176.15088477.J_3921126020.9.1a951708XMCptN"}},{"infoName":"成本优化","infoContent":{"firstContentName":"作业自动调优","firstContentLink":"https://help.aliyun.com/document_detail/212422.html","lastContentName":"","lastContentLink":""}},{"infoName":"学习资料","infoContent":{"firstContentName":"实时数仓入门课程","firstContentLink":"https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_3921126020.7.1a951708XMCptN"}}],"contentLink":"https://www.aliyun.com/product/bigdata/sc"}]}}

实时计算Flink版

阿里云实时计算Flink版(Alibaba Cloud Realtime Compute)，完全兼容开源的Apache Flink，比开源性能提升2～3倍，提供了完整的告警、监控、日志的解决方案、提升开发效率且无运维成本，并有社区专家提供技术支持。

立即开通

产品控制台

产品文档

实时同步

MySQL 到 Hologres

Kafka 到 Hologres

功能对比

开源Flink对比

成本优化

作业自动调优