阿里云文档 2025-10-29

Flink SQL Streaming节点使用

DataWorks新版数据开发中的Flink SQL Streaming节点支持使用标准SQL语句定义实时任务处理逻辑。Flink SQL Streaming具有易用性、丰富的SQL支持、强大的状态管理及容错能力,兼容事件时间和处理时间,并可灵活扩展。该节点易于与Kafka、HDFS等系统集成,提供详尽的日志和性能监控工具。您只需在DataWorks项目中添加Flink SQL Streaming...

阿里云文档 2025-10-29

创建Flink SQL Batch节点

Flink SQL Batch节点使您能够使用标准SQL语句定义和执行数据处理任务,适用于大数据集的分析与转换,包括数据清洗和聚合。该节点支持可视化配置,为您提供高效且灵活的大规模数据批处理方案。在Flink SQL Batch节点中,您可以使用类SQL语句完成大规模数据加工的批处理。本文将介绍如何在Flink SQL Batch节点中配置和使用SQL语句来完成数据的批处理。

阿里云文档 2025-09-19

本文介绍了使用Flink、EMR Serverless Spark和Paimon构建流批一体数据湖分析的完整流程,包括数据写入、交互查询及Compact操作。

本文演示了使用实时计算Flink版和EMR Serverless Spark构建Paimon数据湖分析流程。该流程包括将数据写入OSS、进行交互式查询以及执行离线数据Compact操作。EMR Serverless Spark完全兼容Paimon,通过内置的DLF元数据与其他云产品(例如,实时计算Flink版)实现元数据互通,形成完整的流批一体化解决方案。它支持灵活的任务运行方式和参数配置,满足实...

阿里云文档 2025-03-28

Flink CDC写入MaxCompute

MaxCompute为您提供对接Flink CDC的新版插件Connector连接器。您可以通过对接Flink CDC,将数据源(例如MySQL)数据实时同步至MaxCompute的目标表(普通表或Delta表)。本文为您介绍MaxCompute新版插件的能力支持情况与主要操作流程。

问答 2024-08-12 来自:开发者社区

在Flink CDC中,Flink 读Redis,在高并发大数据量下有性能瓶劲,有没有遇到过?

在Flink CDC中,Flink 读Redis,在高并发大数据量下有性能瓶劲,读redis是用 jedis API,redis是单节点,有没有遇到过?

阿里云文档 2024-05-14

Flink版本调整

为了更好地融入开源生态,提供更加开放和多样化的计算服务,阿里云E-MapReduce(简称EMR)从EMR-5.17.0和EMR-3.51.0版本开始,将Flink引擎版本从Flink企业版Ververica Runtime(简称VVR)调整为Flink社区开源版本,同时引入RocksDB作为存储后端,以符合开源Flink的使用习惯。

文章 2022-02-17 来自:开发者社区

Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示

1.大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用来说,则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求,则可以采用在线处理的方式来对数据进行分析,如使用Flink进行处理。比较贴切的一个例子是天猫...

Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注