问答 2024-06-13 来自:开发者社区

Flink MySQL不支持定义Watermark如何进行窗口聚合

Flink MySQL不支持定义Watermark如何进行窗口聚合

问答 2023-08-16 来自:开发者社区

Flink CDC中我定义了事件时间的watermark为什么在界面上不显示?

"Flink CDC中我定义了事件时间的watermark为什么在界面上不显示?我用的flinksql 读kafka。时间字符串转了long作为watermark,我这个是因为时间戳提取的有问题?"

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
322 人已学 |
免费

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
955 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
518 人已学 |
免费
开发者课程背景图
问答 2023-06-18 来自:开发者社区

因为Flink CDC源表不是不能定义watermark嘛,那我可以select*一个新表,然后在?

问题1:因为Flink CDC源表不是不能定义watermark嘛,那我可以select*一个新表,然后在新表上定义watermark从而开窗聚合吗?这样可以将流处理变为批处理。 不知我的想法可不可行? 问题2:emmm应该是吧(flink理解的不是很深),不知道这可行吗,我是用这个来算数据(捕获到数据包的时间戳)开窗聚合1s,因为得用jion来获取前面一列的数据。所以我觉得如果改为water.....

文章 2022-06-13 来自:开发者社区

Flink 1.10.0 SQL DDL中如何定义watermark和计算列

随着Flink1.10.0版本的发布,在SQL上一个重大的优化是支持了watermark语义的计算,在之前的Flink1.9.x版本中是不支持的,当时只能用SQL DDL进行processing time的计算,但是现在可以进行eventtime语义的计算了,那在Flink1.10.0版本中也推出了很多新的特性,这里就不在多介绍了,本篇文章主要是接上一篇文章,FlinkSQL使用DDL语句创建k....

问答 2022-02-15 来自:开发者社区

flink sql 通过计算列提取字段定义watermark后窗口计算没有结果输出怎么办?

大家好, 我遇到一个奇怪的问题,通过计算列提取出某一字段。定义为row_time的watermark, 如下面原始字段为message,从中提取13位unix-timestamp,转成timestamp(3)再定义为watermark。 执行窗口计算不报错,但是无输出结果。 数据源是kafka,各partition内数据均匀。 建表语句类似下面(单位机器不能联外网,下面的语句是我手打的,...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注