阿里云文档 2024-01-10

查看审计事件

本文介绍如何通过操作审计(ActionTrail)产品查看Flink审计事件。

问答 2021-12-03 来自:开发者社区

flink1.11 sql ddl 连接kafka读取数据,使用事件时间窗口,无法触发,相同的sql

您好,请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件,无法触发窗口,使用process_time系统时间就可以正常触发 create table kafka_table ( log_id  string, event_date timestamp(3), process_time as PROCTIME(), ts as event_date, water...

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
322 人已学 |
免费

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
954 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
518 人已学 |
免费
开发者课程背景图
问答 2021-12-02 来自:开发者社区

FlinkSQL 1.10 事件时间声明不能包含系统保留字

-- 定义时间非系统保留字为事件时间字段,能正常运行  create table events (  process_time bigint comment '事件时间',  event string comment '事件类型',  ts AS TO_TIMESTAMP(FROM_UNIXTIME(process_time/1000, 'yyyy-MM-d...

问答 2020-08-21 来自:开发者社区

大佬,请教一个与Flink SQL的事件时间和watermark的场景:读入kafka流#Flink

大佬,请教一个与Flink SQL的事件时间和watermark的场景: 读入kafka流的时候水位设置为: WATERMARK FOR ts AS ts - INTERVAL '20' SECOND 聚合的时候,时间窗口是一分钟: GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), key 那么当带着事件时间的流数据进入聚合任务的时候, 如果相同的Key带着的.....

文章 2020-05-26 来自:开发者社区

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Flink 1.10 与 1.9 相比又是个创新版本,在我们感兴趣的很多方面都有改进,特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性: 一是 SQL DDL 对事件时间的支持;二是 Hive Metastore 作为 Flink 的元数据存储(即 HiveCatalog)。 这两点将会为我们构建实时数仓提供很大的便利。 添....

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例
文章 2019-09-29 来自:开发者社区

Flink落HDFS数据按事件时间分区解决方案

0x1 摘要 Hive离线数仓中为了查询分析方便,几乎所有表都会划分分区,最为常见的是按天分区,Flink通过以下配置把数据写入HDFS, BucketingSink<Object> sink = new BucketingSink<>(path); //通过这样的方式来实现数据跨天分区 sink.setBucketer(new DateTimeBucketer<&a...

文章 2018-12-17 来自:开发者社区

Flink 事件时间的陷进及解决思路

0x1 摘要 大家都知道Flink引入了事件时间(eventTime)这个重要概念,来提升数据统计的准确性,但引入事件时间后在具体业务实现时存在一些问题必需要合理去解决,否则会造成非常严重的问题。 0x2 Flink 时间概念介绍 Flink 支持不同的时间概念,包括: Event Time :事件时间 Processing Time :处理时间 Ingestion Time :消息提取时间 .....

问答 2018-12-13 来自:开发者社区

Flink和恢复中的事件处理顺序

我正在研究Flink一个多星期了。我们正在处理来自Kafka的事件,我们希望事件属于特定对象id,需要按事件时间顺序处理。到目前为止,我的研究告诉我,我应该使用keyby和timeWindows,我的理解是否正确?另一个问题,当一个任务管理器关闭时,只有那些事件属于该任务管理器才会被停止处理,直到任务管理器出现?检查点机制是否知道未处理的事件,它将如何向Kafka请求这些事件?问题与下面的用例在....

问答 2018-12-11 来自:开发者社区

当水印小于窗口结束时,触发基于事件时间的Flink窗口操作

我在Flink测试事件时间和水印。以下是我的代码。 object WatermarkTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCh...

问答 2018-12-11 来自:开发者社区

如果缺少一些事件,如何使用apache flink稳健地计算连接?

我有一连串的jsons通过kafka和iam尝试使用apache flink加入密钥。其中5个具有相同的键,所以我想使用全局窗口并提供触发器为5.但问题是如果只有四个jsons到达而第五个从未到来的话。如何处理这种情况。我需要处理的所有故障情况。有人请提供输入作为我刚接触流处理的输入,我想用flink探索。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注