问答 2021-12-07 来自:开发者社区

flink1.11 sql kafka 抽取事件时间

使用flink1.11 sql接入kafka ,format为csv 从eventTime字段中抽取事件时间 rowtime AS TO_TIMESTAMP(FROM_UNIXTIME(eventTime / 1000, 'yyyy-MM-dd HH:mm:ss')) eventTime可能存在脏数据(非13位的毫秒时间戳),设置了 'csv.ignore-parse-errors' = ...

问答 2021-12-07 来自:开发者社区

Flink的调度策略监听了什么事件?

Flink的调度策略监听了什么事件?

问答 2021-12-05 来自:开发者社区

Flink CEP事件查询,如何在flink运行中动态更新cep规则?

我的流应用使用的flink cep事件查询,我如何在流运行过程中动态的加载变化的cep规则,大家有什么好的方案吗?*来自志愿者整理的flink

问答 2021-12-03 来自:开发者社区

flink cep 匹配一段时间类A,B,C事件发生,flink cep有什么好的方式吗?

我这个边需要匹配一段时间内A,B,C事件同时发生,但是不要求A,B,C事件的顺序,flink cep有什么好的方式不? 有个方案是 定义多个模式组,每个模式组是A,B,C事件的一次排列组合,但是这样比较麻烦,如果事件个数多的话,需要写太多组合。*来自志愿者整理的FLINK邮件归档

问答 2021-12-03 来自:开发者社区

Flink CEP事件查询,如何在flink运行中动态更新cep规则呢?

      我的流应用使用的flink cep事件查询,我如何在流运行过程中动态的加载变化的cep规则,大家有什么好的方案吗?*来自志愿者整理的FLINK邮件归档

问答 2021-12-03 来自:开发者社区

flink1.11 sql ddl 连接kafka读取数据,使用事件时间窗口,无法触发,相同的sql

您好,请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件,无法触发窗口,使用process_time系统时间就可以正常触发 create table kafka_table ( log_id  string, event_date timestamp(3), process_time as PROCTIME(), ts as event_date, water...

问答 2021-12-02 来自:开发者社区

FlinkSQL 1.10 事件时间声明不能包含系统保留字

-- 定义时间非系统保留字为事件时间字段,能正常运行  create table events (  process_time bigint comment '事件时间',  event string comment '事件类型',  ts AS TO_TIMESTAMP(FROM_UNIXTIME(process_time/1000, 'yyyy-MM-d...

问答 2020-08-21 来自:开发者社区

大佬,请教一个与Flink SQL的事件时间和watermark的场景:读入kafka流#Flink

大佬,请教一个与Flink SQL的事件时间和watermark的场景: 读入kafka流的时候水位设置为: WATERMARK FOR ts AS ts - INTERVAL '20' SECOND 聚合的时候,时间窗口是一分钟: GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), key 那么当带着事件时间的流数据进入聚合任务的时候, 如果相同的Key带着的.....

文章 2020-05-26 来自:开发者社区

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Flink 1.10 与 1.9 相比又是个创新版本,在我们感兴趣的很多方面都有改进,特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性: 一是 SQL DDL 对事件时间的支持;二是 Hive Metastore 作为 Flink 的元数据存储(即 HiveCatalog)。 这两点将会为我们构建实时数仓提供很大的便利。 添....

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例
文章 2019-09-29 来自:开发者社区

Flink落HDFS数据按事件时间分区解决方案

0x1 摘要 Hive离线数仓中为了查询分析方便,几乎所有表都会划分分区,最为常见的是按天分区,Flink通过以下配置把数据写入HDFS, BucketingSink<Object> sink = new BucketingSink<>(path); //通过这样的方式来实现数据跨天分区 sink.setBucketer(new DateTimeBucketer<&a...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注