云消息队列 Kafka 版sql 的相关内容

flink sql 消费kafka 消息写入Hive不提交分区

我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ http://apache-flink.147419.n8.nabble.com/file/t1257/E4142DB1-E410-43...

flink sql读kafka元数据问题

WITH("event_time TIMESTAMP(3) METADATA FROM 'timestamp'," + "partition BIGINT METADATA VIRTUAL," + "offset BIGINT METADATA VIRTUAL," + "headers MAP NO...

消息队列Kafka入门课程

4 课时 |

3098 人已学 |

加入学习

分布式消息系统 Kafka 快速入门

24 课时 |

640 人已学 |

加入学习

Sql Client读取Kafka报错

lib 下的Jar flink-csv-1.11.3.jar flink-table-blink_2.11-1.11.3.jar flink-dist_2.11-1.11.3.jar flink-table_2.11-1.11.3.jar flink-jdbc_2.11-1.11.3.jar log...

是否SQL或Table API是禁止设置uid或者uidhash的？包括对Kafka DataStr

在使用Flink 1.9 SQL时，需要结合外部大量数据与当前流进行Join、TopN和Distinct操作，考虑采用初始化相关Operator的State方法，遇到下面几个问题，麻烦解答下： 1. 是否SQL或Table API是禁止设置uid或者uidhash的？包括对Kafka DataStr...

请问在 flink sql 中建立的多张表应当怎样分辨接收 kafka 传来的 canal-json

这是我在 flink sql 中建立的两张表： create table base ( id int, location varchar(20) )WITH ( 'connector' = 'kafka', 'topic' = 'example', 'properties.group.id' = '...

flink1.10.1 flink sql消费kafka当parallelism大于1时不产生wat

本人使用的flink版本为flink 1.10.1， flink sql消费kafka，当parallelism为1时正常运行，但讲parallelism修改为2时，在yarn-session web页面看不到watermark的指标信息了，也没有计算结果输出，sql如下： insert into...

如何在sql运行时动态修改kafka的scan.startup.mode

现在有个需求，就是一段用sql-client提交的sql任务需要动态修改kafka的scan.startup.mode，以支持不同的消费需求。请问有什么好的办法吗？谢谢*来自志愿者整理的flink邮件归档

flink1.11 sql kafka 抽取事件时间

使用flink1.11 sql接入kafka ，format为csv 从eventTime字段中抽取事件时间 rowtime AS TO_TIMESTAMP(FROM_UNIXTIME(eventTime / 1000, 'yyyy-MM-dd HH:mm:ss')) eventTime可能存在脏数...

flink 1.11 中cdc功能中，使用flink sql来操作一个kafka topic中的多张

场景： canal解析binlog后，将db1实例内的多张表（表数据有关联）的变化发送到kafka的单topic，单分区中，从而保证有序；若我想做数据同步至另一个mysql实例db2中，怎么用flink sql操作多张表，同时保证表与表之间有序呢？例如mysql实例db1中有表test, sta...