云消息队列 Kafka 版sql 的相关内容

Flink SQL Metrics中Kafka Offset请教

Flink SQL任务提交后，从JobManager监控指标中发现kafka的offset有2个指标信息，currentOffsets和committedOffsets，当Kafka无新增数据，程序运行一段时间后，发现指标仪表盘上显示 currentOffsets：2897 committedOff...

flink sql 不同job消费同一个kafka表(指定了groupId)时输出相同数据？

Hi,all 使用flink版本1.10.0，在hive catalog下建了映射kafka的表: CREATE TABLE x.log.yanfa_log ( dt TIMESTAMP(3), conn_id STRING, sequence STRING, trace_id STRING, sp...

消息队列Kafka入门课程

4 课时 |

3098 人已学 |

加入学习

分布式消息系统 Kafka 快速入门

24 课时 |

640 人已学 |

加入学习

flink sql cdc发到kafka后，消息表名信息怎么就缺失了呀？

最近有个需求是用flink对接mysql binlog获取变更记录发到下游kafka(类似于canal server或debezium功能)，下游kafka消息需要有 before, after, op_type, ts, database, table 这些字段信息。我试了如下脚本发现出来的kaf...

想问下kafka 非标准JSON问题如何用SQL解析？

您好！请问遇到如下格式的该如何用SQL解析。 string {name=string} {id : 1, name : abram} eg: 2021-04-03xxxxx {name=aaaaaa} {id : 1, name : abram} 最重要为第三个字段 JSON，里面包含了d...

flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql

您好，请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 create table kafka_table ( log_id string, event_date timestamp(3), p...

flink sql消费kafka各分区消息不均衡问题

flink sql消费kafka消息做数据同步，前期没有出现堆积不均的问题，这两天发现某些kafka分区积压特别多，会是什么原因造成的？怎样解决呢？从统计结果上看，消息还算均匀地打到各个kafka分区上。作业没有开窗和聚合，只是攒一批写一批这样子的。注：作业是跑在k8s上的 | 分区 ID | 客户...

Flink 1.11.2 SQL消费kafka写Hive报错

Dear All, 我在使用Flink SQL消费kafka并写入hive时报错，代码和报错信息如下其中，Flink 版本为1.11.2，kafka connector使用的是flink-sql-connector-kafka。搜索了很久，依然没有解决，相同的sql语句在flink sql cl...

关于flink sql的kafka source的开始消费offset相关问题。

如题，按照官方文档的kafka source部分，有如下配置说明。 scan.startup.mode : optionalgroup-offsetsStringStartup mode for Kafka consumer, valid values are 'earliest-offset', ...