flink sql 1.11 kafka cdc与holo sink有一些问题
flink sql 1.11 创建kafka source 表 ，kafka数据是canal采集的mysql 信息，'format' = 'canal-json'， 问题是 1，在source表中只能有与msyql对应的schema信息么，（也就是data[{}]里面的字段）能不能获取table，t...
flink sql消费kafka join普通表为何会性能爬坡？
大家好， flink sql消费kafka join普通表是会性能爬坡吗？ 背景是flink 1.12.0 使用flink sql在yarn per-job发布，消费kafka topic=trades，然后join 数据库里的维表 shop_meta 现在发现每次重启flink sql job，或...
FLINK SQL 消费kafka消息乱序问题
kafka消息里有一个随时间递增的“成交额”字段，写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值，发现差值有出现负数的情况 用工具看topic里的消息是有序的，分区数为1。flink版本1.11.2 *来自志愿者整理的flink邮件归档
flink sql 不支持 mysql cdc 以 canal json 格式发到kafka吗？
大家好， flink-cdc-connectors 是集成的 Debezium 引擎，应该不支持 Canal 格式。 https://github.com/ververica/flink-cdc-connectors/blob/master/README.md casel.chen 于2021年4月...
flink sql cdc发到kafka消息表名信息缺失问题
最近有个需求是用flink对接mysql binlog获取变更记录发到下游kafka(类似于canal server或debezium功能)，下游kafka消息需要有 before, after, op_type, ts, database, table 这些字段信息。我试了如下脚本发现出来的kaf...
Flink SQL Metrics中Kafka Offset请教
Flink SQL任务提交后，从JobManager监控指标中发现kafka的offset有2个指标信息，currentOffsets和committedOffsets，当Kafka无新增数据，程序运行一段时间后，发现指标仪表盘上显示 currentOffsets：2897 committedOff...
flink sql 不同job消费同一个kafka表(指定了groupId)时输出相同数据？
Hi,all 使用flink版本1.10.0，在hive catalog下建了映射kafka的表: CREATE TABLE x.log.yanfa_log ( dt TIMESTAMP(3), conn_id STRING, sequence STRING, trace_id STRING, sp...
flink sql cdc发到kafka后，消息表名信息怎么就缺失了呀？
最近有个需求是用flink对接mysql binlog获取变更记录发到下游kafka(类似于canal server或debezium功能)，下游kafka消息需要有 before, after, op_type, ts, database, table 这些字段信息。我试了如下脚本发现出来的kaf...
想问下kafka 非标准JSON问题如何用SQL解析？
您好！请问遇到如下格式的该如何用SQL解析。 string {name=string} {id : 1, name : abram} eg: 2021-04-03xxxxx {name=aaaaaa} {id : 1, name : abram} 最重要为第三个字段 JSON，里面包含了d...
flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql
您好，请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 create table kafka_table ( log_id string, event_date timestamp(3), p...
更新时间 2023-09-07 03:56:15
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
