sink失败 不消费kafka消息怎么办?
大家好,我现在有个疑问 目前我使用kafka作为source,经过计算以后,将结果sink到数据库; 后来日志数据库发生了timeout或者宕机,kafka这边的主题,却消费掉了造成了数据丢失,那么如何设置才可以确认在sink失败的时候,不提交kafka的消费位移呢? 多谢大家了 *来自志愿者整理的flink邮件归档
单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s
请问下,有没有大佬做过类似的事情? 另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序? *来自志愿者整理的flink邮件归档
flink sink kafka过慢问题
我在使用flink处理数据写入kafka的过程中,写入kafka的速度过慢,导致数据高峰期数据有堆积, 在数据达到每秒11000条的时候就开始堆积,处理逻辑很简单,就有坐标点经纬度转换成省市区,其他逻辑不复杂, sink端kafka 6个分区,source端kafka6个分区,每天在晚高峰的时候会堆积30分钟,有没有办法大幅度提高写入能力, 难道只能加大kafka的分区吗? flink sub.....
flink sink到kafka
大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。 *来自志愿者整理的flink邮件归档
单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s
单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及sink顺序,是否可以做到?请问下,有没有大佬做过类似的事情? 另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序? *来自志愿者整理的flink邮件归档
flink sql 1.11 kafka cdc与holo sink有一些问题
flink sql 1.11 创建kafka source 表 ,kafka数据是canal采集的mysql 信息,'format' = 'canal-json', 问题是 1,在source表中只能有与msyql对应的schema信息么,(也就是data[{}]里面的字段)能不能获取table,ts这种字段的值? 2,对于一个topic中有多张mysql binlog信息的表,kafka so....
读取kafka sink 到mysql 发现插入不进去,也不报错#Flink
读取kafka sink 到mysql 发现插入不进去,也不报错#Flink
flnk sink 到kafka ,kafka的timestamp 没有值,要怎么处#Flink
flnk sink 到kafka ,kafka的timestamp 没有值,要怎么处理?#Flink
Flink sink kafka EXACTLY ONCE 执行checkpoint失败
#环境 Flink 版本: 1.10.1 kafka 版本:2.12-2.2.2 DAG:source kafka->etl->sink kafka 在at least once模式下运行正常,改为extractly once执行checkpoint每次都不成功。 #配置 尝试过增加以下配置: props.setProperty(ProducerConfig.TRANSACTION_T...
Flink1.11中kafka producer的sink,如果使用flink默认的分区#Flink
Flink1.11中kafka producer的sink,如果使用flink默认的分区器是不是只会把数据发往目标topic的一个分区?#Flink
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
云消息队列 Kafka 版更多sink相关
云消息队列 Kafka 版您可能感兴趣
- 云消息队列 Kafka 版内存
- 云消息队列 Kafka 版磁盘
- 云消息队列 Kafka 版数据
- 云消息队列 Kafka 版原理
- 云消息队列 Kafka 版报错
- 云消息队列 Kafka 版云原生
- 云消息队列 Kafka 版技术
- 云消息队列 Kafka 版案例
- 云消息队列 Kafka 版rabbitmq
- 云消息队列 Kafka 版选型
- 云消息队列 Kafka 版flink
- 云消息队列 Kafka 版cdc
- 云消息队列 Kafka 版分区
- 云消息队列 Kafka 版集群
- 云消息队列 Kafka 版topic
- 云消息队列 Kafka 版配置
- 云消息队列 Kafka 版同步
- 云消息队列 Kafka 版消息队列
- 云消息队列 Kafka 版消费
- 云消息队列 Kafka 版mysql
- 云消息队列 Kafka 版apache
- 云消息队列 Kafka 版安装
- 云消息队列 Kafka 版消费者
- 云消息队列 Kafka 版消息
- 云消息队列 Kafka 版日志
- 云消息队列 Kafka 版sql
- 云消息队列 Kafka 版生产者
- 云消息队列 Kafka 版连接
- 云消息队列 Kafka 版解析
- 云消息队列 Kafka 版java
云消息队列
涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/
+关注