问答 2021-12-07 来自:开发者社区

sink失败 不消费kafka消息怎么办?

大家好,我现在有个疑问 目前我使用kafka作为source,经过计算以后,将结果sink到数据库; 后来日志数据库发生了timeout或者宕机,kafka这边的主题,却消费掉了造成了数据丢失,那么如何设置才可以确认在sink失败的时候,不提交kafka的消费位移呢? 多谢大家了 *来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

请问下,有没有大佬做过类似的事情? 另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序? *来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

flink sink kafka过慢问题

我在使用flink处理数据写入kafka的过程中,写入kafka的速度过慢,导致数据高峰期数据有堆积, 在数据达到每秒11000条的时候就开始堆积,处理逻辑很简单,就有坐标点经纬度转换成省市区,其他逻辑不复杂, sink端kafka 6个分区,source端kafka6个分区,每天在晚高峰的时候会堆积30分钟,有没有办法大幅度提高写入能力, 难道只能加大kafka的分区吗? flink sub.....

问答 2021-12-06 来自:开发者社区

flink sink到kafka

大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。 *来自志愿者整理的flink邮件归档

问答 2021-12-06 来自:开发者社区

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及s

单流的一条数据,需要先sink 至mysql,再sink至kafka,并保证两sink的原子性以及sink顺序,是否可以做到?请问下,有没有大佬做过类似的事情? 另外,flink side out功能,可以将单流分成多流,但是不是分成多流后,但两条流sink的时候,是不是没法保证sink时候的时序? *来自志愿者整理的flink邮件归档

问答 2021-12-06 来自:开发者社区

flink sql 1.11 kafka cdc与holo sink有一些问题

flink sql 1.11 创建kafka source 表 ,kafka数据是canal采集的mysql 信息,'format' = 'canal-json', 问题是 1,在source表中只能有与msyql对应的schema信息么,(也就是data[{}]里面的字段)能不能获取table,ts这种字段的值? 2,对于一个topic中有多张mysql binlog信息的表,kafka so....

问答 2021-01-24 来自:开发者社区

读取kafka sink 到mysql 发现插入不进去,也不报错#Flink

读取kafka sink 到mysql 发现插入不进去,也不报错#Flink

问答 2021-01-24 来自:开发者社区

flnk sink 到kafka ,kafka的timestamp 没有值,要怎么处#Flink

flnk sink 到kafka ,kafka的timestamp 没有值,要怎么处理?#Flink

问答 2020-07-28 来自:开发者社区

Flink sink kafka EXACTLY ONCE 执行checkpoint失败

#环境 Flink 版本: 1.10.1 kafka 版本:2.12-2.2.2 DAG:source kafka->etl->sink kafka 在at least once模式下运行正常,改为extractly once执行checkpoint每次都不成功。 #配置 尝试过增加以下配置: props.setProperty(ProducerConfig.TRANSACTION_T...

问答 2020-07-09 来自:开发者社区

Flink1.11中kafka producer的sink,如果使用flink默认的分区#Flink

Flink1.11中kafka producer的sink,如果使用flink默认的分区器是不是只会把数据发往目标topic的一个分区?#Flink

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云消息队列

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系产品 Serverless 化。RocketMQ 一站式学习:https://rocketmq.io/

+关注