问答 2022-08-16 来自:开发者社区

kafka服务器频繁接收到大报文导致报错

kafka集群周期性的接收到大的报文,导致内存占用率飙升,而且gc不掉,导致服务崩溃,WARN [SocketServer brokerId=3] Unexpected error from /39.103.165.234; closing connection (org.apache.kafka.common.network.Selector) org.apache.kafka.common.....

问答 2022-07-26 来自:开发者社区

大佬们,接收kafka数据,假如kafka是3个分区,flink算子并行度我也设置为3,这样就会保证

大佬们,接收kafka数据,假如kafka是3个分区,flink算子并行度我也设置为3,这样就会保证一个算子固定的消费某一个分区了吧?假如有2个topic,一个有3个分区,一个有2个分区,flink我同时接收这2个topic,算子并行度设置为5,也会一个算子固定消费一个分区吗?

问答 2022-07-07 来自:开发者社区

大神们,在接收kafka数据时候,我已经设置了jvm类型的检查点,然后本地环境启动,接收kafka数

大神们,在接收kafka数据时候,我已经设置了jvm类型的检查点,然后本地环境启动,接收kafka数据,然后我停止,再启动,还是能接收到同样的kafka数据,好像flink并没有自动往kafka进行ack,这是什么原因呢?StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); e....

问答 2022-07-03 来自:开发者社区

还有个问题,假如说第二步,接收kafka变更那,如果kafka没有任何变更数据,那第二步就不会广播,

还有个问题,假如说第二步,接收kafka变更那,如果kafka没有任何变更数据,那第二步就不会广播,那第一步的基础数据也就广播不出去了,这情况咋整啊?

问答 2022-04-27 来自:开发者社区

spring整合kafka接收收的message不全,只有部分内容

做测试的时候放了kafka里面放了一个90k的数据,然后接收的只有一部分

文章 2022-02-17 来自:开发者社区

Kafka 数据源、Receiver 和 Direct 方式接收数据_3|学习笔记

开发者学堂课程【大数据实时计算框架 Spark 快速入门:Kafka 数据源、Receiver 和 Direct 方式接收数据_3】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/100/detail/1731Kafka 数据源、Receiver 和 Direct 方式接收数据_3不需要 Recei....

问答 2022-02-15 来自:开发者社区

如何激活和配置ElasticSearch+Kafka+Connect接收器?

如何激活和配置ElasticSearch+Kafka+Connect接收器?

问答 2022-02-15 来自:开发者社区

如何激活和配置ElasticSearch Kafka Connect接收器?

我正在尝试使用helm在Kubernetes集群中设置Kafka。我已经使用Confluent头盔图来完成安装Kafka。然后我试着看看如何配置弹性Kafka连接接收器。有一点特别让我感到震惊:confluent load elasticsearch-sink命令。如何在容器启动时重复完成它?此外,要配置弹性,我必须设置属性文件。我是否正确使用ConfigMap?我很困惑,因为我必须改变由hel....

问答 2022-02-15 来自:开发者社区

Apache Flink:如何处理Kafka接收器中的异常?

我有一个Flink工作,将数据写入Kafka。Kafka主题的最大邮件大小设置为5 MB,因此如果我尝试写入任何大于5 MB的记录,它会抛出以下异常并将作业关闭。java.lang.Exception: Failed to send data to Kafka: The request included a message larger than the max message size the....

问答 2022-02-15 来自:开发者社区

试图将Fuple写入Flink Kafka接收器

我正在尝试编写一个流媒体应用程序,它既可以读取也可以写入Kafka。我目前有这个,但我必须把我的元组课程串起来。 object StreamingJob { def main(args: Array[String]) { // set up the streaming execution environment val env = StreamExecutionEnvironment.getE.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注