问答 2023-10-16 来自:开发者社区

Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了

Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了三千个,运行的yarn-container有20万+。导致存储日志的kafka集群连接数过多,kafka集群压力有点大,请教各位大佬flink日志采集这块还有什么好的方式吗

文章 2023-10-16 来自:开发者社区

Flink集群使用kafka_appender收集flink产生的日志,但是现在实时运行的任务超过了

Flink日志采集有多种方式,具体选择哪种方式需要根据实际情况来定。以下是一些常见的方法: 使用KafkaAppender:使用KafkaAppender可以将Flink的日志收集到Kafka中,方便后续的存储和分析。但是,当Flink的任务数量较多时,可能会导致Kafka集群的压力增大,需要采取一...

问答 2023-09-05 来自:开发者社区

Flink1.17.1 sink kafka, 总是输出 disconnected 的日志,正常吗?

Flink1.17.1 sink kafka, 总是输出 disconnected 的日志, 正常吗? INFO org.apache.kafka.clients.NetworkClient [] - [Producer clientId=producer-4] Node 107928 disconnected.

问答 2023-08-29 来自:开发者社区

Flink消费kafka过一段时间后,不提交offset,日志只有这个为什么?

Flink 1.15.2 开启checkpoint 消费kafka ,过一段时间后,不提交offset,日志只有warn:Commit offsets failed with retriable exception. You should retry committing offsetskafka ,大家有遇到嘛? kafka一直有数据。

问答 2023-08-20 来自:开发者社区

EventBridge阿里云日志服务一定程度上能覆盖kafka的功能吗?kafka需要预置实例,日志

EventBridge阿里云日志服务一定程度上能覆盖kafka的功能吗?kafka需要预置实例,日志服务可以按使用量收费

文章 2023-07-19 来自:开发者社区

ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统

ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统总体架构说明环境说明hosthostname运行软件192.168.179.123node-5kafka、zookeeper、es、logstash、filebeat192.168.179.124node-4kafka、zookeeper、es、kibana、filebeat192.168.179.125node-3kafka、zoo....

ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
问答 2023-06-11 来自:开发者社区

binlog到kafka,进行压测,有部分数据延迟在一秒以上,这是获取日志慢,还是发送kafka慢?

binlog到kafka,进行压测,有部分数据延迟在一秒以上,这是获取日志慢,还是发送kafka慢?

文章 2023-06-08 来自:开发者社区

filebeat+kafka+logstash+elasticsearch+kibana实现日志收集解决方案

一,环境服务器环境: 192.168.2.1:elasticsearch192.168.2.2:filebeat+nginx192.168.2.3:kafka192.168.2.4:logstash 二,服务的安装elasticseatch+filebeat+kafka+logsstash(6.60)清华源下载: https://mirrors.tuna.tsinghua.ed...

filebeat+kafka+logstash+elasticsearch+kibana实现日志收集解决方案
文章 2023-05-26 来自:开发者社区

kubernetes-kafka-kibana日志无输出

记一次测试环境kibana无日志背景:kubernetes集群,kibana集群没有数据访问链路:filebeat-kafka-logstash-elasticsearch-kibana场景:测试环境kafka只设置了单点。即broker只有一个排查思路:#登录kibana,查看ealsticsearch节点是否red或者在master执行 curl 127.0.0.1:port/_cat/he....

阿里云文档 2023-05-25

创建SLS Source Connector将数据从SLS导出至Kafka

本文介绍如何通过创建SLS Source Connector,通过事件总线EventBridge将数据从日志服务SLS导出至云消息队列 Kafka 版实例的Topic。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注