阿里云文档 2026-05-07

设置日志收集至Kafka

Serverless 应用引擎 SAE(Serverless App Engine)支持将应用实例的标准输出(stdout),以及将应用实例指定路径的日志采集到云消息队列 Kafka 版中。在此基础上,您可以结合自身的业务场景,将Kafka的数据投递到例如Elasticsearch等其他持久化库中,便于集中管理和分析日志。本文介绍在SAE控制台设置日志收集到Kafka的使用场景、操作步骤与采集格式...

文章 2024-09-27 来自:开发者社区

消费kafka不需要设置 压缩协议吗 假如生产者压缩协议是lz4

在 Kafka 的生产者设置压缩协议时,消费者不需要显式地设置压缩协议。消费者会自动解压生产者发送的压缩消息。因此,无论生产者使用的是 gzip、snappy、lz4 还是 zstd 压缩,消费者都会正确解压并处理消息。 为了进一步澄清这个问题,这里是一个完整的消费者示例,它能够正确处理任何压缩类型的消息,而无需额外配置压缩协议: ...

问答 2024-07-29 来自:开发者社区

消息队列kafka版如何设置通过程序自动创建group?

消息队列kafka版如何设置通过程序自动创建group?

问答 2024-07-24 来自:开发者社区

flink连Kafka的时候consumer状态有办法设置成stable吗?

flink连Kafka的时候consumer状态有办法设置成stable吗?

文章 2024-07-01 来自:开发者社区

Kafka 新的消费组默认的偏移量设置和消费行为

默认消费行为 当一个新的消费者组第一次订阅一个主题时,它会根据 auto-offset-reset 的配置来决定从哪里开始消费消息。auto-offset-reset 有三个选项: earliest:如果消费者组没有已提交的偏移量(即新的消费者组),则从主题的最早消息开始消费。 latest:如果消费者组没有已提交的偏移量,则从最新的消息开始消费(即从消费者...

问答 2024-06-15 来自:开发者社区

消息队列Kafka版如何单独设置topic消息保留时长

消息队列Kafka版如何单独设置topic消息保留时长

问答 2024-06-10 来自:开发者社区

消息队列Kafka版queue.buffering.max.messages参数如何设置

消息队列Kafka版queue.buffering.max.messages参数如何设置

文章 2024-06-09 来自:开发者社区

DataWorks产品使用合集之如果设置了从Kafka数据源同步到MaxCompute(mc)的任务,任务一直在执行中,是什么原因

问题一:DataWorks这个size我对不上的?能告诉下怎么算的吗? DataWorks这个size我对不上的?能告诉下怎么算的吗? 参考回答: 对于DataWorks的size,它是由DataW...

DataWorks产品使用合集之如果设置了从Kafka数据源同步到MaxCompute(mc)的任务,任务一直在执行中,是什么原因
问答 2024-06-04 来自:开发者社区

消息队列Kafka版创建topic和group后怎么设置group与topic的订阅关系

消息队列Kafka版创建topic和group后怎么设置group与topic的订阅关系

问答 2024-06-03 来自:开发者社区

Kafka是否能设置启动参数

Kafka是否能设置启动参数

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注