如何创建SLS Sink Connector
本文介绍如何创建使用SLS Sink Connector，您可通过SLS Sink Connector将数据从云消息队列 Kafka 版实例的数据源Topic导出至日志服务SLS。
使用日志管理查询和分析消息操作日志
您可以使用云消息队列 Confluent 版的日志管理功能将云消息队列 Confluent 版实例的消息操作日志推送到日志服务。您可通过开通该服务，查询客户端的所有请求日志。
设置日志收集至Kafka
Serverless 应用引擎 SAE（Serverless App Engine）支持将应用实例的标准输出（stdout），以及将应用实例指定路径的日志采集到云消息队列 Kafka 版中。在此基础上，您可以结合自身的业务场景，将Kafka的数据投递到例如Elasticsearch等其他持久化库中，便于集中管理和分析日志。本文介绍在SAE控制台设置日志收集到Kafka的使用场景、操作步骤与采集格式...
创建SLS Source Connector将数据从SLS导出至Kafka
本文介绍如何通过创建SLS Source Connector，通过事件总线EventBridge将数据从日志服务SLS导出至云消息队列 Kafka 版实例的Topic。
Kafka源码解析之日志段类LogSegment（下）
recover（恢复日志段）什么是恢复日志段？Broker 在启动时会从磁盘上加载所有日志段信息到内存中，并创建相应的 LogSegment 对象实例。是Broker重启后恢复日志段的操作逻辑。执行流程step1step2step3注意该操作在执行过程中要读取日志段文件。因此，若你的环境有很多日志段文件，你又发现Broker重启很慢，那你现在就知道了，这是因为Kafka在执行recover的过程....
Kafka源码解析之日志段类LogSegment（中）
2.2 日志段类解析类综述LogSegment 类定义核心 API读写日志是Kafka最常用的操作，而日志读取底层调用的就是日志段的这两个方法。append（写消息）重点关注一下写操作过程中更新索引的时机是如何设定的。执行流程step1先判断该日志段是否为空，若为空，则Kafka需记录要写入消息集的最大时间戳，并将其作为后面新增日志段倒计时的依据。step2step3step4每个日志段都要保存....
Kafka源码解析之日志段类LogSegment（上）
1 Kafka日志结构概览Kafka日志在磁盘上的组织架构如上图可见，Kafka日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括不止如下：消息日志文件（.log）位移索引文件（.index）时间戳索引文件（.timeindex）已中止（Aborted）事务的索引文件（.txnindex）若没有使用Kafka事务，已中止事务的索引文件不会被创建。图中的一串数字0是该日志段....
filebeat-kafka-logstash-elasticsearch日志收集[中文时区问题、自己创建type类index]
logstash配置文件如下： 点击(此处)折叠或打开 input{ kafka{ bootstrap_servers => "xxxx:9092,xxxx:9092,dw72.xxxx.:9092,...." &...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
