阿里云文档 2025-09-10

如何创建SLS Sink Connector

本文介绍如何创建使用SLS Sink Connector,您可通过SLS Sink Connector将数据从云消息队列 Kafka 版实例的数据源Topic导出至日志服务SLS。

问答 2023-05-14 来自:开发者社区

Flink CDC如果不用kafka呢,直接用logstash做log文件的读取可以吗?

Flink CDC如果不用kafka呢,直接用logstash做log文件的读取可以吗?主要是kafka这块对接过程我不了解,应该配置什么,主要是log4j加了配置后起不来flink?

问答 2023-05-08 来自:开发者社区

kafka没数据,canal.log报错

environment canal 1.1.3 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=96m; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m....

问答 2023-05-08 来自:开发者社区

1.1.3 投递到kafka 不会自动创建topic。canal.log 错误如下

环境信息 canal version 1.1.3 mysql version 5.7 问题描述 2019-02-19 17:19:43.065 [pool-4-thread-1] ERROR com.alibaba.otter.canal.server.CanalMQStarter - batchId:462 is not the firstly:2 com.alibaba.otter.cana....

问答 2023-05-03 来自:开发者社区

使用原生的mq发到kafka,binlog日志的数据为什么没有偏移量信息。。写代码的时候可以拿到偏移

如题,之前写过代码试过拿binlog日志,可以拿到该条binlog日志的偏移量。但是使用原生的mq发送到kafka里时候,只有数据操作的一些信息,没有这条信息在binlog的偏移量。 原提问者GitHub用户everior

问答 2023-02-13 来自:开发者社区

docker-compose部署的kafka3.3.1,也没有报错log,但是服务起不来,为什么?

docker-compose部署的kafka3.3.1,也没有报错log,但是服务起不来,有大佬知道什么原因嘛?

文章 2023-01-16 来自:开发者社区

【Kafka主题/分区/日志/消费顺序】

Kafka主题/分区/日志主题/分区/日志的概念Topic是一个类别的名称,同类消息发送到同一个Topic下面。对于每一个Topic,下面可以有多个分区(Partition)日志文件。Topic是一个逻辑概念,真正落实的数据都在分区上面,一般每个主题至少有一个分区。这样可以通过多个分区,放在在不同的服务器上面去,达到分布式存储的功能,海量数据通过分区存储,切片存储解决单台机器无法存储海量数据的问....

【Kafka主题/分区/日志/消费顺序】
文章 2023-01-12 来自:开发者社区

【Kafka实战指南】Kafka安装及日志存储结构

kafka安装Kafka的安装tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/ 复制代码查看配置文件[root@es1 config]# pwd /usr/local/kafka/config [root@es1 config]# ll total 84 -rw-r--r--. 1 root root 906 Feb 8 2019 ...

【Kafka实战指南】Kafka安装及日志存储结构
文章 2023-01-01 来自:开发者社区

Kafka详解日志结构

基础概念Kafka 作为大数据技术生态的重要组件,尤其是实时流数据处理场景下,作为分布式生产/消费系统,得到广泛的重用。而 Kafka 在数据生产和消费上,日志是主要的场景。今天的大数据开发学习分享,我们就来讲讲 kafka 日志结构的基础。Kafka 消息是以主题为单位,主题之间相互独立。每个主题又由一个或多个分区构成,分区数可以在创建主题时指定,也可以在主题创建后再修改,但只能增加一个主题的....

Kafka详解日志结构
阿里云文档 2022-12-08

导入Kafka数据到日志服务涉及哪些使用限制

本文介绍导入Kafka数据到日志服务所涉及的使用限制。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注