消息队列Kafka

消息队列Kafka版(MQ for Apache Kafka)秉持开放的原则拥抱开源,全面融合Kafka开源生态,做到无缝迁移,打造更安全、更可靠、更易运维的Kafka企业级消息服务。

使用消息队列Kafka版时出现消息堆积

概述 使用消息队列Kafka版时,可能会发现Group中出现消息堆积。该情况是否属于正常情况,以及如何处理,请参见以下内容。详细信息 客户端消费流程 了解客户端消费流程,有助于理解消息是否堆积。一般情况下,客户端消费流程大致如下:步骤1...

开源对比

本文从稳定性、内核能力、治理能力以及使用习惯等方面,对比阿里云消息队列Kafka版与开源Apache Kafka。稳定性 项目 消息队列Kafka版 Apache Kafka 磁盘水位 磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离 读冷数据仍可以保证写入基本...

名词解释

更多信息,请参见什么是消息队列Kafka版?ZooKeeper 一款开源的分布式应用程序协调服务。在消息队列Kafka版中,ZooKeeper主要用于集群管理、配置管理、Leader选举。ZooKeeper是消息队列Kafka版的一部分,您无需感知ZooKeeper。Broker 一个...

常见问题

消费者(订阅者)的最佳实践 客户端首次接入消息队列Kafka版时出现异常的排查方法 使用消息队列Kafka版时出现消息堆积 使用消息队列Kafka版时消费客户端频繁出现Rebalance 消费端从服务端拉取不到消息或者拉取消息缓慢 为什么不推荐使用...

迁移概述

本文介绍将自建Kafka集群迁移到消息队列Kafka版实例的优势、原理和流程。迁移优势 将自建Kafka集群迁移到消息队列Kafka版实例的优势,请参见产品优势。迁移原理 对于消息队列来说,如果要实现集群迁移,只需消费完旧集群的消息即可。由于...

产品优势

高吞吐能力:在海量消息堆积的情况下,始终能保持消息队列Kafka版集群的高吞吐能力。数万级Topic:支持数万级Topic高并发读写,始终保持消息队列Kafka版集群的高吞吐能力。数据安全 消息队列Kafka版提供鉴权与授权机制、主子账号等功能,...

产品架构

本文介绍消息队列Kafka版的系统架构和发布/订阅模型。消息队列Kafka版系统架构 如图 1所示,一个消息队列Kafka版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.消息队列Kafka版的系统架构 Producer 通过push模式向消息队列Kafka...

在线迁移至消息队列Kafka

本文介绍如何选择并使用通用迁移和数据迁移两种方案将自建Kafka集群迁移至消息队列Kafka版。场景描述 本文介绍了如何选择并使用通用迁移和数据迁移两种方案将阿里云自建Kafka集群迁移到消息队列Kafka版。同时本文可以作为线下IDC自建Kafka...

删除Group后仍然收到消息堆积的告警信息

问题现象 使用0.10.2服务端版本的消息队列Kafka版时,删除Group后仍然收到消息堆积的告警信息。可能原因 2.0以前的Kafka服务端版本,开源Kafka未提供删除Group和消费位点的OpenAPI,因此删除Group,只是从控制台逻辑删除,并不会实际删除...

什么是消息队列Kafka版?

Kafka消息队列Kafka版成本更低、弹性更强、可靠性更高。应用生态 消息队列Kafka版具有丰富的应用生态,主要包括以下方面: 大数据领域:网站行为分析、日志聚合、应用监控、流式数据处理、在线和离线数据分析等领域。数据集成:将消息...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入消息队列Kafka版并收发消息。背景信息 Spring Cloud是用于构建消息驱动的微服务应用程序的框架。详细信息,请参见Spring Cloud Stream。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载...

消息堆积了怎么办?

消息堆积一般是消费速度过慢或者消费线程阻塞造成的,建议查看堆栈信息进行排查。消息队列Kafka版的消息是客户端主动去服务端拉取的,一般来说,因为是批量拉取机制,服务端拉取都不会是消费的瓶颈。消息堆积一般是消费速度过慢或者消费...

生态对接概述

容器服务Kubernetes版 在Knative上实现Kafka消息推送 阿里云Elasticsearch 接入阿里云Elasticsearch 开源生态 Logstash 接入Logstash Filebeat 接入Filebeat MySQL 使用Kafka Connect同步MySQL SQL Server 使用Kafka Connect同步SQL Server

在Knative上实现Kafka消息推送

Knative已支持Kafka事件源,您可将Knative与消息队列Kafka版对接,在Knative上实现Kafka消息推送。前提条件 一键部署Knative 购买并部署消息队列Kafka版实例 注意 消息队列Kafka版实例和Knative必须处于同一VPC内。消息队列Kafka版实例的...

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到消息队列Kafka版集群。前提条件 您已完成以下操作: 下载迁移工具MirrorMaker 迁移Topic上云 背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

应急预案:专有云V3环境中Kafka磁盘满导致消息写入...

问题描述 在专有云V3环境中,Kafka消息保留时间过长,导致Pod节点磁盘水位高,进而导致消息写入失败。3.解决方案 3.1.环境检查 在Master节点执行以下命令,确认Kafka相关的Pod都是Running状态。kubectl get pods|grep alibaba-kafka 系统...

什么Group不存在但能消费消息

问题现象 我在消息队列Kafka版控制台上,未查看到对应的Group,但此Group下却有消费线程在消费消息。可能原因 ...如果收到关于不存在的Group的消息堆积告警,详细的处理方法,请参见删除Group后仍然能收到消息堆积的告警信息。

不在同一可用区内的ECS实例如何访问消息队列Kafka版...

概述 不在同一可用区内的ECS实例可通过非公网的方式访问消息队列Kafka版实例,详情请查看以下内容。详细信息 以非公网的方式访问消息队列Kafka版实例时,必须满足以下两个条件:ECS实例与消息队列Kafka版实例在同一VPC网络实例内。说明:...

使用Canal将MySQL的数据同步至消息队列Kafka

kafka.acks 消息队列Kafka版接收到数据之后给客户端发出的确认信号。取值说明如下:0:表示客户端不需要等待任何确认收到的信息。1:表示等待Leader成功写入而不等待所有备份是否成功写入。all:表示等待Leader成功写入并且所有备份都...

调用方式

Endpoint:消息队列Kafka版API的服务接入地址。详情请参见服务接入点。Action:要执行的操作。例如,调用GetInstanceList查询已创建的消息队列Kafka版实例。Version:要使用的API版本。消息队列Kafka版的API版本是2019-09-16。Parameters:...

客户端首次接入消息队列Kafka版时出现异常的排查方法

概述 本文主要介绍客户端首次接入消息队列Kafka版时,出现异常的排查方法。详细信息 客户端首次接入消息队列Kafka版时如果出现异常,您可以通过下列三个方面进行排查: 网络连通问题:通常有如下几种可能性导致网络不通,客户端无法连接...

默认接入点收发消息

本文介绍如何在VPC环境下使用Python SDK接入消息队列Kafka版的默认接入点并收发消息。前提条件 安装Python 说明 Python版本为2.7、3.4、3.5、3.6或3.7。安装pip 安装Python依赖库 执行以下命令安装Python依赖库。pip install kafka-python ...

Connector概述

消息队列Kafka版提供全托管、免运维的Connector,用于消息队列Kafka版和其他阿里云服务之间的数据同步。本文介绍Connector支持的数据同步任务的类型、使用流程、使用限制以及跨地域数据同步。注意 消息队列Kafka版的Connector组件处于公测...

使用Kafka Connect将SQL Server数据同步至消息队列...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至消息队列Kafka版。前提条件 在开始本教程前,请确保您已完成以下操作:已下载SQL Server Source Connector。具体信息,请参见SQL Server Source Connector。已...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到消息队列Kafka版的进度。前提条件 您已完成以下操作:购买并部署消息队列Kafka版实例。开始自建Kafka集群迁移上云。迁移类型包括:元数据迁移 迁移Topic上云 迁移Group上云 数据迁移 迁移数据上云 位点...

消息队列Kafka版控制台的报警项中状态列显示“数据...

问题描述 在消息队列Kafka版控制台的报警项中,状态列显示“数据不足”。问题原因 虽然配置了报警规则,但您的消息队列Kafka版实例版本低,不支持报警数据上报。解决方案 请升级消息队列Kafka版实例的版本至最新版本,详情请参见升级实例...

SASL用户授权

借助消息队列Kafka版的ACL,您可以按需为SASL用户赋予向消息队列Kafka版收发消息的权限,从而实现权限分割。前提条件 您的消息队列Kafka版实例必须满足以下条件:实例规格类型为专业版。实例运行状态为服务中。大版本为2.2.0版本及以上。...

消息队列Kafka版服务等级协议

消息队列Kafka版规定了阿里云向客户提供的阿里云消息队列Kafka版的服务可用性等级指标及赔偿方案。如需查看消息队列Kafka版的服务可用性等级指标及赔偿方案,请参见消息队列Kafka版服务等级协议。icmsDocProps={'productMethod':'created',...

迁移Group上云

本文介绍如何使用消息队列Kafka版提供的迁移工具将自建Kafka集群的Group迁移到消息队列Kafka版实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 注意 迁移不会删除源Kafka的Group,只是在目标消息队列Kafka版实例创建相同...

云监控资源报表接口说明

您可使用云监控资源报表接口查询消息队列Kafka版的实例、Group、Topic等资源的使用情况。API 概览 云监控提供以下云监控资源报表接口。API 描述 DescribeProjectMeta 调用DescribeProjectMeta接口获取接入的云产品信息,包括产品的描述信息...

使用Kafka Connect将MySQL数据同步至消息队列Kafka

本教程介绍如何使用Kafka Connect的Source Connector将MySQL的数据同步至消息队列Kafka版。背景信息 Kafka Connect主要用于将数据流输入和输出消息队列Kafka版。Kafka Connect主要通过各种Source Connector的实现,将数据从第三方系统输入...

默认接入点收发消息

本文介绍如何在VPC环境下使用Ruby SDK通过默认接入点接入消息队列Kafka版并收发消息。前提条件 您已安装Ruby。更多信息,请参见安装Ruby。安装Ruby依赖库 执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 发送消息 创建发送...

SSL接入点PLAIN机制收发消息

本文介绍如何在公网环境下使用Ruby SDK通过SSL接入点接入消息队列Kafka版并使用PLAIN机制收发消息。前提条件 您已安装Ruby。更多信息,请参见安装Ruby。安装Ruby依赖库 执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备...

SSL接入点PLAIN机制收发消息

本文介绍在公网环境下如何使用Python SDK通过SSL接入点接入消息队列Kafka版并使用PLAIN机制收发消息。前提条件 安装Python 说明 Python版本为2.7、3.4、3.5、3.6或3.7。安装pip 安装Python依赖库 执行以下命令安装Python依赖库。pip ...

消息队列Kafka版实例删除Group后仍然可以接收到消息

问题描述 使用消息队列Kafka版实例时,删除Group后仍然可以接收到消息。问题原因 历史版本的消息队列Kafka版实例在删除Group时,不会彻底清除路由信息,导致被删除的Group依然可以收到消息。解决方案 阿里云提醒您: 如果您对实例或数据有...

评估规格

本文说明如何使用消息队列Kafka版的规格评估功能为迁移上云的自建Kafka集群选择合适的实例规格。前提条件 注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。评估规格 说明 消息队列Kafka版的规格评估功能遵循最小原则,即在满足...

从自建MySQL同步至消息队列Kafka

如果需要更换同步的目标Topic(更换后的Topic需是消息队列Kafka版实例中真实存在的),您可以将鼠标指针放置在要进行名称映射的表上,并单击出现的编辑进行调整。上述配置完成后,单击页面右下角的下一步。配置同步初始化的高级配置信息。...

步骤三:创建资源

在使用消息队列Kafka版进行消息收发之前,您需要先在消息队列Kafka版控制台上创建资源,否则将无法通过鉴权认证及使用相关的管控运维功能。这里的资源概念是指Topic和Group。前提条件 您已根据网络环境购买并部署消息队列Kafka版服务:VPC...

开启Connector

本文说明如何为消息队列Kafka版实例开启Connector。前提条件 您已购买并部署消息队列Kafka版实例,且该实例必须满足以下条件:项目 说明 状态 服务中 版本 消息队列Kafka版实例的版本必须满足以下任意一种要求:大版本为0.10.2,且小版本为...
< 1 2 3 4 ... 25 >
跳转至: GO
产品推荐
E-MapReduce 云服务器 SSL证书 物联网无线连接服务 商标 短信服务 对象存储
这些文档可能帮助您
什么是消息队列Kafka版? 步骤一:获取访问授权 默认接入点收发消息 默认接入点收发消息 SASL用户授权 步骤三:创建资源

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折