消息队列 MQ
MQ 产品生态丰富,多个子产品线联合打造金融级高可用消息服务以及对物联网的原生支持,覆盖金融保险、(新)零售、物联网、移动互联网、传媒泛娱乐、教育、物流、能源、交通等行业。

如何监控开源Apache Kafka

本文为您介绍监控开源Apache Kafka的解决方案。如果您需要监控开源Apache Kafka,请参见以下解决方案: How to Monitor Kafka Monitoring Kafka performance metrics
来自: 阿里云 >帮助文档

什么是消息队列Kafka版?

三分钟了解阿里云消息队列Kafka版。
来自: 阿里云 >帮助文档

能否通过公网访问消息队列Kafka版实例?

网络类型为公网/VPC的消息队列Kafka版实例支持通过公网访问。消息队列Kafka版 提供VPC和公网/VPC两种网络类型的实例。如需通过公网访问,请在购买时选择网络类型为公网/VPC的消息队列Kafka版实例。注意 实例的网络...
来自: 阿里云 >帮助文档

如何快速使用消息队列Kafka版的Java SDK收发消息

六分钟上手消息队列Kafka版。文档教程 快速入门
来自: 阿里云 >帮助文档

能否通过代理访问消息队列Kafka版实例?

客户端访问消息队列Kafka版服务端的过程如下: 客户端通过bootstrap.servers随机访问消息队列Kafka版服务端获取Metadata。客户端通过Metadata里的IP收发消息。配置代理,可以走通第一步,但走到第二步时,仍然是通过...
来自: 阿里云 >帮助文档

为什么不能登录部署消息队列Kafka版的机器?

消息队列Kafka版提供全托管免运维服务,您无需登录机器。消息队列Kafka版是全托管的,由消息队列Kafka版 专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。
来自: 阿里云 >帮助文档

使用消息队列Kafka版时客户端的报错及解决方案

概述 在使用消息队列Kafka版时,客户端可能报错,您可以根据报错消息匹配对应的解决方案。详细信息 报错信息对应的详细信息如下。报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端...
来自: 阿里云 >帮助文档

消息队列Kafka版何时删除旧消息?

消息队列Kafka版 对磁盘水位进行了动态控制,避免因磁盘不够而导致机器宕机,影响服务可用性。一般情况下,为了您业务的健康性(充足的消息回溯),建议磁盘的日常水位不要超过70%。如需扩容磁盘,请参见 升级实例...
来自: 阿里云 >帮助文档

使用消息队列Kafka版时消费客户端频繁出现Rebalance

问题现象 使用消息队列Kafka版时,消费客户端(Consumer)频繁出现Rebalance。问题原因 可能导致故障的部分原因如下: 开源版本为v0.10的消息队列Kafka版有一定的概率会触发频繁Rebalance。消息队列Kafka版 的...
来自: 阿里云 >帮助文档

消息队列Kafka版的接入点为何Ping不通?

消息队列Kafka版遵循安全最小原则,默认禁止Ping。消息队列Kafka版支持Telnet,但需满足以下条件: 执行Telnet的机器在白名单范围内。如果Telnet VPC接入点,请保证客户端机器在同一VPC内。如果Telnet公网接入点,请...
来自: 阿里云 >帮助文档

非同一可用区的ECS能否访问消息队列Kafka版实例?

通过VPC内虚拟网络的配置让不同可用区网络可达,就可以访问消息队列Kafka版实例 前提条件 VPC访问消息队列Kafka版实例,首先要满足以下两个条件: 执行访问的机器必须在白名单范围内。执行访问的机器必须与消息队列...
来自: 阿里云 >帮助文档

如何快速测试消息队列Kafka版服务端是否正常?

在创建并部署消息队列Kafka版实例后,您可以使用消息队列Kafka版控制台直接发送消息,快速测试服务端是否正常。前提条件 您已创建并部署消息队列Kafka版 实例,且实例处于服务中状态。操作流程 快速测试消息队列...
来自: 阿里云 >帮助文档

使用消息队列Kafka版时出现消息堆积

问题描述 使用消息队列Kafka版时出现消息堆积。问题原因 消息队列Kafka版 的消息是客户端主动去服务端拉取的,因为是批量拉取机制,服务端一般不会是消费的瓶颈。消息堆积大多是消费速度过慢或者消费线程阻塞造成的...
来自: 阿里云 >帮助文档

如何通过代理访问消息队列Kafka版实例

概述 暂不支持通过代理访问消息队列Kafka实例,具体请查看详细信息。详细信息 消息队列Kafka版的客户端访问服务端的原理如下。通过bootstrap.servers随机访问服务器获取Metadata。通过Metadata里的IP地址进行后续的...
来自: 阿里云 >帮助文档

无法ping通消息队列Kafka版的接入点

问题描述 无法ping通消息队列Kafka版的接入点。问题原因 为了保证安全,消息队列Kafka版集群默认禁ping。解决方案 您可以通过 telnet命令测试网络连通性。但需要注意以下几点要求。执行telnet命令的客户端在白名单...
来自: 阿里云 >帮助文档

使用消息队列Kafka版时出现“Not authorized to ...

问题描述 使用消息队列Kafka版时出现“Not authorized to access group”的错误信息。问题原因 没有创建Consumer Group时会遇到此报错信息。解决方案 您可以选择如下任意一种方式...调用管控API创建Consumer Group。...
来自: 阿里云 >帮助文档

不在同一可用区内的ECS实例如何访问消息队列Kafka版...

概述 本文主要介绍不在同一可用区内的ECS实例如何访问消息队列Kafka版实例。详细信息 以非公网的方式访问消息队列Kafka版 实例时,必须满足以下两个条件。ECS实例与消息队列Kafka版实例在同一VPC网络实例内。注:...
来自: 阿里云 >帮助文档

客户端首次接入消息队列Kafka版时出现异常的排查方法

概述 本文主要介绍客户端首次接入消息队列Kafka版时,出现异常的排查方法。详细信息 客户端首次接入消息队列Kafka版时如果出现异常,您可以通过如下三个方面进行排查。网络连通问题:通常有如下几种可能性导致网络...
来自: 阿里云 >帮助文档

消息队列Kafka版控制台的报警项中状态列显示“数据...

问题描述 在消息队列Kafka版控制台的报警项中,状态列显示“数据不足”。问题原因 虽然配置了报警规则,但您的消息队列Kafka版 实例版本低,不支持报警数据上报。解决方案 参考如下文档,升级您的消息队列Kafka实例...
来自: 阿里云 >帮助文档

消息队列Kafka版各分区(Partition)的消费时间不一致

问题描述 消息队列Kafka版各分区(Partition)的消费时间不一致,具体表现如下。各分区的消费时间相差较大。某些分区的消费时间滞后明显。某些分区的消费时间发生乱序的现象。问题原因 目前,在消息队列Kafka版控制...
来自: 阿里云 >帮助文档

消息队列Kafka版的消费端从服务端拉取不到消息或者...

登录消息队列Kafka版的控制台,单击 监控报警,查看监控信息。关于如何查看或者设置实例的监控报警信息,请参阅监控报警。检查 实例消息消费流量 是否已经达到实例的带宽峰值。如果已经达到带宽峰值,您需要升级实例...
来自: 阿里云 >帮助文档

生产者会建立多少个到Broker的连接?

每个生产者通常会建立2个到Broker的TCP连接。每个生产者通常会建立2个到Broker的TCP连接,一个TCP连接用于更新元数据,一个TCP连接用于发送消息。...Connections managed by kafka-clients scala library。
来自: 阿里云 >帮助文档

为什么不支持Consumer Group自动创建?

消息队列Kafka版因而不开放自动创建,但支持通过控制台、API、自动化编排工具创建Consumer Group。控制台:步骤二:创建Consumer Group API:CreateConsumerGroup Terraform:alicloud_alikafka_consumer_group
来自: 阿里云 >帮助文档

为什么不支持Topic自动创建?

消息队列Kafka版的Topic还涉及一系列鉴权问题。消息队列Kafka版 因而不开放自动创建,但支持通过控制台、API、自动化编排工具创建Topic。控制台:创建Topic API:CreateTopic Terraform:alicloud_alikafka_topic
来自: 阿里云 >帮助文档

No KafkaClient Entry

未找到kafka_client_jaas.conf配置文件。问题现象 报错客户端 Java 可能原因 未找到kafka_client_jaas.conf 配置文件。解决方案 准备好kafka_client_jaas.conf,然后放在任意目录下。假设放在/home/admin。设置Java...
来自: 阿里云 >帮助文档

是否支持延迟消息?

目前,原生的Apache Kafka不支持延迟消息。但是基于消息队列Kafka版可以比较容易实现延迟消息,只要消费一条消息,等待一定时间后,再投递这条消息即可。
来自: 阿里云 >帮助文档

为什么需要升级实例来支持监控告警功能?

2018年11月以前部署的消息队列Kafka版集群不支持上报监控告警数据,需要升级来支持监控告警功能。在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的消息队列Kafka版集群不支持上报监控告警数据,...
来自: 阿里云 >帮助文档

为什么额外增加Topic要收费?

消息队列Kafka版优化了额外增加Topic所带来的性能下降问题。自建开源Apache Kafka集群分区数大于1000之后,集群性能开始急剧下降。按照最常见的1个Topic对应24个分区的情况,单个集群对应不到50个Topic就开始遭遇...
来自: 阿里云 >帮助文档

控制台看到的最近消费时间是什么意思?

消息发布到消息队列Kafka版服务器的存储时间。控制台看到的最近消费时间是指消息发布到消息队列Kafka版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。
来自: 阿里云 >帮助文档

实例支持哪些开源版本?

本文介绍消息队列Kafka版实例支持哪些开源版本。消息队列Kafka版标准版实例:仅支持0.10.x,默认部署0.10.x,如需更高版本请先将实例升级为专业版,然后升级实例版本,详情请参见升级实例配置和 升级实例服务版本。...
来自: 阿里云 >帮助文档

是否支持Compact的日志清理策略?

开源版本为2.2.0或以上的消息队列Kafka版实例支持Compact的日志清理策略。开源版本为2.2.0或以上的消息队列Kafka版 实例支持Compact的日志清理策略。如需升级实例的开源版本以支持Compact的日志清理策略,请参见升级...
来自: 阿里云 >帮助文档

为什么Topic不能减分区?

Topic减分区会造成数据丢失。这是Apache Kafka自身设计所限制的。
来自: 阿里云 >帮助文档

Topic的存储有哪些类型?

云存储和Local存储。消息队列Kafka版实例支持云存储和Local存储。详情请参见Topic存储最佳实践。
来自: 阿里云 >帮助文档

如何获取部署实例时需要的VPC信息?

可用区 说明 请根据该页面的可用区(A~G)在消息队列Kafka版控制台中选择对应的可用区(A~G)。例如,某VPC交换机(VSwitch)显示在 可用区B,那么在消息队列Kafka版控制台中就相应地选择可用区B。
来自: 阿里云 >帮助文档

如何进行发送消息的测试?

您可以直接在消息队列Kafka版控制台进行发送消息的测试。您可以在控制台的 Topic管理页面,单击目标Topic右侧的发送消息 进行消息发送测试,以验证集群是否运转正常。
来自: 阿里云 >帮助文档

为什么限制Topic总数(分区总数)?

Topic总数(分区总数)太多会使集群性能和稳定性能急剧下降。消息队列Kafka版 的存储和协调机制是以分区为粒度的,分区数太多,会导致存储碎片化严重,集群性能和稳定性都会急剧下降。
来自: 阿里云 >帮助文档

报警项状态显示数据不足怎么办?

消息队列Kafka版实例不支持报警数据上报。解决方案 登录消息队列Kafka版控制台。在顶部菜单栏,选择目标实例所在地域。在左侧导航栏,单击实例详情。在实例详情页面上方,单击目标实例。在基本信息区域的内部版本...
来自: 阿里云 >帮助文档

TimeoutException(Java)或run out of brokers(Go)或...

假设网络运行正常,消息队列Kafka版在建立连接时,会对客户端进行鉴权。鉴权方式(sasl_mechanism): PLAIN:所有语言可用,需要配置AccessKeyId、AccessKeySecret的后10位。注意 您可以通过参见消息队列Kafka版...
来自: 阿里云 >帮助文档

为什么购买了按量付费实例后不使用也要收费?

按量付费模式与购买后是否实际使用无关。您在购买消息队列Kafka版按量付费实例后,系统会为您分配相应的实例资源。因此,按量付费模式是以实例单价× 服务时间计费的,与您购买后是否使用该实例无关。
来自: 阿里云 >帮助文档

客户端首次接入如何排查问题?

您可以从网络连通、客户端版本、配置这三个方向进行排查...您的客户端首次接入消息队列Kafka版,通常会被以下三个问题困扰: 网络连通 客户端版本 配置 您可以从上述三个方向,一步一步排查,基本上可以解决99%的问题。
来自: 阿里云 >帮助文档

消息堆积了怎么办?

消息队列Kafka版 的消息是客户端主动去服务端拉取的,一般来说,因为是批量拉取机制,服务端拉取都不会是消费的瓶颈。消息堆积一般是消费速度过慢或者消费线程阻塞造成的。建议打印消费消息的耗时,或者查看堆栈信息...
来自: 阿里云 >帮助文档

如何选择实例规格?

消息队列Kafka版提供两种实例规格:标准版和专业版。您可以根据自建迁移情况选择实例规格。标准版 流量峰值:集群流量的总量÷3(优化) 磁盘大小:流量均值×存储时长×3(备份) Topic数量:根据实际业务需求 说明...
来自: 阿里云 >帮助文档

array index out of bound exception

Spring Cloud解析消息内容...如果您使用其他方式发送,例如,调用Kafka原生的Java客户端发送,那么用Spring Cloud消费时,则需要设置headerMode 为”raw“,即禁用解析消息内容。具体信息,请参见Spring Cloud官网。
来自: 阿里云 >帮助文档

Leader is not available或leader is in election

Topic初始化或未创建Topic。...登录消息队列Kafka版控制台。在顶部导航栏,选择地域。在左侧导航栏,单击Topic管理。在Topic管理页面,单击创建Topic。在创建Topic对话框,设置Topic属性,然后单击创建。
来自: 阿里云 >帮助文档

升级Broker可能产生哪些影响?

升级过程中,会逐个重启消息队列Kafka版 集群中所有的Broker。在重启Broker的过程中服务不会中断,但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序(设置为顺序消息的,则不会乱序,而是短暂的...
来自: 阿里云 >帮助文档

Error sending fetch request或DisconnectException

网络问题或拉取消息超时。问题现象 报错客户端 Java 可能原因 Consumer拉取消息失败报错。...消息队列Kafka版控制台的实例详情页面的基本信息区域查看服务端流量限制。VPC访问:查看峰值流量。公网访问:查看公网流量。
来自: 阿里云 >帮助文档

删除了Consumer Group还会收到堆积告警?

等待位点过期 消息队列Kafka版的消费位点保存在一个内部Topic里面,无法直接删除。位点在超过消息保留期限后仍然没有任何更新,就会被过期清理。注意 较早购买的用户,没有开启这个清理机制,请先在实例详情页,升级...
来自: 阿里云 >帮助文档

Topic删除后不能减少分区?

确保实例的内部版本为最新版 在消息队列Kafka版控制台,进入实例详情页面,在基本信息区域的内部版本的右侧,查看服务版本: 如果显示为最新版本,则无需处理。如果显示为服务版本升级,请单击服务版本升级,完成...
来自: 阿里云 >帮助文档

Not authorized to access group?

您还没有创建Consumer Group,需要创建Consumer Group。问题现象 报错客户端 所有类型 可能原因 如果您的Consumer Group没有创建,则会遇此报错信息。解决方案 创建Consumer Group。...管控API:CreateConsumerGroup
来自: 阿里云 >帮助文档
< 1 2 >
共有2页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

2020阿里巴巴研发效能峰会 代理记账服务 视频封面生成 视频内容分析 视频内容检索 视频集锦 云效成长地图 阿里云商标注册服务 阿里云智能多端小程序 阿里云618活动入口
消息队列 MQ
MQ 产品生态丰富,多个子产品线联合打造金融级高可用消息服务以及对物联网的原生支持,覆盖金融保险、(新)零售、物联网、移动互联网、传媒泛娱乐、教育、物流、能源、交通等行业。