在线迁移至消息队列Kafka

本文介绍如何选择并使用通用迁移和数据迁移两种方案将自建Kafka集群迁移至消息队列Kafka版。场景描述 本文介绍了如何选择并使用通用迁移和数据迁移两种方案将阿里云自建Kafka集群迁移到消息队列Kafka版。同时本文可以作为线下IDC自建Kafka...

开源对比

本文从稳定性、内核能力、治理能力以及使用习惯等方面,对比阿里消息队列Kafka版与开源Apache Kafka。稳定性 项目 消息队列Kafka版 Apache Kafka 磁盘水位 磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离 读冷数据仍可以保证写入基本...

消息队列Kafka

消息队列Kafka版(MQ for Apache Kafka)秉持开放的原则拥抱开源,全面融合Kafka开源生态,做到无缝迁移,打造更安全、更可靠、更易运维的Kafka企业级消息服务。

产品优势

开箱即 消息队列Kafka版100%兼容开源,使您无缝迁移上云。兼容开源:消息队列Kafka版100%兼容开源Apache Kafka,您可以直接使用开源Apache Kafka客户端与消息队列Kafka版通讯。消息队列Kafka版目前支持0.10.x~2.2.x的开源版本。无缝迁移...

名词解释

本文说明消息队列Kafka版涉及的专有名词和术语,帮助您更好地理解相关概念并使用该产品。Apache Kafka 一款开源的分布式数据流处理平台,可以实时发布、订阅、存储和处理数据流。更多信息,请参见Apache Kafka消息队列Kafka版 一款由阿里...

消息队列Kafka版服务等级协议

消息队列Kafka版规定了阿里云向客户提供的阿里消息队列Kafka版的服务可用性等级指标及赔偿方案。如需查看消息队列Kafka版的服务可用性等级指标及赔偿方案,请参见消息队列Kafka版服务等级协议。icmsDocProps={'productMethod':'created',...

Connector概述

消息队列Kafka版提供全托管、免运维的Connector,用于消息队列Kafka版和其他阿里云服务之间的数据同步。本文介绍Connector支持的数据同步任务的类型、使用流程、使用限制以及跨地域数据同步。注意 消息队列Kafka版的Connector组件处于公测...

什么是消息队列Kafka版?

消息队列Kafka版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态不可或缺的部分。产品优势 消息队列Kafka版针对开源...

迁移概述

本文介绍将自建Kafka集群迁移到消息队列Kafka版实例的优势、原理和流程。迁移优势 将自建Kafka集群迁移到消息队列Kafka版实例的优势,请参见产品优势。迁移原理 对于消息队列来说,如果要实现集群迁移,只需消费完旧集群的消息即可。由于...

消息队列Kafka版控制台的报警项中状态列显示“数据...

问题描述 在消息队列Kafka版控制台的报警项中,状态列显示“数据不足”。问题原因 虽然配置了报警规则,但您的消息队列Kafka版实例版本低,不支持报警数据上报。解决方案 请升级消息队列Kafka版实例的版本至最新版本,详情请参见升级实例...

产品架构

本文介绍消息队列Kafka版的系统架构和发布/订阅模型。消息队列Kafka版系统架构 如图 1所示,一个消息队列Kafka版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.消息队列Kafka版的系统架构 Producer 通过push模式向消息队列Kafka...

使用Spring Cloud框架收发消息

本文介绍如何使用Spring Cloud框架接入消息队列Kafka版并收发消息。背景信息 Spring Cloud是用于构建消息驱动的微服务应用程序的框架。详细信息,请参见Spring Cloud Stream。前提条件 安装1.8或以上版本JDK。安装2.5或以上版本Maven。下载...

评估规格

本文说明如何使用消息队列Kafka版的规格评估功能为迁移上云的自建Kafka集群选择合适的实例规格。前提条件 注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。评估规格 说明 消息队列Kafka版的规格评估功能遵循最小原则,即在满足...

步骤一:获取访问授权

开通消息队列Kafka版服务需要使用阿里云其他云产品的资源,因此,您需要先授权消息队列Kafka版访问您所拥有的其他阿里云资源。前提条件 注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。背景信息 为了方便您快速开通服务,消息...

消息队列Kafka版实例删除Group后仍然可以接收到消息

问题描述 使用消息队列Kafka版实例时,删除Group后仍然可以接收到消息。问题原因 历史版本的消息队列Kafka版实例在删除Group时,不会彻底清除路由信息,导致被删除的Group依然可以收到消息。解决方案 阿里云提醒您: 如果您对实例或数据有...

不在同一可用区内的ECS实例如何访问消息队列Kafka版...

概述 不在同一可用区内的ECS实例可通过非公网的方式访问消息队列Kafka版实例,详情请查看以下内容。详细信息 以非公网的方式访问消息队列Kafka版实例时,必须满足以下两个条件:ECS实例与消息队列Kafka版实例在同一VPC网络实例内。说明:...

权限控制概述

本文介绍消息队列Kafka版支持的两种权限控制服务类型:RAM和ACL。权限控制服务 说明 文档 RAM RAM是阿里云提供的管理阿里云用户身份与阿里云资源访问权限的服务。RAM只针对消息队列Kafka版控制台和API操作,客户端使用SDK收发消息与RAM无关...

消息队列Kafka版接入阿里云Elasticsearch

当您需要查看并分析庞杂的日志数据时,可通过阿里云Logstash将消息队列Kafka的日志数据导入阿里云Elasticsearch,然后通过Kibana进行可视化展示与分析。本文介绍将消息队列Kafka版接入阿里云Elasticsearch的操作方法。前提条件 在开始...

客户端首次接入消息队列Kafka版时出现异常的排查方法

概述 本文主要介绍客户端首次接入消息队列Kafka版时,出现异常的排查方法。详细信息 客户端首次接入消息队列Kafka版时如果出现异常,您可以通过下列三个方面进行排查: 网络连通问题:通常有如下几种可能性导致网络不通,客户端无法连接...

消息队列Kafka版实例重新创建已经删除过的Topic时...

问题描述 消息队列Kafka版实例,重新创建已经删除过的Topic并且分区数小于上次创建时设置的分区数,系统提示以下信息。创建topic成功,分区数不能小于曾经配置过的分区数,已重置为XX。问题原因 历史版本的消息队列Kafka版实例在删除...

迁移Group上云

本文介绍如何使用消息队列Kafka版提供的迁移工具将自建Kafka集群的Group迁移到消息队列Kafka版实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 注意 迁移不会删除源Kafka的Group,只是在目标消息队列Kafka版实例创建相同...

什么是消息队列Kafka版?

三分钟了解阿里消息队列Kafka版。

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到消息队列Kafka版集群。前提条件 您已完成以下操作: 下载迁移工具MirrorMaker 迁移Topic上云 背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

调用方式

Endpoint:消息队列Kafka版API的服务接入地址。详情请参见服务接入点。Action:要执行的操作。例如,调用GetInstanceList查询已创建的消息队列Kafka版实例。Version:要使用的API版本。消息队列Kafka版的API版本是2019-09-16。Parameters:...

SASL用户授权

借助消息队列Kafka版的ACL,您可以按需为SASL用户赋予向消息队列Kafka版收发消息的权限,从而实现权限分割。前提条件 您的消息队列Kafka版实例必须满足以下条件:实例规格类型为专业版。实例运行状态为服务。大版本为2.2.0版本及以上。...

常见问题

消费者(订阅者)的最佳实践 客户端首次接入消息队列Kafka版时出现异常的排查方法 使用消息队列Kafka版时出现消息堆积 使用消息队列Kafka版时消费客户端频繁出现Rebalance 消费端从服务端拉取不到消息或者拉取消息缓慢 为什么不推荐使用...

在Knative上实现Kafka消息推送

Knative已支持Kafka事件源,您可将Knative与消息队列Kafka版对接,在Knative上实现Kafka消息推送。前提条件 一键部署Knative 购买并部署消息队列Kafka版实例 注意 消息队列Kafka版实例和Knative必须处于同一VPC内。消息队列Kafka版实例的...

云上迁移Group

本文介绍如何使用消息队列Kafka版提供的迁移工具将某个消息队列Kafka版实例的Group迁移到另一个消息队列Kafka版实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 注意 迁移不会删除源消息队列Kafka版实例的Group,只是在...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到消息队列Kafka版的进度。前提条件 您已完成以下操作:购买并部署消息队列Kafka版实例。开始自建Kafka集群迁移上云。迁移类型包括:元数据迁移 迁移Topic上云 迁移Group上云 数据迁移 迁移数据上云 位点...

云监控资源报表接口说明

您可使用云监控资源报表接口查询消息队列Kafka版的实例、Group、Topic等资源的使用情况。API 概览 云监控提供以下云监控资源报表接口。API 描述 DescribeProjectMeta 调用DescribeProjectMeta接口获取接入的云产品信息,包括产品的描述信息...

新功能发布记录

功能描述 功能类型 相关文档 使用Canal将MySQL的数据同步至消息队列Kafka版 支持使用Canal框架将MySQL的数据同步至消息队列Kafka版。新增 使用Canal将MySQL的数据同步至消息队列Kafka版 2021-07-09 功能名称 功能描述 功能类型 相关文档 ...

迁移Topic上云

本文介绍如何使用消息队列Kafka版提供的迁移工具将自建Kafka集群的Topic迁移到消息队列Kafka版实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 注意 迁移不会删除自建的源Kafka集群的Topic,只是在目标消息队列Kafka版...

生态对接概述

本文介绍消息队列Kafka版支持对接的生态。阿里云生态 云数据库HBase版 基于HBase和Spark的数据处理平台 阿里云实时计算Flink 基于Flink的资讯场景实时数仓 大数据计算服务MaxCompute 接入MaxCompute 数据传输服务DTS 使用DTS同步MySQL 容器...

默认接入点收发消息

本文介绍如何在VPC环境下使用Python SDK接入消息队列Kafka版的默认接入点并收发消息。前提条件 安装Python 说明 Python版本为2.7、3.4、3.5、3.6或3.7。安装pip 安装Python依赖库 执行以下命令安装Python依赖库。pip install kafka-python ...

使用Kafka Connect将SQL Server数据同步至消息队列...

本教程介绍如何使用Kafka Connect的Source Connector将SQL Server的数据同步至消息队列Kafka版。前提条件 在开始本教程前,请确保您已完成以下操作:已下载SQL Server Source Connector。具体信息,请参见SQL Server Source Connector。已...

开启Connector

本文说明如何消息队列Kafka版实例开启Connector。前提条件 您已购买并部署消息队列Kafka版实例,且该实例必须满足以下条件:项目 说明 状态 服务 版本 消息队列Kafka版实例的版本必须满足以下任意一种要求:大版本为0.10.2,且小版本为...

使用Canal将MySQL的数据同步至消息队列Kafka

本教程介绍如何使用Canal将MySQL的数据同步至消息队列Kafka版。背景信息 Canal的主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费。Canal伪装自己为MySQL Slave,向MySQL Master发送dump请求。MySQL Master收到dump请求,...

从自建MySQL同步至消息队列Kafka

通过数据传输服务DTS(Data Transmission Service),您可以将自建MySQL同步至消息队列Kafka版,扩展消息处理能力。前提条件 您已完成以下操作:自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署消息队列Kafka版。...

步骤三:创建资源

使用消息队列Kafka版进行消息收发之前,您需要先在消息队列Kafka版控制台上创建资源,否则将无法通过鉴权认证及使用相关的管控运维功能。这里的资源概念是指Topic和Group。前提条件 您已根据网络环境购买并部署消息队列Kafka版服务:VPC...

SSL接入点PLAIN机制收发消息

本文介绍如何在公网环境下使用Ruby SDK通过SSL接入点接入消息队列Kafka版并使用PLAIN机制收发消息。前提条件 您已安装Ruby。更多信息,请参见安装Ruby。安装Ruby依赖库 执行以下命令安装Ruby依赖库。gem install ruby-kafka-v 0.6.8 准备...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折