迁移概述

本文介绍将自建Kafka集群迁移到消息队列Kafka版实例的优势、原理和流程。迁移优势 将自建Kafka集群迁移到消息队列Kafka版实例的优势,请参见产品优势。迁移原理 对于消息队列来说,如果要实现集群迁移,只需消费完旧集群的消息即可。由于...

在线迁移消息队列Kafka版

本文介绍了如何选择并使用通用迁移数据迁移两种方案将阿里云自建Kafka集群迁移到消息队列Kafka版。同时本文可以作为线下IDC自建Kafka集群等场景迁移到消息队列Kafka版的参考手册。解决的问题 如何通用迁移消息队列Kafka版。如何数据迁移...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到消息队列Kafka版的进度。前提条件 您已完成以下操作:购买并部署消息队列Kafka版实例。开始自建Kafka集群迁移上云。迁移类型包括:元数据迁移 迁移Topic上云 迁移Consumer Group上云 数据迁移 迁移数据...

云数据库新人专场

MySQL年付低至19.9,其它热门产品1元起购!
广告

产品架构

本文介绍消息队列Kafka版的系统架构和发布/订阅模型。消息队列Kafka版系统架构 如图 1所示,一个消息队列Kafka版集群包括Producer、Kafka Broker、Consumer Group、ZooKeeper。图 1. 消息队列Kafka版的系统架构 Producer 通过push模式向...

开源对比

Kafka完全一致,因此基于开源版本开发的应用和代码可以无缝迁移到消息队列Kafka版。在通信协议完全兼容的前提下,为了提供更丰富的消息管控和治理功能,消息队列Kafka版会对使用习惯作出一些限制,具体说明如下。项目 消息队列Kafka版 ...

什么是消息队列Kafka版

消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。产品优势 消息队列Kafka版针对开源的Apache Kafka提供全托管服务,彻底解决开源产品长期以来的痛点。有了...

产品优势

万级Topic:支持万级Topic高并发读写,始终保持消息队列Kafka版集群的高吞吐能力。数据安全 消息队列Kafka版提供鉴权与授权机制、主子账号等功能,提供企业级的安全防护。主子账号:全面支持阿里云RAM主子账号、黑白名单、STS等功能,...

不在同一可用区内的ECS实例如何访问消息队列Kafka版...

概述 不在同一可用区内的ECS实例可通过非公网的方式访问消息队列Kafka版实例,详情请查看以下内容。详细信息 以非公网的方式访问消息队列Kafka版实例时,必须满足以下两个条件:ECS实例与消息队列Kafka版实例在同一VPC网络实例内。说明:...
来自: 首页

调用方式

Endpoint:消息队列Kafka版API的服务接入地址。详情请参见服务接入点。Action:要执行的操作。例如,调用GetInstanceList查询已创建的消息队列Kafka版实例。Version:要使用的API版本。消息队列Kafka版的API版本是2019-09-16。Parameters:...

消息队列Kafka版服务等级协议

消息队列Kafka版规定了阿里云向客户提供的阿里云消息队列Kafka版的服务可用性等级指标及赔偿方案。如需查看消息队列Kafka版的服务可用性等级指标及赔偿方案,请参见消息队列Kafka版服务等级协议。icmsDocProps={'productMethod':'created',...

Connector概述

消息队列Kafka版提供全托管、免运维的Connector,用于消息队列Kafka版和其他阿里云服务之间的数据同步。本文介绍Connector支持的数据同步任务的类型、使用流程、使用限制以及跨地域数据同步。注意 消息队列Kafka版的Connector组件处于公测...

名词解释

Group最近消费的消息被发布到消息队列Kafka版服务端的存储时间。如果消费没有堆积,那么这个时间接近发送时间。堆积量 当前分区下的消息堆积总量,即最大位点减去消费位点的值。堆积量是一个关键指标,如果发现堆积量较大,则Consumer可能...

客户端首次接入消息队列Kafka版时出现异常的排查方法

概述 本文主要介绍客户端首次接入消息队列Kafka版时,出现异常的排查方法。详细信息 客户端首次接入消息队列Kafka版时如果出现异常,您可以通过下列三个方面进行排查: 网络连通问题:通常有如下几种可能性导致网络不通,客户端无法连接...
来自: 首页

消息队列Kafka版控制台的报警项中状态显示“数据...

问题描述 在消息队列Kafka版控制台的报警项中,状态显示“数据不足”。问题原因 虽然配置了报警规则,但您的消息队列Kafka版实例版本低,不支持报警数据上报。解决方案 请升级消息队列Kafka版实例的版本至最新版本,详情请参见升级实例...
来自: 首页

评估规格

本文说明如何使用消息队列Kafka版的规格评估功能为迁移上云的自建Kafka集群选择合适的实例规格。前提条件 注册阿里云账号并完成实名认证。详情请参见注册阿里云账号。评估规格 说明 消息队列Kafka版的规格评估功能遵循最小原则,即在满足...

消息队列Kafka版

消息队列Kafka版(MQ for Apache Kafka)秉持开放的原则拥抱开源,全面融合Kafka开源生态,做到无缝迁移,打造更安全、更可靠、更易运维的Kafka企业级消息服务。

迁移Topic上云

本文介绍如何使用消息队列Kafka版提供的迁移工具将自建Kafka集群的Topic迁移到消息队列Kafka版实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 注意 迁移不会删除自建的源Kafka集群的Topic,只是在目标消息队列Kafka版...

云监控资源报表接口说明

您可使用云监控资源报表接口查询消息队列Kafka版的实例、Consumer Group、Topic等资源的使用情况。API 概览 云监控提供以下云监控资源报表接口。API 描述 DescribeProjectMeta 调用DescribeProjectMeta接口获取接入的云产品信息,包括产品...

为什么不能登录部署消息队列Kafka版的机器?

消息队列Kafka版提供全托管免运维服务,您无需登录机器。消息队列Kafka版是全托管的,由消息队列Kafka版专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

云上迁移Consumer Group

本文介绍如何使用消息队列Kafka版提供的迁移工具将某个消息队列Kafka版实例的Consumer Group迁移到另一个消息队列Kafka版实例。前提条件 您已完成以下操作:下载JDK 8 下载迁移工具JAR文件 注意 迁移不会删除源消息队列Kafka版实例的...

常见问题

无法ping通消息队列Kafka版的接入点 不在同一可用区内的ECS实例如何访问消息队列Kafka版实例 能否通过公网访问消息队列Kafka版实例?如何通过代理访问消息队列Kafka版实例?经典网络是否必须要选择172.16.0.0/12网段?不同VPC之间是否支持...

删除Connector

Connector任务处于运行状态,在消息队列Kafka版控制台将无法直接删除,您需登录DataWorks控制台停止并下线Connector任务,然后提交工单清理消息队列Kafka版Connector任务的信息。其他FC Sink Connector、MaxCompute Sink Connector、OSS ...

消息队列Kafka版实例删除Consumer Group后仍然可以...

问题描述 使用消息队列Kafka版实例时,删除Consumer Group后仍然可以接收到消息。问题原因 历史版本的消息队列Kafka版实例在删除Consumer Group时,不会彻底清除路由信息,导致被删除的Consumer Group依然可以收到消息。解决方案 阿里云...
来自: 首页

Python SDK概述

Python客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 ...

Ruby SDK概述

Ruby客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 不...

PHP SDK概述

消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 不适用 PLAIN:一种简单的用户名密码校验机制。消息队列Kafka版优化了...

步骤一:获取访问授权

开通消息队列Kafka版服务需要使用阿里云其他云产品中的资源,因此,您需要先授权消息队列Kafka版访问...执行结果 同意授权后,页面跳转到消息队列Kafka版控制台。后续步骤 根据网络环境,购买并部署消息队列Kafka版实例:VPC接入 公网+VPC接入

Node.js SDK概述

Node.js客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 ...

C++ SDK概述

C++客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 不...

我使用的Connector组件如何计费?

消息队列Kafka版的Connector组件处于公测阶段,且独立于消息队列Kafka版实例,因此不会在消息队列Kafka版侧产生费用。同时阿里云不承诺Connector的SLA,Connector显示依赖的其他产品的SLA和费用说明请以对应产品为准。

为什么需要升级实例来支持监控告警功能?

在控制台上可以查看和设置监控告警功能,但是在2018年11月以前部署的消息队列Kafka版集群不支持上报监控告警数据,因此需要升级旧版本的消息队列Kafka版实例集群,让它可以上报监控告警数据。若您要升级您的消息队列Kafka版实例集群,请...

消息队列Kafka版实例中重新创建已经删除过的Topic时...

问题描述 消息队列Kafka版实例中,重新创建已经删除过的Topic并且分区小于上次创建时设置的分区,系统提示以下信息。创建topic成功,分区不能小于曾经配置过的分区,已重置为XX。问题原因 历史版本的消息队列Kafka版实例在删除...
来自: 首页

正式商用公告

本章节介绍消息队列Kafka版的正式商用公告细则。正式商用细则 消息队列Kafka版的正式商用细则如下: 为提高服务质量和用户体验,消息队列Kafka版全部以商用实例方式提供服务。实例的基本规格和定价信息请参见计费说明。如果您有共享服务...

C#SDK概述

C#客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 不...

权限控制概述

本文介绍消息队列Kafka版支持的两种权限控制服务类型:RAM和ACL。权限控制服务 说明 文档 RAM RAM是阿里云提供的管理阿里云用户身份与阿里云资源访问权限的服务。RAM只针对消息队列Kafka版控制台和API操作,客户端使用SDK收发消息与RAM无关...

Go SDK概述

Go客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 不...

迁移数据上云

本文介绍如何使用MirrorMaker将自建Kafka集群的数据迁移到消息队列Kafka版集群。前提条件 您已完成以下操作: 下载迁移工具MirrorMaker 迁移Topic上云 背景信息 Kafka的镜像特性可实现Kafka集群的数据备份。实现这一特性的工具就是...

Java SDK概述

Java客户端可以通过消息队列Kafka版提供的多种接入点接入并收发消息消息队列Kafka版提供以下接入点。项目 默认接入点 SSL接入点 SASL接入点 网络 VPC 公网 VPC 协议 PLAINTEXT SASL_SSL SASL_PLAINTEXT 端口 9092 9093 9094 SASL机制 不...

从自建MySQL同步至消息队列Kafka版

数据同步到消息队列Kafka版集群后,您需要根据avro schema定义进行数据解析。费用说明 数据传输服务DTS费用,请参见产品定价。准备工作 为自建MySQL创建账号并设置binlog 操作步骤 购买数据同步作业,详情请参见购买流程。说明 购买时,...

步骤三:创建资源

在使用消息队列Kafka版进行消息收发之前,您需要先在消息队列Kafka版控制台上创建资源,否则将无法通过鉴权认证及使用相关的管控运维功能。这里的资源概念是指Topic和Consumer Group。前提条件 您已根据网络环境购买并部署消息队列Kafka版...
< 1 2 3 4 ... 142 >
共有142页 跳转至: GO
产品推荐
数据传输 消息队列MQ 云服务器 商标 SSL证书 负载均衡SLB 短信服务
这些文档可能帮助您
DTS数据迁移方案概览 数据库评估分析 线下改造迁移 默认接入点收发消息 DTS数据同步方案概览 什么是消息队列RocketMQ版?

新品推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折

你可能感兴趣

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折