自建MySQL同步至消息队列Kafka版

通过数据传输服务DTS(Data Transmission Service),您可以将自建MySQL同步至消息队列Kafka版,扩展消息处理能力。前提条件 您已完成以下操作:自建MySQL数据库且数据库版本为5.1、5.5、5.6、5.7或8.0版本。购买并部署消息队列Kafka版。...

自建MySQL同步至阿里云消息队列Kafka版

通过数据传输服务DTS(Data Transmission Service),您可以将自建MySQL同步至消息队列Kafka版,扩展消息处理能力。前提条件 自建MySQL的数据库版本为5.1、5.5、5.6、5.7或8.0版本。目标Kafka实例的版本为0.10.1.0-2.x版本。目标Kafka实例...

自建Oracle迁移至阿里云消息队列Kafka

Service),您可以将自建Oracle迁移至阿里云消息队列Kafka版或自建Kafka,从而扩展消息处理能力。本文以自建Oracle数据库迁移至阿里云消息队列Kafka实例为例,介绍数据迁移任务的配置流程。前提条件 自建Oracle数据库的版本为9i、10g、11g...

自建Oracle迁移至阿里云消息队列Kafka版

Service),将自建Oracle迁移至阿里云消息队列Kafka。前提条件已创建源数据库自建Oracle和目标实例阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本,请参见迁移方案概览。自建Oracle数据库已开启ARCHIVELOG(归档模式),设置...

自建Oracle同步至阿里云消息队列Kafka版

Service),将自建Oracle同步至阿里云消息队列Kafka。前提条件已创建源数据库自建Oracle和目标实例阿里云消息队列Kafka版。说明 源数据库和目标实例支持的版本,请参见同步方案概览。自建Oracle数据库已开启ARCHIVELOG(归档模式),设置...

修复集群

修复集群后,集群自建队列被清除,节点继续保留,并全部迁移到集群默认队列中。修复集群后,集群所有节点的系统盘和数据盘数据将会丢失,包括用户信息、作业信息、调度器队列信息、自动伸缩队列配置信息,但文件存储NAS上的数据仍然保留。...

RecoverCluster

集群自建队列被清除,节点实例继续保留,并全部迁移到集群默认队列中。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值...

迁移概述

本文介绍将自建Kafka集群迁移到消息队列Kafka版实例的优势、原理、方案架构、迁移工具和操作流程。迁移优势 将自建Kafka集群迁移到消息队列Kafka版实例的优势,请参见产品优势。迁移原理 对于消息队列来说,如果要实现集群迁移,只需消费完...

新功能发布记录

新增查看实例风险管理预警联系人2022-03-15功能名称功能描述功能类型相关文档迁移上云消息队列Kafka版控制台迁移上云操作优化,支持创建迁移任务,将自建Kafka集群迁移至消息队列Kafka版实例,为您提供更好的迁移操作体验。新增迁移概述...

迁移路由

消息队列Kafka版提供全托管、免运维的实例迁移和消息路由服务,用于自建实例与消息队列Kafka版实例之间或者消息队列Kafka版实例之间的数据同步。本文介绍实例迁移和消息路由的类型、使用限制、跨VPC数据同步以及使用流程。前提条件 您已...

同步任务的注意事项及限制

MySQL同步至Tablestore MySQL同步至阿里云消息队列Kafka版、自建Kafka集群 MySQL同步至PolarDB-X 源库为PolarDB MySQL的注意事项及限制 PolarDB MySQL间的同步 PolarDB MySQL同步至RDS MySQL、自建MySQL PolarDB MySQL同步至PolarDB-X 1.0 ...

2021年

自建Oracle同步至阿里云消息队列Kafka版 自建Oracle迁移至阿里云消息队列Kafka版 自建PostgreSQL同步至PolarDB O引擎(新版控制台)。自建PostgreSQL同步至PolarDB O引擎 优化 DTS任务列表页面,支持按同步或增量迁移延迟时间的大小排序...

异构数据库间的数据类型映射关系

2.0的数据类型 云原生数据仓库AnalyticDB PostgreSQL版的数据类型 阿里云消息队列Kafka、自建Kafka的数据类型 整数类型 BIT[(M)]1~64 VARCHAR INT BIT 与MySQL、PolarDB MySQL的数据类型保持一致 TINYINT[(M)]-128 127 TINYINT TINYINT ...

结构初始化涉及的数据类型映射关系

目标实例为DataHub、Kafka(阿里云消息队列Kafka、自建Kafka)类型 源实例的数据类型 数值范围 DataHub的数据类型 阿里云消息队列Kafka、自建Kafka的数据类型 整数类型 BIT[(M)]1~64 BOOLEAN|STRING 与MySQL、PolarDB MySQL的数据类型保持...

同步时源库为PolarDB MySQL的注意事项及限制

PolarDB MySQL同步至Elasticsearch PolarDB MySQL同步至阿里云消息队列Kafka、自建Kafka PolarDB MySQL同步至云原生数据仓库AnalyticDB PostgreSQL PolarDB MySQL同步至MaxCompute PolarDB MySQL同步至自建Oracle PolarDB MySQL间的同步...

开源对比

本文从稳定性、内核能力、治理能力以及使用习惯等方面,对比阿里云消息队列Kafka版与开源Apache Kafka。稳定性 项目 消息队列Kafka版 Apache Kafka 磁盘水位 磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离 读冷数据仍可以保证写入基本...

功能特性

ECS、企业自建云,与消息队列建立连接进行消息收发。TCP 协议接入提供更为专业、可靠、稳定的 TCP 协议的 SDK 接入服务。支持 Java 语言。管理工具Web 控制台:支持 Topic 管理、Group 管理、消息查询、消息轨迹展示和查询。OpenAPI:提供...

什么是消息队列RocketMQ版?

相对于自建RocketMQ集群,消息队列RocketMQ版具有如下优势:架构先进性 全面采用存储和计算分离的消息架构,存储和计算可以独立按需水平扩展,满足高效弹性运维和高性能大规格能力的诉求。高性能 可提供单实例集群最高100万TPS稳定消息收发...

服务关联角色

本文介绍消息队列RocketMQ版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息 服务关联角色是某个云服务在某些情况下,为了完成自身的某个功能,需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台首次...

服务关联角色

本文介绍消息队列RocketMQ版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息 服务关联角色是某个云服务在某些情况下,为了完成自身的某个功能,需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台首次...

基础术语

消息队列涉及的专有名词及术语进行定义和解析,方便您更好地理解相关概念并使用消息队列。中文英文释义消息主题Topic消息主题,一级消息类型,通过 Topic 对消息进行分类。详情请参见 Topic 与 Tag。消息Message消息队列中信息传递的载体。...

环境准备(v2.0.0)

本文介绍使用C++ SDK v2.0.0版本接入消息队列RocketMQ版所需完成的准备工作、使用说明以及注意事项,以便后续使用C++ SDK收发消息。注意 推荐您使用最新的RocketMQ 5.x系列SDK,5.x系列SDK作为主力研发版本,和消息队列RocketMQ版5.x服务端...

环境准备(v2.x.x)

本文介绍使用C++ SDK v2.x.x及以上版本接入消息队列RocketMQ版所需完成的准备工作、使用说明以及注意事项,以便后续使用C++ SDK收发消息。使用前,请注意以下几点:本文仅针对C++ SDK v2.x.x及以上版本进行说明,若您需从当前使用的v1.x.x...

死信队列

当一条消息初次消费失败,消息队列会自动进行消息重试。达到最大重试次数后,若消费依然失败,则表明消费者在正常情况下无法正确地消费该消息。此时,消息队列不会立刻将消息丢弃,而是将其发送到该消费者对应的特殊队列中。在消息队列中,...

2020年

MySQL(自建MySQL、RDS MySQL)同步至阿里云消息队列Kafka版、自建Kafka的任务,支持选择使用DTS Avro或Canal json格式进行投递,实现Canal用户的平滑迁移。Kafka集群的数据存储格式 PolarDB O引擎迁移至阿里云消息队列Kafka版、自建Kafka...

在线迁移至消息队列Kafka版

本文介绍如何选择并使用通用迁移和数据迁移两种方案将自建Kafka集群迁移至消息队列Kafka版。场景描述 本文介绍了如何选择并使用通用迁移和数据迁移两种方案将阿里云自建Kafka集群迁移到消息队列Kafka版。同时本文可以作为线下IDC自建Kafka...

同步方案概览

MySQL同步至阿里云消息队列Kafka版从自建MySQL同步至阿里云消息队列Kafka版从ECS上的自建MySQL同步至自建Kafka集群从通过专线、VPN网关或智能接入网关接入的自建MySQL同步至自建Kafka集群DataHub库表结构同步增量数据同步单向同步RDS ...

支持的数据库

MySQL同步至阿里云消息队列Kafka版从自建MySQL同步至阿里云消息队列Kafka版从ECS上的自建MySQL同步至自建Kafka集群从通过专线、VPN网关或智能接入网关接入的自建MySQL同步至自建Kafka集群DataHub库表结构同步增量数据同步单向同步RDS ...

服务关联角色

本文介绍消息队列Kafka版服务关联角色的背景信息、策略内容、注意事项和常见问题。背景信息 服务关联角色是某个云服务在某些情况下,为了完成自身的某个功能,需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台首次使用...

查看迁移进度

本文说明如何查看自建Kafka集群迁移到消息队列Kafka版的进度。前提条件 您已开始自建Kafka集群迁移上云。迁移类型包括:通过命令行迁移 迁移Topic上云 迁移Group上云 迁移数据上云 元数据迁移 迁移自建Kafka集群至新实例 位点迁移 注意 ...

迁移方案概览

PostgreSQL阿里云消息队列Kafka版0.10.1.0~2.x版本自建Kafka0.10.1.0~2.7.0版本库表结构迁移全量数据迁移增量数据迁移文档准备中DataHub所有版本库表结构迁移增量数据迁移文档准备中源为自建PostgreSQL或RDS PostgreSQL的迁移方案源库目标...

边缘数据源定义

第二种数据源类型为消息队列,如果在边缘中部署了Kafka或者MQTT类型的消息队列,可以选择消息队列这种类型,消息队列支持以下两种:Kafka MQTT 其中Kafka需要填写的参数为对应队列broker(多个broker用逗号隔开),鉴权是否采用SSL,如果是...

消息队列RabbitMQ版

消息队列RabbitMQ版是阿里云消息队列(MQ)团队基于AMQP 0-9-1协议研发的分布式、高吞吐、低延迟、高可扩展的云消息队列服务。消息队列RabbitMQ版完全兼容开源RabbitMQ社区、开箱即用、无需部署、免运维,帮助您快速上云。

功能特性

数据出口至自建云,使用消息队列MQ,通过MQTT订阅与消费数据。认证实验室物联网络管理平台为您提供设备在线调试功能,同时提供灵活的协议互联互通认证服务。安全防护阿里云物联网络管理平台为设备云端安全提供了多重防护保障。平台为每个...

服务关联角色

本文介绍消息队列RabbitMQ版服务关联角色的背景信息,权限策略、注意事项和常见问题。背景信息 服务关联角色是某个云服务在某些情况下,为了完成自身的某个功能,需要获取其他云服务的访问权限而提供的RAM角色。您在该云服务的控制台首次...

什么是消息队列Kafka版?

消息队列Kafka版是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。产品优势 消息队列Kafka版针对开源...

产品架构

本文介绍消息队列Kafka版的系统架构和发布/订阅模型。消息队列Kafka版系统架构 如图 1所示,一个消息队列Kafka版集群包括Producer、Kafka Broker、Group、ZooKeeper。图 1.消息队列Kafka版的系统架构 Producer 通过push模式向消息队列Kafka...

消息收发流程变更

消息队列MQTT版V2.x.x版本强依赖消息队列RocketMQ版作为消息存储,因此微消息队列MQTT版消息和消息队列RocketMQ版天然打通,创建了Topic后即可天然使用消息队列RocketMQ版和微消息队列MQTT版的SDK相互通信。微消息队列MQTT版V3.x.x版本...

MNS消息上链

本示例介绍如何通过函数计算,自动将消息队列MNS中的消息推送到区块链中。前置条件 您需要在区块链实例中安装云服务集成。下载云服务集成示例代码。在本地安装函数计算工具 funcraft,funcraft 介绍及安装方式。使用方法 进入示例代码目录 ...

购买微消息队列MQTT版预付费实例后产生额外费用的原因

概述 已经付费购买微消息队列MQTT版的预付费实例,收发消息后产生了额外的费用。本文主要介绍此问题的原因。详细信息 微消息队列MQTT版实例是一个无状态网关类型实例,用来完成IoT移动场景客户端连接维持和消息转发,实例本身并不提供消息...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用