MySQL分库分表实践
本文为您介绍如何通过DataWorks数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至Hologres（方案1.0）
本文以MySQL分库分表实时写入Hologres场景为例，为您介绍如何通过数据集成同步分库分表数据至Hologres。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制...
MySQL分库分表同步至Hologres（方案2.0）
本文将以MySQL分库分表实时写入实时数仓Hologres场景为例，为您介绍分库分表写入Hologres数据集成最佳实践。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
场景：配置分库分表离线同步任务
本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 您可以使用如下几种方式实现分库分表离线同步任务，不同方式间差异对比如下：差异项 分库分表数据源+向导...
管理MySQL Catalog
读取MySQL分库分表逻辑表。MySQL Catalog支持使用正则表达式，将库名和表名作为逻辑表名，来读取分库分表的数据。例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都...
方案选择
传统方案一：MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能，基于MySQL创建订单系统，可以应对订单数据多维查询和统计场景。伴随着订单数据量的增加，采取分库分表方案应对，通过这种伪分布式方案解决数据膨胀带来的问题。但数据...
应用场景
支持将MySQL分库分表的数据聚合到同一张表中，提供全局数据分析能力。交互式查询 该场景要求支持实时BI报表和自定义多维查询，响应流畅，交互体验好；任意选择分析维度，无需事先建模和预计算，便于进行探索式分析。该场景可实现：查询速度...
MySQL数据源
MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？如何处理编码格式设置/乱码问题导致的脏数据报错？如何排查离线同步任务运行时间长的问题？写入/读取MySQL...
注意事项
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
分库分表问题
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
云原生分布式数据库PolarDB-X 1.0和2.0区别
详细信息 PolarDB-X提供1.0中间件形态，以及2.0一体化形态，具体区别如下：PolarDB-X 1.0中间件形态由计算层PolarDB-X实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分，详情请参见 产品架构。PolarDB-X 2.0一体化...
PolarDB-X 1.0的分库分表是什么意思？
关于 PolarDB-X 1.0 的分库分表的相关说明，请参见 拆分函数概述。
逻辑库
逻辑库是由单个或多个物理库配置而成，可便捷地进行分库分表的操作。本文介绍逻辑库的定义、应用场景等信息。定义 当业务达到一定规模后，需要通过分库分表来进行负载均衡，从而达到在大量业务压力场景下具有平滑支撑的能力。当库的数量...
产品架构
产品架构图 内核架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含...
通过向导模式配置离线同步任务
内置变量 变量说明 支持插件 '#{DATASOURCE_NAME_SRC}#' 来源数据源名称 MySQL Reader MySQL（分库分表）Reader PolarDB Reader PolarDB（分库分表）Reader PostgreSQL Reader '#{DB_NAME_SRC}#' 来源表所在的数据库名称 MySQL Reader ...
YYYYMM
当月份经过一个循环周期后（如2012-03经过一个2年的循环周期后是2014-03），相同月份有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。使用场景 适合于需要按年份与月份进行分库的场景，建议结合该函数与 ...
YYYYWEEK
当周数经过一个循环周期后（如2012年第1周经过一个2年的循环周期后是2014年第1周），相同周数有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。使用场景 YYYYWEEK函数适用于需要按年份与一年的周数进行分库的场景。...
YYYYDD
当日期经过一个循环周期后（如2012-03-01经过一个2年的循环周期后是2014-03-01），同一个日期有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。使用场景 YYYYDD函数适用于需要按年份与一年的天数进行分库的场景。...
错误代码
如果检查分库分表没有问题，请确认是否已生效了数据库配置。ERROR 7002:Unable to find table rule 问题描述：无法找到表的规则，查看用户 SQL 中的表有没有在数据访问代理控制台上配置分表规则。排查方法：检查分库分表规则，是否有配置...
YYYYWEEK
当周数经过一个循环周期后（如2012年第1周经过一个2年的循环周期后是2014年第1周），相同周数有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本。关于实例...
YYYYMM
当月份经过一个循环周期后（如2012-03经过一个2年的循环周期后是2014-03），相同月份有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本，关于实例版本请参见 ...
YYYYDD
当日期经过一个循环周期后（如2012-03-01经过一个2年的循环周期后是2014-03-01），同一个日期有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本，关于实例...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
逻辑表
当业务达到一定规模后，需要通过分库分表来进行负载均衡，从而达到在大量业务压力场景下具有平滑支撑的能力。本文介绍逻辑表的定义、应用场景、配置说明等信息。注意事项 逻辑表的操作必须在对应的逻辑库下进行。说明 逻辑表可当做单表直接...
STR_HASH
描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标，以截取拆分键的字符串的某段子串，然后将其作为字符串（或整数）输入进行分库分表的路由计算具体的物理分片，函数如下所示：STR_HASH(shardKey[,startIndex,endIndex[,valType[,...
STR_HASH
A：两者虽然都是直接根据字符串取值做分库分表的哈希路由，但是两者的分库分表的路由算法实现不一样。前者支持用户建表时自行设定截取子串相关参数，且在根据字符串的哈希值计算分库分表路由时是基于UNI_HASH算法进行计算；而后者是只对...
概述
PolarDB-X 1.0 由计算层DRDS实例与存储层 私有定制RDS 实例组成，通过挂载多个MySQL进行分库分表水平拆分。PolarDB-X 1.0 存储层 私有定制RDS 实例与计算层DRDS实例配合更加深度紧密，性能表现更优秀，服务链路更稳定，售卖价格更优惠。...
查看分库信息
您可以通过数据访问代理控制台查看数据库的分库分表信息以及后端各个物理分库名与所在的物理数据源（RDS 或 OceanBase）。操作步骤如下：进入数据访问代理控制台，单击左侧导航栏上的 数据库 后，可在右侧的数据库列表页面查看数据库相关...
能否更换PolarDB-X 1.0分库分表的拆分键？
若您的 PolarDB-X 1.0 实例...若您的 PolarDB-X 1.0 实例版本低于V5.4.7-16000638，不支持变更已创建完成的分库分表的拆分键。如果确实有需要变更表的拆分键，可以采用以下的临时办法：选择新的分库键并重新建表；然后将原表的数据进行导入。
RDS/PolarDB 数据源配置分库分表
本文介绍如何在OpenSearch行业算法版和高性能检索版实例中配置分库分表的数据源。一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、...
RDS/PolarRDB 数据源配置分库分表
本文介绍如何在OpenSearch行业算法版和高性能检索版实例中配置分库分表的数据源。一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、...
创建数据库
DRDS模式：不支持自动分区，创建表时需使用DRDS专用的分库分表语法，指定分库分表键，否则创建的是一张单表。两种模式的详细介绍请参见 AUTO模式数据库与DRDS模式数据库。备注说明 备注该数据库的相关信息，便于后续数据库管理。该参数为非...
逻辑表查询
背景信息 分库分表后，需要快速地查询单个分表或查询多个分表并返回结果，可以对使用者屏蔽人为寻找分库、分表场景。用户最终使用查询操作都是被当做单个表查询，这样的操作相对较透明，也符合用户当下的诉求。数据管理DMS 基于产品内的 ...
应用场景
交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务，最初采用的是分库分表的解决方案。分库分表的方案给核心业务带来了水平扩展的能力，同时也带来了灰度升级的能力，让核心业务的系统性风险大大降低。但随着支付宝业务的飞速发展，...
选择分片数
分库分表中的分库是一个逻辑上的概念，物理上可能是一个物理数据库代表一个“分库”，也可能是多个物理数据库组成一个“分库”，在数据访问代理里面统一概念称“分片”。选择分片数原则 分片数决定了数据访问代理数据库数的逻辑最大值，...
- 产品推荐
- 这些文档可能帮助您