T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
行业趋势与背景
作为分库分表技术的开创者，我们推出了DRDS+RDS的分布式云数据库服务。这代产品的特征是采用Share-Nothing架构，以解决存储扩展性为出发点，提供面向用户的产品化交付能力。PolarDB-X 1.0 针对分库分表使用中的痛点，我们不断进行产品能力...
PolarDB-X历史
分库分表技术开创者去掉传统商业数据库后，是否有更适合的产品和解决方案来替代呢？对于数据库来说，答案是明确的：开源+分布式，开源解决成本问题，分布式解决性能和容量问题。同年11月11日，TDDL（Taobao Distributed Data Layer）首次...
注意事项
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
分库分表问题
JOIN分库分表对拆分库表的数量是否有限制分库分表是否支持多个拆分字段数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均需要加上拆分字段的查询条件。所以建议尽量使用单个拆分字段，减少 SQL 使用场景...
场景：配置分库分表离线同步任务
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见支持的数据源与读写插件。背景信息 分库分表要求...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
连接 Navicat 客户端
窗口手动执行查询命令（单库单表、分库分表均支持）支持双击打开数据表后，插入、更新、删除数据（单库单表、分库分表均支持）支持双击打开数据表后，进行排序或筛选（单库单表、分库分表均支持）支持部分 DDL：不支持库操作不支持单库单表...
PolarDB-X 1.0的分库分表是什么意思？
关于PolarDB-X 1.0的分库分表的相关说明，请参见拆分函数概述。
数据同步模板
当同一份业务数据分散在不同的数据库或者业务表时，我们往往需要用到分库分表合并的能力，将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据（包括新增的符合正则表达式的新表），...
扫描全部/部分分库分表
指定分库#将SQL语句下发到指定分库分表上执行，根据条件计算物理表名称 SCAN([TABLE=]"table_name_list"#逻辑表名, CONDITION="condition_string"#使用TABLE和CONDITION中的内容计算物理库表名称[, NODE="node_list"])#过滤通过CONDITION...
数据访问代理连接器概述
数据访问代理连接器基于标准的 JDBC 接口实现...分库分表路由指定可通过自定义 HINT 语句，指定 SQL 语句访问某一特定的分库分表。拦截器扩展数据访问代理连接器具有灵活的扩展机制，可通过实现拦截器(Interceptor)接口，提供更多的扩展功能。
扫描全部/部分分库分表
将SQL语句下发到指定分库分表上执行，根据条件计算物理表名称 SCAN([TABLE=]"table_name_list"#逻辑表名, CONDITION="condition_string"#使用TABLE和CONDITION中的内容计算物理表名称[, NODE="node_list"])#过滤通过CONDITION计算出的结果...
分布式序列问题
唯一，如果需要确保分库分表的分布式序列全局唯一，可以在序列 ID 中拼接分库分表位，以此保证全局唯一。分布式序列使用注意事项在运行过程中，不能调整 dbp_sequence 表的数据，如果进行了调整，可能会导致序列数据冲突。在运行过程中，不...
逻辑库
逻辑库是由单个或多个物理库配置而成，可便捷的进行分库分表的操作。本文介绍逻辑库的定义、应用场景等信息。定义 当业务达到一定规模后，需要通过分库分表来进行负载均衡，从而达到在大量业务压力场景下具有平滑支撑的能力。当库的数量...
错误代码
排查方法：检查分库分表规则，是否有配置当前表的分库分表规则。如果检查分库分表没有问题，请确认一下是否有生效数据库配置。ERROR 7022:Physical database connection pool is full,database name: x问题描述：数据访问代理连接后端数据...
MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
分布式序列
可以部署成单库单表模式，同样也可以部署成分库分表模式，分库分表模式下有如下优点：提升 Sequence 表的读写能力。提升 Sequence 表的可用性，无单点故障。通过将 Sequence 表和业务数据表部署在一起，保持数据拆分规则一致，方便生成业务...
为什么在控制台上执行带有dbpartition或tbpartition...
PolarDB-X 1.0控制台不支持直接执行带有dbpartition或tbpartition关键字的分布式DDL。若要建分库分表，请连接数据库后直接使用DDL语句进行建表。如何连接数据库，请参见连接数据库。
同步解决方案常见问题
一键实时同步解决方案不支持分表同步到同一张表，但是可以使用分库分表至MaxCompute解决方案。详情请参考MySQL分库分表同步至MaxCompute。一键实时同步解决方案中，实时同步时修改源表字段是否会导致报错？您可以在同步任务配置时，通过...
使用全局二级索引
索引分库分表子句：索引表的分库分表算法，与CREATE TABLE中分库分表子句的语法一致。示例#建表时定义 GSI CREATE TABLE t_order(`id` bigint(11)NOT NULL AUTO_INCREMENT, `order_id` varchar(20)DEFAULT NULL,`buyer_id` varchar(20)...
分库分表
数据拆分数据库访问代理支持库级拆分，表级拆分和分库分表拆分，通过数据库访问代理 DDL 语句指定，具体操作参见 DDL 语法。数据访问代理根据指定拆分键的值，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分库/分表中。...
YYYYMM
当月份经过一个循环周期后（如2012-03经过一个2年的循环周期后是2014-03），相同月份有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。使用场景 适合于需要按年份与月份进行分库的场景，建议结合该函数与...
YYYYWEEK
当周数经过一个循环周期后（如2012年第1周经过一个2年的循环周期后是2014年第1周），相同周数有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。使用场景 YYYYWEEK函数适用于需要按年份与一年的周数进行分库的场景。...
YYYYDD
当日期经过一个循环周期后（如2012-03-01经过一个2年的循环周期后是2014-03-01），同一个日期有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。使用场景 YYYYDD函数适用于需要按年份与一年的天数进行分库的场景。...
YYYYWEEK
当周数经过一个循环周期后（如2012年第1周经过一个2年的循环周期后是2014年第1周），相同周数有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0实例的版本需为5.1.28-1320920或以上版本。关于实例版本...
YYYYMM
当月份经过一个循环周期后（如2012-03经过一个2年的循环周期后是2014-03），相同月份有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0实例的版本需为5.1.28-1320920或以上版本，关于实例版本请参见...
YYYYDD
当日期经过一个循环周期后（如2012-03-01经过一个2年的循环周期后是2014-03-01），同一个日期有可能被路由到同一个分库分表，具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0实例的版本需为5.1.28-1320920或以上版本，关于实例版本...
STR_HASH
假设需要截取order_id的第3个字符（即starIndex=2）与第7个字符（即endIndex=7）之间子串来计算分库分表路由，则您可以使用如SQL进行建表。create table test_str_hash_tb(id int NOT NULL AUTO_INCREMENT,order_id varchar(32) NOT NULL,...
基本概念
以这个作为访问的入口，通过分库分表、读写分离等规则可以请求到后端真实的物理数据库。数据表 data table 表示数据访问代理的逻辑表，应用访问数据访问代理时 SQL 中的表即数据表。一个逻辑表会对应多个物理表，数据访问代理在路由时，会...
查看分库信息
您可以通过数据访问代理控制台查看数据库的分库分表信息以及后端各个物理分库名与所在的物理数据源（RDS 或 OceanBase）。操作步骤如下：进入数据访问代理控制台，单击左侧导航栏上的 数据库 后，可在右侧的数据库列表页面查看数据库相关...
AUTO模式数据库与DRDS模式数据库
这种模式的数据库不支持自动分区，创建表时需使用DRDS专用的分库分表语法，指定分库分表键，否则创建的是一张单表。AUTO模式数据库和DRDS模式数据库在5.4.13及以上版本都支持，并且可以共存在一个实例中。注意事项创建AUTO模式数据库必须在...
扩展性原理
1.0计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表） 您可以通过一定的计算或路由规则放置数据，实现将数据分散到多个存储资源MySQL的目的，...
STR_HASH
假设需要截取order_id的第3个字符（即starIndex=2）与第7个字符（即endIndex=7）之间子串来计算分库分表路由，则您可以使用如SQL进行建表。create table test_str_hash_tb(id int NOT NULL AUTO_INCREMENT,order_id varchar(32) NOT NULL,...
自定义 HINT
在无法获得分库分表字段场景下，如果需要请求指定数据分片、分表执行 SQL 语句时，可以通过自定义路由 HINT 实现。自定义路由 HINT 基本语法：/*+DBP:$ROUTE={GROUP_ID(分片位),TABLE_NAME(物理表名)}*/SQL 语句路由 HINT 使用说明：GROUP_...
使用说明
本文介绍如何使用数据访问代理连接器来进行 SQL 链路追踪、指定分库分表路由和拦截器扩展。SQL 链路追踪使用以下 HINT 语句，根据 traceId 和 RpcId 对 SQL 数据库进行追踪：/*+DBP: SYS={TRACE(TraceId#RpcId)}*/select*from{table_name}...
功能特性
数据访问代理的主要功能如下：分库分表支持 RDS/OceanBase/MySQL 的分库分表。在创建分布式数据库后，只需选择拆分键，数据访问代理就可以按照拆分键生成拆分规则，实现数据水平拆分。透明读写分离通过使用数据访问代理只读实例或者 MySQL ...
逻辑库
为解决分库分表的场景下，查询、维护数据难的问题，DMS推出逻辑库、逻辑表的解决方案。您可以将多个（或单个）物理库配置成一个逻辑库、逻辑表，轻松查询与管理复杂、庞大的分库与分表。背景信息分库分表场景下，业务数据按照路由算法分散...
应用场景
业务复杂度高是该类业务的典型特征典型的应用场景如下：分库分表后的跨数据库分布式事务例如支付宝的交易服务，随着业务规模的增大，单个交易流水表已经不能满足业务需求，需要通过分库分表实现数据水平拆分。但是水平拆分后，单表的数据被...
逻辑表
当业务达到一定规模后，需要通过分库分表来进行负载均衡，从而达到在大量业务压力场景下具有平滑支撑的能力。本文介绍逻辑表的定义、应用场景、配置说明等信息。注意事项 逻辑表的操作必须在对应的逻辑库下进行。说明 逻辑表可当做单表直接...
- 产品推荐
- 这些文档可能帮助您
