场景：配置分库分表离线同步任务
说明 仅MySQL、PolarDB、AnalyticDB支持通过向导模式添加分库分表，其他数据库请切换至脚本模式配置分库分表同步。脚本模式配置分库分表：脚本示例如下，完整的任务配置步骤请参见 通过脚本模式配置离线同步任务。重要 实际运行时，请删除...
MySQL分库分表实践
本文为您介绍如何通过DataWorks数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
方案选择
数据纵向（数据规模）膨胀：采用分库分表方案，MySQL在部署时需要预估分库规模，数据量一旦达到上限后，重新部署并做数据全量迁移。数据横向（字段维度）膨胀：schema需预定义，迭代新增新字段变更复杂。而维度到达一定量后影响数据库性能...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
应用场景
支持将MySQL分库分表的数据聚合到同一张表中，提供全局数据分析能力。交互式查询 该场景要求支持实时BI报表和自定义多维查询，响应流畅，交互体验好；任意选择分析维度，无需事先建模和预计算，便于进行探索式分析。该场景可实现：查询速度...
MySQL分库分表同步至Hologres（方案1.0）
在本实践中，我们需要将MySQL数据库中的12张分库分表写入对应的两张Hologres表中。设置表（库）名映射规则如下：源表名和目标表名转换规则：支持将源表名通过正则表达式转换为目标表名。如上图所示设置 源 为要搜索的字符串 t_order.*，将...
MySQL分库分表同步至Hologres（方案2.0）
本文将以MySQL分库分表实时写入实时数仓Hologres场景为例，为您介绍分库分表写入Hologres数据集成最佳实践。前提条件 已完成Hologres和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL数据源
此处的‘分库分表’是指多个MySQL写入同一个目标表，如想要支持整库级别配置分库分表，还请在 数据集成站点建立任务 并选择整库分库分表能力 {"type":"job","version":"2.0","steps":[{"stepType":"mysql","parameter":{"indexes":[{"type...
数据类型转换
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，数据类型转换的支持范围。支持的转换类型 数值类型 分类 MySQL 数据库 OceanBase 数据库 MySQL 租户 整型 支持指定字段长度，SIGNED、UNSIGNED、ZEROFILL。INT INT ...
注意事项
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
分库分表问题
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...
逻辑库
使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库，则可便捷的进行分表/逻辑表操作，即将分表/逻辑表当做...
云原生分布式数据库PolarDB-X 1.0和2.0区别
详细信息 PolarDB-X提供1.0中间件形态，以及2.0一体化形态，具体区别如下：PolarDB-X 1.0中间件形态由计算层PolarDB-X实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分，详情请参见 产品架构。PolarDB-X 2.0一体化...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
PolarDB-X 1.0的分库分表是什么意思？
关于 PolarDB-X 1.0 的分库分表的相关说明，请参见 拆分函数概述。
UNI_HASH
分库和分表都使用同一个拆分键进行UNI_HASH时，先根据分库键键值按分库数取余，再均匀散布到该分库的各个分表上。使用场景 适合于需要按用户ID或订单ID进行分库的场景。适合于拆分键是整数或字符串类型的场景。两张逻辑表需要根据同一个...
UNI_HASH
描述 使用UNI_HASH分库时，根据分库键的键值直接按分库数取余。如果键值是字符串，则字符串会被计算成哈希值再进行计算，完成路由计算，例如UNI_HASH('8')等价于8%D（D 是分库数目）。说明 按照键值或者哈希值取余时，不会对键值会哈希值...
概述
PolarDB-X 1.0 由计算层DRDS实例与存储层 私有定制RDS 实例组成，通过挂载多个MySQL进行分库分表水平拆分。PolarDB-X 1.0 存储层 私有定制RDS 实例与计算层DRDS实例配合更加深度紧密，性能表现更优秀，服务链路更稳定，售卖价格更优惠。...
YYYYWEEK
描述 根据分库键时间值的年份与一年的周数计算哈希值，然后再按分库数进行取余。例如，YYYYWEEK('2012-12-31 12:12:12')等价于按照(2013x54+1)%D（D是分库数目）公式计算出2012-12-31是2013年的第1周。使用限制 拆分键的类型必须是DATE、...
逻辑表
分库-不分表，即每个分库下有相同的一个物理表名。定义 当业务达到一定规模后，需要通过分库分表来进行负载均衡，从而达到在大量业务压力场景下具有平滑支撑的能力。若表的数量大于1，则会按照逻辑库的数量进行均分。详细的规则如下：一般...
YYYYWEEK
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYWEEK分库函数即可满足上述要求。上述需求中提到两年以内的每一周都需对应一张分表（即一周一张表），由于一年最多有53周，所以需要创建106（53x2=106）张物理分表...
YYYYDD
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYDD分库函数即可满足上述要求。上述需求中提到两年以内的每一天都需对应一张分表（即一天一张表），由于一年最多有366天，所以需要创建732（366x2=732）张物理分表...
YYYYMM
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYMM分库函数即可满足上述要求。上述需求中提到两年以内的每个月都需对应一张分表（即一个月一张表），由于一年有12个月，所以需要创建24（12x2=24）张物理分表才能...
分布式序列
使用如下：SELECT order_seq.nextval FROM dual 业务序列 如前面提到的，分布式序列功能基于数据库表实现，dbp_sequence 可以部署成单库单表模式，同样也可以部署成分库分表模式，分库分表模式下有如下优点：提升 Sequence 表的读写能力。...
YYYYDD
描述 根据分库键时间值的年份与一年的天数计算哈希值，然后再按分库数进行取余，完成路由计算。例如，YYYYDD('2012-12-31 12:12:12')函数等价于按照(2012x366+366)%D（D是分库数目）公式计算出2012-12-31是2012年的第366天。使用限制 拆分...
错误代码
如果检查分库分表没有问题，请确认是否已生效了数据库配置。ERROR 7002:Unable to find table rule 问题描述：无法找到表的规则，查看用户 SQL 中的表有没有在数据访问代理控制台上配置分表规则。排查方法：检查分库分表规则，是否有配置...
YYYYMM
查询时带上分库分表键后能直接将查询落在某个物理分库的某个物理分表。YYYYMM分库函数即可满足上述要求。上述需求中提到两年以内的每个月都需对应一张分表（即一个月一张表），由于一年有12个月，所以需要创建24（12x2=24）张物理分表才能...
STR_HASH
描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标，以截取拆分键的字符串的某段子串，然后将其作为字符串（或整数）输入进行分库分表的路由计算具体的物理分片，函数如下所示：STR_HASH(shardKey[,startIndex,endIndex[,valType[,...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
RDS/PolarDB 数据源配置分库分表
一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...
RDS/PolarRDB 数据源配置分库分表
一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...
能否更换PolarDB-X 1.0分库分表的拆分键？
若您的 PolarDB-X 1.0 实例...若您的 PolarDB-X 1.0 实例版本低于V5.4.7-16000638，不支持变更已创建完成的分库分表的拆分键。如果确实有需要变更表的拆分键，可以采用以下的临时办法：选择新的分库键并重新建表；然后将原表的数据进行导入。
创建数据库
DRDS模式：不支持自动分区，创建表时需使用DRDS专用的分库分表语法，指定分库分表键，否则创建的是一张单表。两种模式的详细介绍请参见 AUTO模式数据库与DRDS模式数据库。备注说明 备注该数据库的相关信息，便于后续数据库管理。该参数为非...
逻辑表查询
背景信息 分库分表后，需要快速地查询单个分表或查询多个分表并返回结果，可以对使用者屏蔽人为寻找分库、分表场景。用户最终使用查询操作都是被当做单个表查询，这样的操作相对较透明，也符合用户当下的诉求。数据管理DMS 基于产品内的 ...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
Apache ShardingSphere-Proxy与PolarDB多主集群（库表...
原理介绍 Apache ShardingSphere是开源的分布式数据库增强计算引擎，通过在应用和数据库之间部署ShardingSphere-Proxy代理，来实现非应用侵入式的分库分表。PolarDB多主集群（库表）通过将不同的逻辑数据库分散至不同的主节点（RW），来...
选择分片数
分库分表中的分库是一个逻辑上的概念，物理上可能是一个物理数据库代表一个“分库”，也可能是多个物理数据库组成一个“分库”，在数据访问代理里面统一概念称“分片”。选择分片数原则 分片数决定了数据访问代理数据库数的逻辑最大值，...
CreateDB
drds：该模式的数据库不支持自动分区，创建表时需使用专用的分库分表语法，指定分库分表键。返回数据 名称 类型 示例值 描述 Message String*成功为空，失败返回错误信息。RequestId String 9B2F3840-5C98-475C-B269-2D5C3A31797C 请求ID。...
- 产品推荐
- 这些文档可能帮助您