场景:配置分库分表离线同步任务

说明 仅MySQL、PolarDB、AnalyticDB支持通过向导模式添加分库分表,其他数据库请切换至脚本模式配置分库分表同步。脚本模式配置分库分表:脚本示例如下,完整的任务配置步骤请参见 通过脚本模式配置离线同步任务。重要 实际运行时,请删除...

PolarDB MySQL计算能力优化

一般来说,分库分表方案解决了以下几个主要问题:本地存储不足、计算能力不足以及大表的运维复杂性。随着数据量的日益增长,运维团队为了确保业务的稳定性,不得不开始考虑数据拆分的问题。由于分库分表带来的兼容性挑战,业务代码也需进行...

物流行业:PolarDB分布式版助力韵达“客户管家”全面...

按我们的以往的惯例会采用分库分表方案,按照我们以往使用的经验,我们后续将面临扩容、运维管理、代码侵入等一系列的问题。海量数据怎么存 按监管要求,我们需要保存数年的数据,面临日增千万的数据量,在任何一个数据库哪怕是分布式数据...

方案选择

伴随着订单数据量的增加,采取分库分表方案应对,通过这种伪分布式方案解决数据膨胀带来的问题。但数据一旦达到瓶颈,便会出现明显的弊端。数据纵向(数据规模)膨胀:采用分库分表方案,MySQL在部署时需要预估分库规模,数据量一旦达到...

配置MySQL输入

MySQL节点支持分库分表,您可以单击 添加分库分表数据源,从下拉列表中选择相应的 数据源 和 表,添加多个数据源,同时进行同步。重要 所选表的Schema需要保持一致,否则执行会报错。单击工具栏中的 图标。常见问题 实时同步MySQL数据源的...

注意事项

如果数据库分片集群是分库分表模式,则所有数据库分表都需要配置分库分表规则,如果数据库分片中只有单表,分库分表规则可以直接配置 0 即可。在如下配置中,single_table 会路由到 group_00 分片:使用限制 仅支持 DML 语句(INSERT、...

分库分表问题

常见分库分表问题列表:分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段,但是如果配置了拆分字段,后续执行 SQL 均...

数据同步模板

分库分表合并 当同一份业务数据分散在不同的数据库或者业务表时,我们往往需要用到分库分表合并的能力,将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据(包括新增的符合正则表达...

SQL 路由

分库分表模式下,数据访问代理会根据拆分键(即拆分字段)以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后,数据访问代理会将从各个分表获取的数据合并,然后返回给用户。本文介绍在分库分表场景中数据访问...

Sharding 功能介绍

分库分表规则 Hash 取模:将数值对分库/分表数量进行取模,得到的值作为分库位/分表位。如分表规则为 Hash 取模,分表总数为 100,值为 230,则分表位计算结果为:230%100=30。字段类型为数字。字符串截断(MySQL 风格):将值通过 MySQL ...

UNI_HASH

使用示例 假设需要对id列按UNI_HASH函数进行分库分表,每库包含4张表,则您可以使用如下DDL语句进行建表:create table test_hash_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime DEFAULT NULL,primary key(id))ENGINE=...

UNI_HASH

使用示例 假设需要对ID列按UNI_HASH函数进行分库分表,每库包含4张表,则您可以使用如下DDL语句进行建表:create table test_hash_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime DEFAULT NULL,primary key(id))ENGINE=...

逻辑

逻辑库是由单个或多个物理库配置而成,可便捷地进行分库分表的操作。本文介绍逻辑库的定义、应用场景等信息。定义 当业务达到一定规模后,需要通过分库分表来进行负载均衡,从而达到在大量业务压力场景下具有平滑支撑的能力。当库的数量...

扫描全部/部分分库分表

本文介绍了扫描全部/部分分库分表的HINT语法和示例。除了可以将SQL单独下发到一个或多个分库执行,PolarDB-X 还提供了扫描全部/部分分库与分表的 SCAN HINT。使用 SCAN HINT,您可以一次将SQL下发到每一个分库执行,比如查看某个分库上的...

连接 Navicat 客户端

功能说明 数据访问代理与 Navicat 完成连接后,在本地 Navicat 客户端中,支持与不支持的操作分别如下:支持访问授权的数据库 支持双击打开数据表(单库单表、分库分表均支持)支持查询数据表结构(单库单表、分库分表均支持)支持在 SQL ...

PolarDB-X 1.0的分库分表是什么意思?

关于 PolarDB-X 1.0 的分库分表的相关说明,请参见 拆分函数概述。

扫描全部/部分分库分表

本文介绍了扫描全部/部分分库分表的HINT语法和示例。本文适用于 PolarDB-X 1.0 5.3及以上版本,其他版本请参见 如何使用HINT(5.2及以下版本适用)。除了可以将SQL单独下发到一个或多个分库执行,PolarDB-X 1.0 还提供了扫描全部/部分分库...

应用场景

交易支付透明拆分 交易支付是蚂蚁集团最核心的一个业务,最初采用的是分库分表的解决方案分库分表方案给核心业务带来了水平扩展的能力,同时也带来了灰度升级的能力,让核心业务的系统性风险大大降低。但随着支付宝业务的飞速发展,...

RDS/PolarDB 数据源配置分库分表

一般用户的分库分表分两种情况:单库多表:database1 table1、table2、table3、table4.多库多表:database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...

RDS/PolarRDB 数据源配置分库分表

一般用户的分库分表分两种情况:单库多表:database1 table1、table2、table3、table4.多库多表:database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...

查看分库信息

您可以通过数据访问代理控制台查看数据库分库分表信息以及后端各个物理分库名与所在的物理数据源(RDS 或 OceanBase)。操作步骤如下:进入数据访问代理控制台,单击左侧导航栏上的 数据库 后,可在右侧的数据库列表页面查看数据库相关...

自定义 HINT

自定义路由 HINT 分库分表场景下使用数据访问代理时,每一个 SQL 请求语句中都需要存在分库分表字段。在无法获得分库分表字段场景下,如果需要请求指定数据分片、分表执行 SQL 语句时,可以通过自定义路由 HINT 实现。自定义路由 HINT 基本...

错误代码

如果检查分库分表没有问题,请确认是否已生效了数据库配置。ERROR 7002:Unable to find table rule 问题描述:无法找到表的规则,查看用户 SQL 中的表有没有在数据访问代理控制台上配置分表规则。排查方法:检查分库分表规则,是否有配置...

YYYYWEEK

当周数经过一个循环周期后(如2012年第1周经过一个2年的循环周期后是2014年第1周),相同周数有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。使用场景 YYYYWEEK函数适用于需要按年份与一年的周数进行分库的场景。...

YYYYMM

当月份经过一个循环周期后(如2012-03经过一个2年的循环周期后是2014-03),相同月份有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。使用场景 适合于需要按年份与月份进行分库的场景,建议结合该函数与 ...

应用场景

业务复杂度高是该类业务的典型特征 典型的应用场景如下:分库分表后的跨数据库分布式事务 例如支付宝的交易服务,随着业务规模的增大,单个交易流水表已经不能满足业务需求,需要通过分库分表实现数据水平拆分。但是水平拆分后,单表的数据...

YYYYDD

当日期经过一个循环周期后(如2012-03-01经过一个2年的循环周期后是2014-03-01),同一个日期有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。使用场景 YYYYDD函数适用于需要按年份与一年的天数进行分库的场景。...

分库分表

数据拆分 数据库访问代理支持库级拆分,表级拆分和分库分表拆分,通过数据库访问代理 DDL 语句指定,具体操作参见 DDL 语法。数据访问代理根据指定拆分键的值,采用特定的算法进行计算,然后根据计算结果将数据存储到对应的分库/分表中。...

分布式序列

数据访问代理提供了生成分布式环境下的分布式唯一序列(Sequence)的能力,该序列有全局唯一、全局递增的特性,常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现,如果需要使用该功能,需要...

数据访问代理连接器概述

数据访问代理连接器基于标准的 JDBC 接口...分库分表路由指定 可通过自定义 HINT 语句,指定 SQL 语句访问某一特定的分库分表。拦截器扩展 数据访问代理连接器具有灵活的扩展机制,可通过实现拦截器(Interceptor)接口,提供更多的扩展功能。

YYYYWEEK

当周数经过一个循环周期后(如2012年第1周经过一个2年的循环周期后是2014年第1周),相同周数有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本。关于实例...

YYYYMM

当月份经过一个循环周期后(如2012-03经过一个2年的循环周期后是2014-03),相同月份有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本,关于实例版本请参见 ...

YYYYDD

当日期经过一个循环周期后(如2012-03-01经过一个2年的循环周期后是2014-03-01),同一个日期有可能被路由到同一个分库分表,具体被分到哪个分表受实际的分表数目影响。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本,关于实例...

MySQL分库分表同步至MaxCompute

本文以MySQL分库分表实时写入MaxCompute场景为例,为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上,以便在同步任务配置时,可通过选择数据源名称来...

主键与唯一键(DRDS模式)

分库分表 Global主键 在分库分表中,如果主键列包含了所有拆分键,该主键就是Global主键,能保证全局唯一。示例2:分库分表中的Global主键 表user_tbl中,分库的拆分键为 id,分表的拆分键为name,主键列(id,name,addr)包含了所有拆分键,...

分布式序列问题

分库分表的分布式序列仅保证单个分片的序列 ID 唯一,如果需要确保分库分表的分布式序列全局唯一,可以在序列 ID 中拼接分库分表位,以此保证全局唯一。分布式序列使用注意事项 在运行过程中,不能调整 dbp_sequence 表的数据,如果进行了...

逻辑表

当业务达到一定规模后,需要通过分库分表来进行负载均衡,从而达到在大量业务压力场景下具有平滑支撑的能力。本文介绍逻辑表的定义、应用场景、配置说明等信息。注意事项 逻辑表的操作必须在对应的逻辑库下进行。说明 逻辑表可当做单表直接...

功能特性

数据访问代理兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后,只需...

STR_HASH

描述 STR_HASH函数通过指定字符串的开始位置下标与结束下标,以截取拆分键的字符串的某段子串,然后将其作为字符串(或整数)输入进行分库分表的路由计算具体的物理分片,函数如下所示:STR_HASH(shardKey[,startIndex,endIndex[,valType[,...

管理MySQL Catalog

例如,有一个分库分表的MySQL数据库,包括user01、user02和user99等多个表,分散在db01~db10等数据库中,且所有表的Schema都相互兼容,则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Tair(兼容 Redis) 云服务器 ECS 人工智能平台 PAI 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用