MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
MySQL分库分表同步至MaxCompute
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张MaxCompute表，如果同时配置多个任务会导致配置非常复杂且运维困难。针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案...
MySQL分库分表同步至MaxCompute
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张MaxCompute表，如果同时配置多个任务会导致配置非常复杂且运维困难。针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案...
MySQL分库分表同步至Hologres（方案1.0）
在本实践中，我们需要将MySQL数据库中的12张分库分表写入对应的两张Hologres表中。设置表（库）名映射规则如下： 源表名和目标表名转换规则：支持将源表名通过正则表达式转换为目标表名。如上图所示设置 源 为要搜索的字符串 t_order.*，将...
MySQL分库分表同步至Hologres（方案2.0）
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张Hologres表，如果同时配置多个任务会导致配置非常复杂且运维困难。针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案，...
场景：配置分库分表离线同步任务
仅MySQL、PolarDB、AnalyticDB支持通过向导模式添加分库分表，其他数据库请切换至脚本模式配置分库分表同步。脚本模式配置分库分表：脚本示例如下，完整的任务配置步骤请参见 通过脚本模式配置离线同步任务。重要 实际运行时，请删除下述...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
应用场景
支持将MySQL分库分表的数据聚合到同一张表中，提供全局数据分析能力。交互式查询 该场景要求支持实时BI报表和自定义多维查询，响应流畅，交互体验好；任意选择分析维度，无需事先建模和预计算，便于进行探索式分析。该场景可实现： 查询...
方案选择
数据纵向（数据规模）膨胀：采用分库分表方案，MySQL在部署时需要预估分库规模，数据量一旦达到上限后，重新部署并做数据全量迁移。数据横向（字段维度）膨胀：schema需预定义，迭代新增新字段变更复杂。而维度到达一定量后影响数据库性能...
MySQL数据源
您可以在MySQL数据库通过如下语句查看当前MySQL数据库版本。select version();准备工作2：配置账号权限 建议您提前规划并创建一个专用于DataWorks访问数据源的MySQL账号，操作如下。可选：创建账号。操作详情请参见 创建MySQL账号。配置...
使用DataWorks（离线与实时）
MaxCompute支持通过DataWorks的 数据集成 功能将其他数据源的数据以离线或实时...数据库分库分表同步至MaxCompute MySQL分库分表同步至MaxCompute 数据库全增量实时同步至MaxCompute 一键实时同步至MaxCompute MySQL一键实时同步至MaxCompute
常见问题
MySQL分库分表如何将分表同步到一张MaxCompute中。数据同步任务where条件没有索引，导致全表扫描同步变慢。目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？使用API方式同步的时候，支持使用来源端的（例如...
技术原理
这些MySQL数据库可分布于多台机器乃至跨机房，对外服务（增删改查）尽可能保证如同单MySQL数据库体验。拆分后，在MySQL上物理存在的数据库称为分库，物理的表称为分表（每个分表数据是完整数据的一部分）。PolarDB-X 1.0 通过在不同MySQL...
一键实时同步至Hologres
分库分表配置可参考最佳实践：MySQL分库分表同步至Hologres（方案1.0）。任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源...
功能特性
MySQL分库分表实践 Spark写入Hologres 可以通过Hologres Connector实现Spark写入Hologres，以及读取Hologres，完整数仓开发链路。Spark的数据写入至Hologres SLS日志数据实时写入Hologres 可以通过Flink、DataWorks数据集成等方式将SLS日志...
如何对JSON类型进行高效分析
传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据类型，可以按需增...
离线同步常见问题
MySQL分库分表如何将分表同步到一张MaxCompute中 数据同步任务where条件没有索引，导致全表扫描同步变慢 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？同步的数据表，是否只能使用Alter方式来修改TTL?...
技术指标
OceanBase 数据库的技术指标如下表所示。数据项 MySQL模式 Oracle模式 集群名最大长度 128（字节）128（字节）租户名最大长度 64（字节）64（字节）用户名最大长度 64（字节）64（字节）库名最大长度 128（字节）N/A 表名最大长度 64（字节...
技术架构
PolarDB-X 支持binlog日志服务，兼容和拥抱MySQL数据库生态，用户可以将 PolarDB-X 当做一个MySQL库，采用标准的binlog dump协议获取binlog日志。高扩展 PolarDB-X 基于Share-Nothing的架构支持水平扩展，同时支持数据库在线扩缩容能力，在...
注意事项
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
分库分表问题
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...
云原生分布式数据库PolarDB-X 1.0和2.0区别
1.0中间件形态由计算层PolarDB-X实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分，详情请参见 产品架构。PolarDB-X 2.0一体化形态由多个节点构成，实例内部署多个节点进行水平扩展，每个节点闭环整合计算资源与...
技术架构
整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和...
逻辑库
使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库，则可便捷的进行分表/逻辑表操作，即将分表/逻辑表当做...
CDC问题
如何读取一个分库分表的MySQL数据库？多个CDC作业导致数据库压力过大怎么办？报错：com.github.shyiko.mysql.binlog.network.ServerException: A slave with the same server_uuid/server_id as this slave has connected to the master 报...
PolarDB技术内幕
本文档介绍PolarDB云数据库的性能优点以及共享存储、物理复制和使用场景中优化的过程。背景信息 传统的关系型数据库有着悠久的历史，从上世纪60年代开始就已经在航空领域发挥作用。因为其严谨的一致性保证以及通用的关系型数据模型接口，...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生...数据库管理系统的部署和创新越来越倾向于“云优先”或“纯云”。挑选DBMS 解决方案的数据和分析负责人慢慢接受这样一个事实，即云DBMS是未来的发展方向。
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
技术架构
本文介绍全球数据库网络（Global Database Network，简称GDN）的技术架构。图 1.GDN架构 跨地域部署 ⼀个主集群（Primary），其他为从集群（Secondary)，多个 PolarDB 集群之间数据保持同步。说明 当前一个GDN中包含一个主集群和最多四个从...
PolarDB-X 1.0的分库分表是什么意思？
关于 PolarDB-X 1.0 的分库分表的相关说明，请参见 拆分函数概述。
存储层高可用
AnalyticDB的存储层是基于Raft协议构建了一套分布式强一致、高可用、高可靠的存储系统，相比较于传统RDBMS的主备协议、常见的分布式中间件分库分表的系统，实现了更好的读写高可用。读写高可用 AnalyticDB使用Multi-Raft方式管理数据分片，...
概述
PolarDB-X 1.0 由计算层DRDS实例与存储层 私有定制RDS 实例组成，通过挂载多个MySQL进行分库分表水平拆分。PolarDB-X 1.0 存储层 私有定制RDS 实例与计算层DRDS实例配合更加深度紧密，性能表现更优秀，服务链路更稳定，售卖价格更优惠。...
UNI_HASH
分库和分表都使用同一个拆分键进行UNI_HASH时，先根据分库键键值按分库数取余，再均匀散布到该分库的各个分表上。使用场景 适合于需要按用户ID或订单ID进行分库的场景。适合于拆分键是整数或字符串类型的场景。两张逻辑表需要根据同一个...
UNI_HASH
分库和分表都使用同一个拆分键进行UNI_HASH时，先根据分库键键值按分库数取余，再均匀散布到该分库的各个分表上。注意事项 UNI_HASH算法是简单取模，要求拆分列的值的自身分布均衡才能保证哈希均衡。使用限制 拆分键的数据类型必须是整数...
SQL优化技术
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
分布式序列问题
唯一，如果需要确保分库分表的分布式序列全局唯一，可以在序列 ID 中拼接分库分表位，以此保证全局唯一。分布式序列使用注意事项 在运行过程中，不能调整 dbp_sequence 表的数据，如果进行了调整，可能会导致序列数据冲突。在运行过程中，...
错误代码
排查方法：检查分库分表规则，是否有配置当前表的分库分表规则。如果检查分库分表没有问题，请确认一下是否有生效数据库配置。ERROR 7022:Physical database connection pool is full,database name:x 问题描述：数据访问代理连接后端数据...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
为什么在控制台上执行带有dbpartition或tbpartition...
PolarDB-X 1.0 控制台不支持直接执行带有 dbpartition 或 tbpartition 关键字的分布式DDL。若要建分库分表，请连接数据库后直接使用 DDL语句 进行建表。如何连接数据库，请参见 连接数据库。
- 产品推荐
- 这些文档可能帮助您