公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，可以提高数据迁移效率。本文为您介绍 clone table 的功能、使用限制、命令格式及使用示例。功能介绍 支持高效地将源表中的数据复制到目标表中。将...
管理MongoDB Catalog（公测中）
MongoDB Catalog提供的表可以直接作为Flink SQL作业中的源表、维表和结果表使用。VVR 8.0.6及以上版本MongoDB Catalog可以配合 CREATE TABLE AS（CTAS）语句 或 CREATE DATABASE AS（CDAS）语句 完成表结构变更的同步。本文将从以下方面为...
使用“optimize table”命令释放MySQL实例的表空间
对大表进行optimize table操作会带来突发的IO和Buffer使用量，可能导致锁表和抢占资源，业务高峰期可能会导致实例不可用以及监控断点。建议在业务低峰期操作。通过命令行操作 连接MySQL数据库，详情请参见 通过命令行、客户端连接RDS MySQL...
使用“optimize table”命令释放MySQL实例的表空间
对大表进行optimize table操作会带来突发的IO和Buffer使用量，可能导致锁表和抢占资源，业务高峰期可能会导致实例不可用以及监控断点。建议在业务低峰期操作。通过命令行操作 连接MySQL数据库，详情请参见 通过客户端、命令行连接RDS MySQL...
分区表常见问题
在这种场景下，您可以在一张分区表中同时使用两种分区：大租户单独使用LIST分区，或多个大租户组合使用一个LIST分区。分区个数取决于大租户的个数和数据量。其他中小租户使用HASH分区，HASH分区的分区个数确定方法同HASH分区表。使用分区表...
全局二级索引（GSI）
使用全局二级索引可以实现透明分区表，即您可以像使用单表一样使用分区表，大大减少分区键对分区表的使用限制。说明 全局二级索引功能当前处于灰度发布阶段，如有需求，请前往 配额中心，根据 配额ID polardb_mysql_gsi 找到配额名称，在...
外部表概述
创建好的外部表可以像普通的MaxCompute表一样使用（大部分场景），充分利用MaxCompute SQL的强大计算功能。说明 使用外部表功能时，外部表的数据不会复制一份存在MaxCompute上并产生存储费用。外部表支持全量搜索。Tunnel功能及Tunnel SDK...
Hash Clustering
Join在MaxCompute内部主要有三种实现方法：Broadcast Hash Join 当Join表中存在一个很小的表时，MaxCompute采用此方式，即把小表广播传递到所有的Join Task Instance上面，然后直接和大表做Hash Join。Shuffle Hash Join 如果Join表比较大...
使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移
支持分区表和非分区表，支持对聚簇表使用 clone table 命令复制表数据。目标表已存在时，一次性复制分区的数量上限为10000个。目标表不存在时，无分区数量限制，满足原子性。对同一个非分区表或分区表的同一个分区，执行 clone table 命令...
OOM常见问题排查指南
类型4：大表被Broadcast Broadcast是指将数据复制至所有Shard。仅在Shard数量与广播表的数量均较少时，Broadcast Motion的优势较大。在Join场景中，执行计划先进行Broadcast，即将build side的数据广播完再构建Hash表，这就意味着每个Shard...
列存索引中GroupJoin算子的实现
使用右表（大表）查哈希表，查询命中则在hash table entry上运算涉及右表的aggr函数，否则丢弃或者直接输出。以上介绍了IMCI GroupJoin算法的基本思路，下文会对算法进行详细的描述以及介绍简化的方法。限制条件 出于实现的复杂度考虑，相...
CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，提高数据迁移效率。本文以具体示例为您介绍 clone table 功能的使用。功能介绍 clone table 支持高效地将源表中的数据复制到目标表中。将数据复制到...
大数据计算服务MaxCompute
如果MaxCompute维表数据量较大，可以考虑使用SHUFFLE_HASH注解将维表数据均匀分散到各个并发中。详情请参见 如何使用维表SHUFFLE_HASH注解？在使用超大MaxCompute维表时，如果JVM频繁GC导致作业异常，且在增加维表JOIN节点的内存仍无改善的...
全局索引
类别 TPS Prepared Statement 不使用 使用 并发数 1 32 64 1 32 64 普通表 1,115 51,025 60,409 4,822 90,312 100,802 分区表+局部索引 271 2,903 2,524 550 5,276 4,237 分区表+全局索引 暂不支持 4,334 69,040 75,232 结论 全局索引对...
品牌升级
PolarDB-X 融合分布式SQL引擎与分布式自研存储X-DB，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验。此次品牌升级，存量DRDS实例不受影响，可正常续费...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
使用说明
对于大宽表，可以使用Hybrid Plan来加速宽表查询。具体操作请参见 使用Hybrid Plan加速宽表查询。对于海量数据的复杂查询，可以使用多机MPP进行查询加速。具体操作请参见 使用多机MPP对海量数据分析提速。其他 如果您对列存索引背后的原理...
DMS中表维护的操作说明
优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：检查表时只检查没有被正确关闭的表。已...
DMS中表维护的操作说明
优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：检查表时只检查没有被正确关闭的表。已...
DMS中表维护的操作说明
优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：检查表时只检查没有被正确关闭的表。已...
DMS中表维护的操作说明
优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：检查表时只检查没有被正确关闭的表。已...
动态文件剪枝
如果表不够大，可能使用DFP不如直接扫描全表。你可以使用命令：DESCRIBE DETAIL table_name，然后查看 sizeInBytes 列获取到表的大小。spark.databricks.optimizer.deltaTableFilesThreshold（在Databricks 8.3之前是1000，在Databricks 8....
使用冷存储
建表和修改表属性均可以使用Java API和HBase Shell完成，在使用Java API前请按照 使用Java API访问增强版集群 文档完成Java SDK安装和参数配置。在使用HBase Shell前，请按照 使用HBaseue Shell访问增强版集群 文档完成Shell的下载和配置。...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
通过Flink访问宽表引擎
您可以使用社区版Flink或阿里云实时计算版Flink访问 云原生多模数据库 Lindorm 宽表。本文介绍同时适用于阿里云Flink和社区版Flink访问Lindorm宽表的方法。背景信息 您可以将 云原生多模数据库 Lindorm 宽表作为Flink中的维表或者结果表，...
HBase Shell使用介绍
通过Shell工具可以对云数据库HBase进行数据管理，包括建表、插入数据、删除数据和删除表等操作，本文介绍Shell的基本使用命令。访问配置 如果使用的是云数据库HBase标准版，基本环境的配置操作请参见 使用HBase Shell访问HBase标准版。如果...
数据表管理
调整拆分键 调整拆分键功能会按照您指定的表名和拆分键信息创建一张新的目标表，通过后台数据同步能力，将数据同步到目标表中，您可以根据需要直接使用新表或者使用 rename 语句变更表名。使用限制 如果分库或者分表拆分函数使用了YYYYMM/...
如何使用表分区？
对于数据库中的事实表以及一些比较大的表，建议您使用表分区。使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以...
自媒体：易撰
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
新建项目空间并引用表
本文为您介绍如何创建数据工作站项目空间，并添加数据库、表。...查看表使用说明 系统自动根据库表列元数据生成表描述。您可展开数据库，再双击表名称，在 使用说明 页签下查看或编辑表描述。下一步操作 使用Notebook开发
生命周期操作
如果您需要在最后一个分区被回收后自动删除该表，可以通过以下两种方式进行设置：说明 当项目级别与表级别的设置发生冲突，会优先使用表级别的设置。项目级别-最后一个分区被回收后自动删除该表 setproject odps.table.lifecycle....
配置流引擎的宽表连接器
在使用流引擎处理计算任务时，Lindorm支持将宽表作为维表或结果表使用。本文介绍使用Flink SQL提交计算任务时的宽表连接器配置。背景信息 在流引擎中通过Flink SQL提交计算任务时，需要使用 CREATE TABLE 语句并配置连接器（Connector）...
管理SLS Catalog
SLS Catalog提供的表可以直接作为Flink SQL作业中的源表和结果表使用，不支持作为Lookup维表。创建SLS Catalog 在 查询脚本 文本编辑区域，输入配置SLS Catalog的命令。CREATE CATALOG<catalogName>WITH('type'='sls','endpoint'='...
使用须知
慎用扫全表、OR、Join和子查询 虽然Phoenix支持各种Join操作，但是Phoenix主要还是定位为在线数据库，复杂Join，比如子查询返回数据量特别大或者大表Join大表，在实际计算过程中十分消耗系统资源，会严重影响在线业务，甚至导致OutOfMemory...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
分布式序列
普通序列 数据访问代理的分布式序列功能提供了类 Oracle 语法的 SQL 语句，seq_name.nextval，其中 seq_name 是任意字符串，一般是一张逻辑表使用同一个 seq_name，基于单库单表的 dbp_sequence 表实现。使用如下：SELECT order_seq....
- 产品推荐
- 这些文档可能帮助您