名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
初始化概述
3个主分区和1个扩展分区 在扩展分区中创建逻辑分区的数目没有限制，可以创建任意多个逻辑分区。分为主分区、扩展分区和逻辑分区三种类型。GPT 18 EiB（1 EiB=1,048,576 TiB）说明 阿里云云盘支持的最大容量为32 TiB。Linux：分区数量无限制...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
Linux实例磁盘扩容后同步空间到逻辑卷分区
问题原因 系统分区做了逻辑分区，磁盘扩容成功后，没有进行相应的逻辑分区扩容。解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
概述
为此，PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...
新建普通维度逻辑表
选择 自定义SQL：单击 图标，在编辑框输入内容，例如：select id,name from project_name_dev.table_name1 t1 join project_name2_dev.table_name2 t2 on t1.id=t2.id 选择 逻辑表：支持选择当前租户下所有具有读取权限的逻辑表。...
新建普通维度逻辑表
选择 自定义SQL：单击 图标，在编辑框输入内容，例如：select id,name from project_name_dev.table_name1 t1 join project_name2_dev.table_name2 t2 on t1.id=t2.id 选择 逻辑表：支持选择当前租户下所有具有读取权限的逻辑表。...
Node Labels特性使用
指定队列在指定可访问分区的可超用的最大资源容量。yarn.scheduler.capacity.<queue-path>.default-node-label-expression 分区名，默认为空字符串代表DEFAULT分区。指定队列所提交作业中没有特别指定分区的容器请求所使用的默认分区。必须...
动态分区管理
返回结果如下：c1 c2 Data 1 20231212 分区增减的逻辑如下：时间 事件 结果 2023-12-12 09:00:00 执行如上SQL，创建分区表。创建分区父表：tbl1 创建分区子表：tbl1_20231212、tbl1_20231213、tbl1_20231214 2023-12-13 00:00:00 系统自动...
AUTO模式数据库与DRDS模式数据库
自动分区与手动分区 自动分区 自动分区，指创建表时不指定任何分区定义（如分区键、分区策略等），PolarDB-X 能够自动选择分区键并对表及其索引进行水平分区的功能。AUTO模式数据库支持自动分区，而DRDS模式数据库不支持。示例如下：使用...
通过LOCALITY指定存储位置（AUTO模式）
DATABASE|CREATE DATABASE|+-+-+|db1|CREATE DATABASE `db1`/*MODE='auto' LOCALITY="dn=polardbx-ng28-dn-0,polardbx-ng28-dn-1,polardbx-ng28-dn-2"*/|+-+-+1 row in set(0.04 sec)您还可以通过如下命令查看创建在该数据库下的逻辑分...
通过DataWorks周期性导入MaxCompute数据最佳实践
导入分区数据的逻辑场景比较多，下面有两个场景供参考，请您根据实际业务逻辑两者选其中一个。场景一：导入新的分区数据。创建临时分区子表 BEGIN;CREATE TABLE IF NOT EXISTS"public".tmp_holo_dwd_product_movie_basic_info_${bizdate}(...
GetMetaTablePartition
SortCriterion Object 否 表分区的排序逻辑。SortField String 否 name 表分区的排序字段。您可通过name、modify_time排序。默认按照表分区的创建时间排序。Order String 否 desc 表分区的排序顺序，支持使用asc、desc方式排序。默认使用...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
Dataphin中汇总逻辑表补数据生成SQL中事实逻辑表筛选...
概述 Dataphin中汇总逻辑表补数据时，生成的SQL中事实逻辑表筛选日期是最大分区（20230516），而不是补数据输入的业务日期（20230505）。详细信息 汇总逻辑表补数据生成的SQL中，具体分区是由事实逻辑表的“分区与生命周期”中设置的。该...
通过整库迁移配置集成任务
使用最新非空分区：来源库为MaxCompute时，支持使用该表当前的最新非空分区（max_pt）作为需同步的分区，如该表不存在任何有数据的分区，则任务报错并置失败。说明 来源库为FTP时，不支持数据过滤配置。参数配置 来源库为FTP时，支持在来源...
概述
表分区裁剪：根据过滤条件进行逻辑分区（Split）的细化匹配，提前筛选出无效的Split，降低服务端的数据出口量。Projection和Filter下推：将Projection列和Filter条件下推到服务端，降低每个分区的数据出口量。动态指定Split大小：支持调整...
Tunnel常见错误码
检查分区字段信息，确保满足如下要求：参数中的分区列顺序要与建表语句中分区列顺序保持一致。当分区列值中有引号(pt='a'或pt="a")时，旧版本SDK没有做过引号处理，需要使用新版本的Tunnel SDK。多级分区中间有空格时，例如 pt1=a,pt2=a，...
使用说明
分区表一定要指定上传的分区，多级分区一定要指定到末级分区。更多信息请参见 Upload。Download：下载MaxCompute表或指定Instance执行结果至本地。只支持下载到单个文件，每一次下载只支持下载一张表或一个分区到一个文件。分区表一定要...
CREATE TABLE（AUTO模式）
逻辑分区：对应一个或多个物理分区的虚拟分区，相当于一个逻辑概念。例如，当使用二级分区构建分区表时，它的一级分区就是逻辑分区。参数说明 参数 说明 CHARSET|CHARACTER SET 指定表中列的默认字符集，可使用字符集如下：utf8 utf8mb4 ...
何时使用Range-Range分区
Range-Range分区是指一级分区是Range分区，二级分区也是Range分区的组合分区类型。Range-Range分区适用于在多个时间维度上存储与时间相关的数据应用程序，这些应用程序通常不使用某个特定的时间维度来访问数据，而是使用另一个时间维度，...
通过外表导入至数仓版
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
管理Partitions
res=client.list_partitions(collection_name="yourCollectionname")print(res)创建Partition 创建分区是在已有的集合基础上进行的，分区是Collection的逻辑子集，用于组织和管理Collection中的数据。因此，在创建分区之前需要先创建对应的...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
概述
分区表是将一个大的逻辑表，按照分区规则分割成多个小的物理表，大的逻辑表为分区表，小的物理表为分区，每一个分区在存储引擎上独立组织管理数据和索引。分区规则主要包括 RANGE、LIST、HASH 三种，您需要指定分区键，根据分区键字段的值...
查看并编辑表规范及管控研发流程
时间分区-分钟 逻辑表的分钟调度周期会使用天分区、小时分区和分钟分区作为系统分区字段。通常情况下不建议修改，除非您企业有自己的规范。中文名：默认为 时间分区-分钟，支持修改。包含汉字、字母、数字、下划线（_）或短划线（-），且不...
查看并编辑表规范及管控研发流程
时间分区-分钟 逻辑表的分钟调度周期会使用天分区、小时分区和分钟分区作为系统分区字段。通常情况下不建议修改，除非您企业有自己的规范。说明 AnalyticDB for PostgreSQL 和 StarRocks 计算引擎不支持 时间分区-小时 设置。中文名：默认...
分区表管理（auto_partition）
其中 AnalyticDB PostgreSQL 6.0版 仅支持物理分区，AnalyticDB PostgreSQL 7.0版 同时支持物理分区和逻辑分区。逻辑分区：将数据库中的数据划分为逻辑上独立的部分，每个分区可以包含一个或多个表。逻辑分区子表其实是一个一级表，仅通过...
INTERVAL RANGE简介
INTERVAL RANGE是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。前提条件 集群版本需为 PolarDB MySQL版 8.0.2版本且Revision version为8.0.2.2.0及以上。您可以通过 查询版本号 确认集群版本。...
Logview诊断实践
SQL在结束阶段运行于控制集群的逻辑占用时间较长，比如更新动态分区的元数据，下面将举例介绍几种典型。子查询多阶段执行 大部分情况下，MaxCompute SQL的子查询会被编译进同一个Fuxi DAG，即所有子查询和主查询都通过一个Fuxi作业完成。但...
偏分析场景的实践和优化
直接用col先做一级分区 PARTITION BY HASH(col)SUBPARTITION BY LIST(ds)/ds转换后的月做二级分区 SUBPARTITION TEMPLATE(PARTITION p1 VALUES LESS THAN('2021-08-00'),PARTITION p2 VALUES LESS THAN('2021-09-00'),)合理设计索引 如果...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
CREATE DATABASE
MODE 指定逻辑库所使用的分区模式，支持两种分区模式：drds：DRDS模式，全库只能使用DRDS模式的 CREATE TABLE（DRDS模式）语法（如dbpartition by/tbpartition by）进行建表。auto：AUTO模式 不手动指定分区定义时，自动按主键分区；全库...
Dataphin维度逻辑表提交报错“invalid partition type...
问题原因 用的项目是MaxCompute 1.0 数据类型，不支持DATETIME作为分区。要么项目级别开启MaxCompute 2.0 数据类型，要么改板块的配置，分区字段类型改为STRING。解决方案 在“规划”“数据架构”“研发规范”中，将分区字段的数据类型设置...
Hive数据源
重要 当导入数据导致文件变更时，分区表会执行ALTER PARTITION的event逻辑，未分区表会执行ALTER TABL的event逻辑。如果绕过HMS直接操作文件系统的话，HMS不会生成对应事件，SelectDB因此也无法感知。该特性在 fe.conf 中由以下参数控制：...
- 产品推荐
- 这些文档可能帮助您