获取元数据分区字段的统计信息

获取数据湖元数据分区指定字段的统计信息 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头,无特殊请求头。请参见公共请求参数...

RDS迁移至MaxCompute实现动态分区

执行动态分区SQL,按照临时表的字段dt自动分区dt字段中相同的数据值,会按照这个数据值自动创建一个分区值。例如dt中有些数据是20181025,会自动在ODPS分区表中创建一个分区dt=20181025。动态分区SQL如下。可以注意到SQL中select的字段...

插入或覆写动态分区数据(DYNAMIC PARTITION)

MaxCompute支持通过insert into或insert overwrite操作向动态分区中插入数据。本文中的命令您可以在如下工具平台执行:MaxCompute客户端 MaxCompute控制台(查询编辑器)DataWorks控制台 MaxCompute Studio 前提条件 执行insert into和...

为什么有Group对应的Topic分区显示1970?

Group没有消费过该Topic分区的消息。如果Group没有消费过某Topic分区的消息,那么Group对应的Topic分区的最近消费时间显示为1970。

消息队列Kafka版实例中重新...分区数不能小于曾经配置过

问题描述 消息队列Kafka版实例中,重新创建已经删除过的Topic并且分区数小于上次创建时设置的分区数,系统提示以下信息。创建topic成功,分区数不能小于曾经配置过的分区数,已重置为XX。问题原因 历史版本的消息队列Kafka版实例在删除...

云盾推送到负载均衡的证书如何区分

概述 本文主要介绍如何区分云盾推送到负载均衡的证书。问题描述 在云盾证书服务控制台 申请好证书,再推送到了负载均衡。...解决方案 登录云盾证书服务控制台,选择 我的证书,在我的证书页面可以查看证书名称及对应的域名。...

Quick BI分面散点图如何调节水平轴区间值

问题描述 分面散点图如何调节水平轴区间值。问题原因 用户想自己调节分面散点图的水平轴区间值。解决方案 可以在过滤器中设置过滤条件,从而实现按照需求去调节分面散点图的水平轴区间值。如图所示。1.将X轴/度量的指标添加到过滤器中。...

PyODPS读取分区表数据

with t.open_reader(partition='dt=20190715,region=beijing')as reader1:count=reader1.count print("第一种方式查询分区表数据:")for record in reader1:print record[0],record[1],record[2]#第二种方式如下。print("第二种方式查询...

配置MaxCompute监控

分区表达式 描述 dt=$[yyyymmdd-N]代表前N天 dt=$[yyyymm01-1]代表每月1日 dt=$[yyyymm01-Nm]代表N月前1日 dt=$[yyyymmld-1]代表每月最后一天 dt=$[yyyymmld-1m]代表N月前最后一天 dt=$[hh24miss-1/24]代表一个小时前 dt=$[hh24miss-30/24/...

PyODPS查看一级分区

with o.execute_sql('select*from user_detail WHERE dt=\'20190715\'').open_reader()as reader4:print reader4.raw for record in reader4:print record["userid"],record["job"],record["education"]#使用ODPS的DataFrame获取一级分区。...

DELETE

您需要删除具体的分区表子表后,才可以删除分区表父表。语法 DELETE命令的语法如下所示。DELETE FROM table_name[*][[AS]alias][WHERE condition]参数说明如下表所示。参数 描述 alias 别名。目标表的替代名称。condition 删除目标表的条件...

创建分区

分区表与OSS目录的关系在DLA中,可以将存储在OSS中的目录或文件映射成一张分区表,表中的数据是OSS的文件内容,分区列对应OSS中的目录,该目录需遵守以下命名规则:分区列对应表的LOCATION下的一个子目录,目录的命名规则为分区列名=分区列...

done分区指南

1)务必保证.done在分区字符串的末尾,'hh=12.done/ds=20170909’为错误格式:如ds=20110101/hh=11.done2)不解析分区内容,不解析具体’ds’,‘dt’,'hh’之类的含义,在探测过程中只对所取分区按照字典序倒序探测高级用法:如果传递odps...

PyODPS参数传递

with t.open_reader(partition='dt='+args['dt']+',region=beijing')as reader1:count=reader1.count print("查询分区表数据:")for record in reader1:print record[0],record[1],record[2]单击高级运行(带参数运行)。在参数对话框填写...

done分区指南

1)务必保证.done在分区字符串的末尾,'hh=12.done/ds=20170909’为错误格式:如ds=20110101/hh=11.done2)不解析分区内容,不解析具体’ds’,‘dt’,'hh’之类的含义,在探测过程中只对所取分区按照字典序倒序探测高级用法:如果传递odps...

SQL调优

INSERT OVERWRITE TABLE A2 PARTITION(dt)SELECT SPLIT_PART(value,'\t',1)AS field1,SPLIT_PART(value,'\t',2)AS field2,dt FROM A WHERE dt='20151010';这种情况下,不建议使用动态分区,优化语句如下。INSERT OVERWRITE TABLE A2 ...

DDL语句

主键为id,分区字段为dt和hh,版本字段为ts。创建外表 支持在已经存在的Hudi表之上创建外表。创建外表示例如下所示。create table h0 using hudi location '/xx/xx/h0';CTAS语法 通过以下示例为您介绍如何使用CTAS语法。示例1:create ...

GetQualityEntity

MatchExpression String 是 dt=$[yyyymmdd]分区表达式。ProjectName String 是 autotest 引擎或数据源的名称。您可以从数据源配置中获取名称。RegionId String 是 cn-shanghai 地域信息,通常为服务所在的地域。例如,华东2(上海)为...

DML语句

本文为您介绍Hudi与Spark SQl集成后,...DELETE语句 表示删除分区表或非分区表中满足指定条件的单行或多行数据。语法DELETE FROM tableIdentifier[WHERE BOOL_EXPRESSION];示例:删除表h0中id大于100的数据。delete from h0 where id>100;

ALTER TABLE

ALTER TABLE用来对表的信息进行修改,目前支持的操作包括:添加分区删除分区添加列修改列 目前ALTER TABLE的操作只支持OSS表。添加分区语法ALTER TABLE table_name ADD[IF NOT EXISTS]PARTITION partition_spec[LOCATION 'location'][,...

分区投影

如果您的表每天都会增加一个分区(比如 dt=2021-02-19),而您不想每天都去手动添加分区。如果您的数据存储在OSS中,里面建有大量的分区(比如几万个),但是您只需要查询其中的一小部分分区。限制说明 启用分区投影的表存在以下SQL命令...

日期时间函数

原始日志:time:2018-10-2 09:11:40 weekofyear:weekofyear 加工规则:e_set("dt_prop",dt_prop(dt_parse(v("time")),v("weekofyear")))加工结果:time:2018-10-2 09:11:40 weekofyear:weekofyear dt_prop:22 dt_now 函数格式 dt_now(tz=...

概述

分区是将一个表或索引物理地分解为多个更小、更便于管理的部分。分区对应用透明,即对访问数据...语法 关于各分区类型的分区表的相关命令及说明,例如创建分区表、添加分区分区表、合并分区、拆分分区、删除分区等,请参见分区表命令列表。

分区表命令列表

本文总结了分区表的相关命令以及说明。分类 分区表命令 说明 创建 CREATE TABLE.PARTITION BY 创建一个分区表。CREATE TABLE.PARTITION BY HASH 创建指定分区数的HASH分区表。变更 ALTER TABLE…ADD PARTITION 将分区添加到现有的分区表中...

配置数据质量监控

单击已添加的分区表达式模块的+,配置表的分区表达式为dt=$[yyyymmdd-1]。单击创建规则,在添加监控规则对话框中添加列级规则。设置主键列(uid)为监控列,选择规则模板为重复值个数,固定值、强弱为弱、比较方式为小于以及期望值为1。...

CREATE TABLE

目前,PolarDB-X的分区函数仅支持以下列表:YEAR TO_DAYS TO_SECOND MONTH UNIX_TIMESTAMP Key分区与Hash分区不同,使用Key分区建表,支持同时使用多个分区列作为分区键,但它不允许分区列外层套用任何分区函数表达。Key分区分区列的类型...

JindoTable使用说明

例如pt=xxx,多个分区时用英文逗号(,)分开pt=xxx,dt=xxx。否-f 文件格式。包括:tfrecord csv 是-o 目的路径。是 功能 表示Dumpmc Maxcompute表至EMR集群或OSS存储。支持CSV格式和TFRECORD格式。示例:Dumpmc Maxcompute表(TFRECORD格式...

JindoTable使用说明

例如pt=xxx,多个分区时用英文逗号(,)分开pt=xxx,dt=xxx。否-f 文件格式。包括:tfrecord csv 是-o 目的路径。是 功能 表示Dumpmc Maxcompute表至EMR集群或OSS存储。支持CSV格式和TFRECORD格式。示例:Dumpmc Maxcompute表(TFRECORD格式...

分区定义

将大表定义为分区表,从而将其分成较小的存储单元,根据查询条件,会只扫描满足条件的...分区表维护 分区表支持多种分区管理操作,包括新增分区,删除分区,重命名分区,清空截断分区,交换分区,分裂分区等,详情请参考Greenplum 官方文档。

表设计规范

分区设计与存储逻辑 一张表里有很多个一级分区,每个一级分区都会按时间存储二级分区,每个二级分区都会存储所有的列,如下图所示。分区设计需要注意:设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...

分布表及分区裁剪

分布表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围(Range)分区、值(List)分区和多级分区表,下图为一个多级分区表设计实例,一级分区采用按月的区间(Range)分区,二级分区采用按地区的值(List)分区设计。使用场景 是否...

引用分区表和索引

分区扩展名和子分区扩展名使用户可以执行某些分区级和子分区级操作,例如,仅在一个分区或子分区上删除其中的所有行。没有扩展名称时,此类操作将要求您使用判断语句定义范围(WHERE 子句)。对于范围分区表和列表分区表,尝试用判断语句...

生命周期操作

MaxCompute提供了表数据生命周期管理功能,方便您释放存储空间,简化回收数据的流程。生命周期 您可以在创建表时,通过lifecycle关键字指定生命周期。在MaxCompute中,每当表...alter table trans partition(dt='20141111')disable lifecycle;

分区模板

您只需在子分区模板中定义一次子分区描述符,然后将该子分区模板应用于表中的每个分区,从而快速批量地为表中的分区定义子分区描述符。注意事项 如果分区未指定子分区描述符,系统将默认使用子分区模板来定义子分区。如果分区已指定子分区...

数据倾斜优化

在该示例中,没有必要使用动态分区,使用动态分区后,会启动Reduce Task,不仅浪费资源,还可能发生数据倾斜,应该使用固定分区,正确示例如下:insert overwrite table table_a partition(dt='20200502')select split_part(content,'\t',1...

JindoTable使用说明

例如pt=xxx,多个分区时用英文逗号(,)分开pt=xxx,dt=xxx。否-f 文件格式。包括:tfrecord csv 是-o 目的路径。是 功能 表示Dumpmc Maxcompute表至EMR集群或OSS存储。支持CSV格式和TFRECORD格式。示例:Dumpmc Maxcompute表(TFRECORD格式...

JindoTable使用说明

例如pt=xxx,多个分区时用英文逗号(,)分开pt=xxx,dt=xxx。否-f 文件格式。包括:tfrecord csv 是-o 目的路径。是 功能 表示Dumpmc Maxcompute表至EMR集群或OSS存储。支持CSV格式和TFRECORD格式。示例:Dumpmc Maxcompute表(TFRECORD格式...

JindoTable使用说明

例如pt=xxx,多个分区时用英文逗号(,)分开pt=xxx,dt=xxx。否-f 文件格式。包括:tfrecord csv 是-o 目的路径。是 功能 表示Dumpmc Maxcompute表至EMR集群或OSS存储。支持CSV格式和TFRECORD格式。示例:Dumpmc Maxcompute表(TFRECORD格式...

JindoTable使用说明

例如pt=xxx,多个分区时用英文逗号(,)分开pt=xxx,dt=xxx。否-f 文件格式。包括:tfrecord csv 是-o 目的路径。是 功能 表示Dumpmc Maxcompute表至EMR集群或OSS存储。支持CSV格式和TFRECORD格式。示例:Dumpmc Maxcompute表(TFRECORD格式...

分区和列操作

合并分区分区表的分区进行合并,即同一个分区表下的多个分区合并成一个分区,同时删除被合并的分区维度的信息,把数据移动到指定分区。添加分区 为已存在的分区表新增分区。限制条件 MaxCompute单表支持的分区数量上限为6万个。对于有...
< 1 2 3 4 ... 53 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折