表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。...已经超出维护年限的消费记录表可以将数据导出，存入 OSS（Object Storage Service）归档，或直接删除。
表管理
表管理 进入HoloWeb开发页面，详情请参见 连接HoloWeb。在HoloWeb开发页面的顶部菜单栏，单击 诊断与优化。在 诊断与优化 页面，单击左侧导航栏的 表管理。在 表管理 页面，配置如下筛选信息。参数 是否必选 说明 实例名 是 需要进行表管理...
系统表
kepler_partitions 用于记录表的分区信息，用法详情请参见 查看分区的统计信息。字段说明：字段 说明 schema_name 数据库名称。table_name 表名。partition_id 分区ID。row_count 记录行数。data_size 总大小。单位：Byte。index_size 索引...
子表查询
描述 Ha3的子表生成是会注册为一个复合字段（可以理解为Struct）。...如果WHERE语句中不带有子表字段的条件，则查询结果的主表记录和子表记录join方式默认为LEFT_JOIN，可通过hint修改，具体见 Hint 配置主子表的场景下，支持单独查询主表。
实施步骤
创建交易记录表。CREATE EXTERNAL TABLE tradelist_csv(t_userid STRING COMMENT '用户ID',t_dealdate STRING COMMENT '申请时间',t_businflag STRING COMMENT '业务代码',t_cdate STRING COMMENT '确认日期',t_date STRING COMMENT '申请...
分区表
将大表定义为分区表，从而将其分成较小的存储单元，根据查询条件，会只扫描满足条件的分区而避免全表扫描，从而显著提升查询性能。分区表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围（Range）分区、值（List）分区和多级分区表，...
多表join引发的数据同步延迟
合并成为一张宽表，所有更新操作均在宽表里进行 当更新主键记录时，由于主表的主键是唯一的，主表更新一条记录，对应宽表更新一条记录 当更新辅表记录时，由于辅表对应的主键，在主表中可以join上多条记录（即N：1，N的值），则辅表 更新一...
存储空间分析
表记录 表所有分区的数据量（不包含 普通索引 和 主键索引）。普通索引 表所有分区的普通索引数据量。主键索引 表所有分区的主键索引的数据量。其他 表所有分区的元数据和临时数据。表行数 表的行数。分区数 表的分区数。相关API API接口 ...
创建多表join
辅表个数不超过10个 支持 表A（主表）、表B、表C、表D 表A（主表）->表B->表C->表D 超过2层多表数据关联 不支持（独享型可支持3层）表A（主表）、表B 表A->表B，表B->表A 环状多表数据关联 不支持 表A（主表）、表B、表C…表K 表A（主表）-...
数据导入概述
Quick Audience接入数据源后，您就可以将要导入的数据表存储在计算源，然后在Quick Audience声明数据表的表结构，执行调度任务，将表中的数据导入到Quick Audience，准备用于后续的分析、应用。数据导入流程 进行 ID类型管理，设置Quick ...
清理表空间（pg_repack）
RDS PostgreSQL支持通过插件pg_repack在线清理表空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。前提条件 请确保实例大版本满足要求，本插件具体支持的实例大版本...
配置转换组件
背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表记录过滤：仅支持单个表结构。前提条件 已完成数据源信息的配置。配置表...
明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
明细粒度事实层（DWD）
在您建设明细事实表时，需要选择基于现有的表进行明细层数据的开发，清楚所建表记录存储的是什么粒度的数据。明细粒度事实层（DWD）规范 通常您需要遵照的命名规范为：dwd_{业务板块/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签...
DMS中表维护的操作说明
本文介绍在DMS中进行表维护的详细说明。优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：...
DMS中表维护的操作说明
本文介绍在DMS中进行表维护的详细说明。优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：...
DMS中表维护的操作说明
本文介绍在DMS中进行表维护的详细说明。优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：...
DMS中表维护的操作说明
本文介绍在DMS中进行表维护的详细说明。优化表 优化表使用的命令是 optimize table<表名>。检查表 检查表使用的命令是 check table<表名>，检查表是否有错误。检查表时有多个选项：快：检查表中的错误时不会扫描行来检查错误的链接。快速：...
使用OPTIMIZE和Z-ORDER优化商品库存查询性能
查看当前Parquet表的数据%spark.sql-查看某个StockCode下的数据 SELECT*FROM current_inventory WHERE StockCode IN('21877','21876')步骤1：向Parquet表中插入记录%pyspark#创建2条记录，准备插入到表中并转换为DataFrame items=[('...
使用ETL分析实时订单
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
DescribeTableStatistics-查询表统计信息
查询目标AnalyticDB MySQL集群中的表信息统计详情。接口说明 说明 更多关于表信息统计的详情，请参见 监控信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
数据建模
多表记录数波动率 源表对应分区的表行数，同目标表的表行数进行比较，计算波动率。再与期望阈值进行比较，只要符合规则则通过。波动率计算公式=【（源表当前分区的表行数-对比指定分区的表行数）/源表当前分区的表行数】*100%。比较方式...
统计表
统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在本空间的 ID类型列表中。若用户ID字段已...
创建并管理维表
数据分析的MaxCompute表维护在生产环境中，所以表的创建者需要对表的创建和后续维护负责。查看和管理维表 在数据分析页面，单击左侧菜单栏中的 图标。在 维表 页面的 全部维表 区域，您可以查看 我创建的 和 分享给我的 维表列表。您也可以...
单元测试报告
单元测试要求 用例小类 测试要点 说明 是否已检查（Y/N）规范性 命名规范检查（表、视图、工作流、字段）是否符合 MaxCompute数仓建设规范管理指南 中命名规范的表命名规范。代码格式和注释规范性 是否符合 MaxCompute数仓建设规范管理指南...
自定义Join（UDJ）
基于MaxCompute 2.0计算引擎，MaxCompute在UDF框架中引入了新的扩展机制UDJ（User Defined Join），来实现灵活的跨表、多表自定义操作，同时减少通过MapReduce等方式对分布式系统底层细节的操作。背景信息 MaxCompute内置了多种 Join 操作...
蚂蚁隐私计算服务平台的审计事件
操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，蚂蚁隐私计算服务平台支持在操作审计中查询的事件如下表所示。事件名称 事件含义 CheckAntppcOpenProductStatus 查询隐私计算平台开通情况。...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
数据查询最佳实践
索引失效 索引失效时，SQL语句直接以扫描的方式进行查询，如果表记录数非常大，会导致查询缓慢。以下情形容易引起索引失效：函数转换（列）。类型转换。like条件，例如：like '%abc%'。SQL示例：以下SQL中的函数转换导致索引失效。time为...
MySQL
scan.snapshot.fetch.size 当读取表的全量数据时，每次最多拉取的记录数。否 INTEGER 1024 无。scan.startup.mode 消费数据时的启动模式。否 STRING initial 参数取值如下：initial（默认）：在第一次启动时，会先扫描历史全量数据，然后...
云原生数据仓库ADS的审计事件
操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，云原生数据仓库AnalyticDB MySQL版支持在操作审计中查询的事件如下表所示。事件名称 事件含义 Create 登录产品售卖页面进行的购买操作。CreateVPC 创建VPC网络。...
术语表
分区组（Partition Group）AUTO模式数据库中，当表组中的表为分区表时，该表组的所有表的某个分区构成一个分区组，分区组是分区调度的基本单元，属于某个分区组的所有表分区始终会位于同一个存储节点。Join Group AUTO模式数据库中，Join ...
附录 2 等级保护简介
等级保护是什么 制度要求《中华人民共和国网络安全法》：“国家实行网络安全等级保护制度。网络运营者应当按照网络安全等级保护制度的要求，履行下列安全保护义务，保障网络免受干扰、破坏或者未经授权的访问，防止网络数据泄露或者被窃取...
配置刷新和预热
违规资源清理 当站点上存在的违规资源（例如涉黄、涉毒、涉赌）被发现时，删除源站资源后节点缓存资源仍可被访问到，为维护网络环境，可通过URL刷新删除缓存资源，保证违规资源被及时清理。缓存预热 安装包发布 新版本安装包或升级包发布前...
MySQL实例间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
MySQL实例间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
配置规则：按表（单表）
并且，规则配置后，产出表数据的调度节点需要使用网络已连通的独享调度资源组进行调度，才可正常触发数据质量规则校验。独享调度资源组的相关配置，详情请参见 新增和使用独享调度资源组。动态阈值类规则需要有21天采样记录，若少于21天，...
RDS MySQL与PolarDB MySQL版间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
2021年
本文介绍2021年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2021年12月06日...
RDS PostgreSQL间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
- 产品推荐
- 这些文档可能帮助您