维护

本页面主要介绍DMS表维护的功能和操作。...数据库内部可以重新利用表中的空间,整理文件碎片等。如果用户确认需要优化一个表,单击Yes按钮后,DMS会为用户进行表优化操作。说明 检查表、修复表、分析表的操作方式与优化表相同。

配置数仓分层检查

规则定义 用于检查表名称是否符合数仓分层命名规范的规则。您需要输入表的前缀信息(例如,目标数仓分层要求表名称以dim开头),通过表前缀进行检测。同时,也可以单击图标,使用业务分类、数据域、业务过程等多种类别的英文缩写来定义规则...

单元测试报告

单元测试要求 用例小类 测试要点 说明 是否已检查(Y/N)规范性 命名规范检查、视图、工作流、字段)是否符合MaxCompute数仓建设规范管理指南命名规范的表命名规范。代码格式和注释规范性 是否符合MaxCompute数仓建设规范管理指南...

新建并启用物理质量检查计划

用来设置待检查的物理表中分区数据产出时间的检测周期。新建完质量检查计划后,单击操作列的启用,在提醒对话框中,单击启用计划,启用质量检查计划。启用以后,可以根据设置的调度周期,查看已创建的质量检查计划任务的执行详情。如果设置...

代码评审报告

代码评审要求 用例小类 测试要点 说明 是否已检查 数据一致性测试 主键唯一性 产出必须有物理主键或逻辑主键,且在数据上主键成立。是 主键和外键逻辑关系 检查设计文档里关于主外键的设计是否在开发阶段得以实现,且在数据上成立,例如...

ALTER TABLE

更改表的定义。语法ALTER TABLE name action[,.]ALTER TABLE name RENAME COLUMN column ...将检查约束添加到表中:ALTER TABLE emp ADD CONSTRAINT sal_chk CHECK(sal>500);从表中删除检查约束:ALTER TABLE emp DROP CONSTRAINT sal_chk;

全局二级索引

在数据表上创建索引表后,可根据需要读取索引表中的数据或者删除数据表上指定的索引表。前提条件 已初始化Client,详情请参见初始化。已创建数据表,且数据表的数据生命周期(timeToLive)必须为-1,最大版本数(maxVersions)必须为1。...

操作流程

场景画布引用逻辑质量规则如果配置了质量规则的数据模型在场景画布被引用,且场景画布开启了自动质量规则校验开关,当算法运行时,画布引用的数据质量规则也会自动运行,以检查算法输出数据是否符合要求。具体操作,请参见引用...

DTS任务如何在预检查阶段进行约束完整性检查

方法一:在迁移对象加入相应父 方法二:在迁移对象移除相应子 方法三:删除相关外键依赖&方法一:在迁移对象加入相应父 此方法将约束完整性检查失败的子对应的父加入至迁移对象。登录数据传输控制台,定位至目标迁移任务...

任务类型介绍

数据来源 目标库(Schema)名称 建仓OSS路径 可选:高级选项 表状态检查 通过SQL检查表中某一时间后的数据是否更新。目标数据库 目标表 重试次数 重试间隔(分)DBS备份 基于DBS封装而成的任务,可将数据库的数据备份到DBS提供的OSS中。源...

使用DTS同步

可选:在已选择对象区域框中,将鼠标指针放置在待同步的表上,并单击表名后出现的编辑,设置该表中各列在Tablestore实例中的数据类型。单击下一步。在提示框中阅读注意事项后,单击确认并执行下一步。配置主键信息和预检查。配置待同步的表...

ALTER TABLE.ENABLE/DISABLE CONSTRAINT

默认情况下会检查当前表中的数据是否匹配目标约束,如果不匹配,则输出表中数据有冲突的错误。说明 如果是外键约束,并且与另一个表的主键约束或唯一性约束相对应,在启用外键约束前,需要检查当前外键约束关联的主键约束或唯一性约束是否...

使用ETL分析实时订单

Right Join:在左表中获取两张表的交集,在右表中获取所有数据。Join条件+新增条件 单击+新增条件,选择JOIN的条件字段。说明 等号(=)左侧为JOIN后新表的左表字段,右侧为JOIN后新表的右表字段。完成JOIN条件配置后,单击输出字段页签。...

概述

CIS网络安全框架检查支持的功能如下所示。功能 说明 检查账号 检查阿里云账号及RAM用户的密码设置、权限策略等。检查网络 检查实例的网络归属、安全组设置、端口是否开放、流量监控等。检查虚拟机 检查虚拟机的磁盘是否加密、端口是否...

数据迁移过程检查失败

约束完整性检查 检查迁移对象,有外键依赖关系的父和子是否都被迁移,防止破坏外键约束完整性。待迁移子依赖的父没有被选择为迁移对象。约束完整性检查失败的修复方法 存储引擎检查 主要检查源数据库是否存在增量迁移不支持的...

创建应用

背景信息 应用表是将一个数据集市或主题域中的多个原子指标或派生指标,通过时间周期及关联维度整合在一起,关联的维度、时间周期、原子指标、派生指标,用于生成应用表中的统计字段,帮助您进行报表等分析展示。您可以使用应用表呈现相同...

通过文件管理优化性能

说明 详细内容可参考Databricks官网文章:通过文件管理优化性能压缩(bin-packing)在流处理场景下不断向表中数据插入数据,或者merge,update等操作,会产生大量的小文件,过多的小文件会导致查询变慢,并且会引起系统扩展性问题。...

创建索引

语法CREATE[UNIQUE]INDEX name ON table({ column|(expression)})[TABLESPACE tablespace]参数 参数名称 描述 UNIQUE 当创建索引(如果数据已经存在)和每一次添加数据的时候,这个参数会让系统去检查表中的重复值。如果进行的插入或更新...

数据加工

例如A表中包含字段1、字段2和字段3,B表中包含字段2、字段3和字段4,对两张表通过做JOIN操作后,需要输出字段2和字段3,则需要在目标库侧创建做JOIN操作后的C表,C表中包含字段2和字段3。由于ETL功能暂不支持全量数据同步,所以您只能对...

新建

唯一约束:保证在一个字段或者一组字段里的数据在表中是唯一的,一张表中可设置多个唯一约束。外键约束:在两个表的数据之间建立连接(可为一列或多列),旨在保持关联表之间数据的一致性、完整性。设置完成后不支持新增和编辑。检查约束:...

创建

REFERENCES reftable[(refcolumn)][ON DELETE action]-列级约束 这些子句指定了一个外键约束,要求新创建表的相关列只能包含符合所引用表中的列的值。如果没有使用refcolumn,那么使用reftable的主键。被引用的列必须是被引用表中具有唯一...

修复同步作业预检查失败的问题

数据库存在性检查 当待同步的数据库在目标实例不存在,由DTS自动创建时,可能由于下述原因导致创建失败:数据库名包含小写字母、数字、下划线(_)或划线(-)以外的其他特殊字符。数据库的字符集为utf8、GBK、latin1或utf8mb4以外的...

从RDS MySQL同步至MaxCompute

DTS将源库中待同步表的存量数据,全部同步至MaxCompute中的目标表名_base表中(例如从源库的customer表同步至MaxCompute的customer_base表),作为后续增量同步数据的基线数据。说明 该表也被称为全量基线表。增量数据同步。DTS在...

PolarDB MySQL数据同步至AnalyticDB PostgreSQL

如果需要目标表中的列名称与源表不同,需要使用DTS的字段映射功能,详情请参见设置同步对象在目标实例中的名称。映射名称更改 无 如需更改同步对象在目标实例中的名称,请使用对象名映射功能,详情请参见库表列映射。源表DMS_ONLINE_DDL...

数据管理

AnalyticDB forPostgreSQL数据库中的表与任何一种关系型数据库中的表类似,不同的是表中的行被分布在不同Segment上,表的分布策略决定了在不同Segment上面的分布情况。创建普通表 CREATE TABLE命令用于创建一个表,创建表时可以定义以下...

全局二级索引

在数据表上创建索引表后,可根据需要读取索引表中的数据或者删除数据表上指定的索引表。前提条件 已初始化Client。具体操作,请参见初始化。已创建数据表,且数据表的数据生命周期(time_to_live)必须为-1,最大版本数(max_versions)...

从PolarDB MySQL同步至RDS MySQL

配置项目 配置说明 目标已存在的处理模式 预检查并报错拦截:检查目标数据库是否有同名的。如果目标数据库没有同名的,则通过该检查项目;如果目标数据库有同名的,则在预检查阶段提示错误,数据同步作业不会被启动。说明 ...

创建维度

维度表创建配置后,在进行数据派生指标和汇总表的设计创建时,可直接关联使用维度表中的维度。创建维度表 进入维度建模。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发...

本地二级索引

在数据表上创建索引表后,可根据需要读取索引表中的数据或者删除数据表上指定的索引表。前提条件 已初始化Client。具体操作,请参见初始化。已创建数据表,且数据表的数据生命周期(time_to_live)必须为-1,最大版本数(max_versions)...

从RDS MySQL同步至MaxCompute

DTS将源库中待同步表的存量数据,全部同步至MaxCompute中的目标表名_base表中(例如从源库的customer表同步至MaxCompute的customer_base表),作为后续增量同步数据的基线数据。说明 该表也被称为全量基线表。增量数据同步。DTS在...

从RDS MySQL同步至Tablestore

可选:在已选择对象区域框中,将鼠标指针放置在待同步的表上,并单击表名后出现的编辑,设置该表中各列在Tablestore实例中的数据类型。配置待同步的表在Tablestore实例中的主键列信息。说明 关于Tablestore实例中主键的相关介绍,请参见...

新建 OceanBase 数据库至 OceanBase 数据库的数据同步...

数据表选择 表类型 为 逻辑表 时,在 数据 输入关键字搜索源端数据表。逻辑表自动同步自数据管理 DMS,详情请参见 数据管理 DMS。选择 表类型 为 多表 时,在 数据表 区域的左侧选中需要同步的数据表,单击>将其添加至右侧列表中。...

从RDS MySQL同步至ClickHouse集群

此类场景中,您可以借助DTS的多表归并功能将源库中多个表结构相同的表(即各分表)同步至ClickHouse集群的同一个表中。说明 DTS会在ClickHouse集群的同步目标表中增加_dts_data_source列(类型为varchar)来存储数据来源。DTS将以<dts...

创建明细

后续使用此明细表时,明细表中的数据即存储在数仓的这一层中。详情请参见创建数仓分层。业务过程 已创建完成的业务过程,详情请参见业务过程。业务分类 已创建的业务分类,详情请参见业务分类。存储策略 明细表存储数据的策略,可以选择...

管理关系

一对一 一对一关系是指关系数据库中第一个表中的单个行只可以与第二个表中的一个行相关,且第二个表中的一个行也只可以与第一个表中的一个行相关。一对多 一对多关系是指关系中第一个表中的单个行可以与第二个表中的一个或多个行相关,但...

RDS MySQL实例间的单向同步

配置项目 配置说明 目标已存在的处理模式 预检查并报错拦截:检查目标数据库是否有同名的。如果目标数据库没有同名的,则通过该检查项目;如果目标数据库有同名的,则在预检查阶段提示错误,数据同步作业不会被启动。说明 ...

PolarDB O引擎集群间的单向同步

配置项目 配置说明 目标已存在的处理模式 预检查并报错拦截:检查目标数据库是否有同名的。如果目标数据库没有同名的,则通过该检查项目;如果目标数据库有同名的,则在预检查阶段提示错误,数据同步作业不会被启动。说明 ...

配置同步任务(新控制台)

目标已存在的处理模式 预检查并报错拦截:检查目标数据库是否有同名的。如果目标数据库没有同名的,则通过该检查项目;如果目标数据库有同名的,则在预检查阶段提示错误,数据同步任务不会被启动。说明 如果目标库同名的...

从RDS SQL Server同步至云原生数据仓库AnalyticDB ...

此类场景中,您可以借助DTS的多表归并功能将源库中多个表结构相同的表(即各分表)同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后,您需要通过对象名映射功能,将其改为云原生数据仓库AnalyticDB ...

PolarDB MySQL集群间的单向同步

配置项目 配置说明 目标已存在的处理模式 预检查并报错拦截:检查目标数据库是否有同名的。如果目标数据库没有同名的,则通过该检查项目;如果目标数据库有同名的,则在预检查阶段提示错误,数据同步作业不会被启动。说明 ...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折