测试数据构建

DMS提供丰富的测试数据构建功能,拥有强大算法引擎,支持批量生成各类随机值、地区名、虚拟IP地址等信息,能大大减轻您准备测试数据的负担。本文将介绍测试数据构建的功能与操作步骤。前提条件 需提前建好相应环境的数据库、表,以及其中...

产品和业务限制

限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 工单 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 工单申请更多 单个分析型数据库MySQL版可购买的...

任务提交与测试

您完成节点配置后,需要将任务提交到运维中心进行测试。操作步骤(可选)提交业务流程。如果您的节点在配置完成后已经提交完毕且无更新,请跳过本步骤。双击业务流程名称Workshop,单击图标。勾选所有可提交节点及忽略输入输出不一致的告警...

API概览

PutStartBackup 该接口用于提交数据备份任务。SetBackupPolicy 该接口用于设置备份策略。EnableSqlFlashbackMatchSwitch 该接口用于执行PolarDB-X 1.0数据库使用存储资源RDS的BINLOG中的QUERY信息,精确恢复数据 DescribeBackupSets 该接口...

数据安全自查

本文主要为您介绍在进行数据安全自查后应该重点调整的方向,为您提供数据安全的调整思路。场景分析 在项目初期,为了加快进度,一些用户和权限管理相对宽松。当项目工作进入了一个相对稳定发展阶段后,数据安全将成为管理方面越来越重要的...

数据归档

本文介绍如何在数据管理DMS中使用数据归档功能。背景信息 随着业务的发展,线上数据库越来越大,影响表的查询性能与业务的运作。为解决上述问题,除了进行分库分表的架构改造之外,DMS推出数据归档功能,定时将大表的数据归档至OSS,您可以...

删除数据

请求路径和方法 请求路径 请求方法 描述/api/delete_data POST 删除数据 请求内容 名称 类型 是否必需 描述 默认值 举例 metric String 是 待删除数据的 Metric 无 cpu tags Map 否 待删除的时间线。该参数不是必选,在没有 tag 的情况下,...

步骤三:引入数据

如果您是在2020年4月份之前购买的Dataphin,则数据源的数据通过数据同步的方式,同步到您的工作空间,详情请参见数据同步。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;进入数据集成...

管理敏感数据

脱敏方式 请按需选择脱敏方式,当前支持的取值如下:半脱敏:数据对应的遮掩算法生成的形式展现。明文:数据明文形式展现。说明 若您申请了半脱敏的导出权限,您导出的数据也为半脱敏格式。期限 请按需选择您的申请期限。申请原因 ...

新建派生指标

前提条件 完成数据域的创建,详情请参见新建数据域。背景信息 Dataphin支持构建标准、规范及无二义性的派生指标。派生指标的说明如下:派生指标由原子指标、业务限定、统计周期和统计粒度组成。系统支持基于维度逻辑表或事实逻辑表构建派生...

操作离线单条管道

提交管道脚本时,系统会校验您是否具有以下权限:输入组件中的数据源的读权限。输出组件中的数据源的写权限。发布离线单条管道脚本。如果您的开发模式是Dev-Prod模式,则需要发布离线单条管道,详情请参见管理发布任务。如果您的开发模式是...

新建业务过程

前提条件 完成创建数据域,详情请参见新建数据域。背景信息 新建业务过程的权限限制,详情请参见数据开发权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;您可以通过以下方式,...

功能特性

OSS数据源 一键入湖 通过DLA控制台配置数据源(RDS数据源、ECS自建数据数据)和目标OSS数据仓库,系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中,同时在数据仓库和DLA中创建与数据源表相同的表...

数据导入

数据管理DMS提供数据导入功能,支持大批量数据快速导入至数据库,节省人力物力成本。支持的数据库类型 RDS:RDS MySQL、RDS MariaDB、RDS SQL Server、RDS PostrgreSQL PolarDB:PolarDB MySQL引擎、PolarDB PostgreSQL引擎、PolarDB O引擎...

无锁数据变更

当业务累积了大量数据时,需要对在线数据与历史数据进行分隔管理,或定期清除表中数据。DMS的无锁数据变更功能将结合表中的主键或非空唯一键,分批对表中的目标数据进行操作,在保证执行效率的同时,尽可能地减小了对数据库性能、空间的...

概览

数据变更 通过SQL Console直接输入SQL语句或通过数据变更工单提交数据变更。测试数据构建 批量生成各类随机值、地区名、虚拟IP地址等信息,大大减轻您准备测试数据的负担。无锁结构变更 较好地规避因数据库变更导致锁表进而阻塞业务的现象...

产品功能

时序数据高效读写Lindorm时序引擎提供高效的并发读写,支持每秒百万数据点的数据读取及千万数据点的写入能力。数据写入支持以下方式进行数据写入:SQL的INSERT语句(推荐使用JDBC)。兼容设备通过MQTT协议写入数据。兼容InfluxDB的写入Line ...

产品功能

TSDB 提供时序数据的高效读写。对于百万数据点的读取,响应时间小于 5 秒,且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...

新建汇总逻辑表

汇总逻辑表用于统计统计粒度(维度)为主题的所有数据。本文为您介绍如何新建汇总逻辑表。前提条件 完成维度的创建,详情请参见新建维度。完成派生指标的创建,详情请参见新建派生指标。背景信息 汇总逻辑表的说明如下:汇总逻辑表由一个...

数据倾斜优化

数据倾斜优化简介 数据倾斜优化在Dataphin调度中的应用如下:如果已开启数据倾斜优化功能,在您首次提交任务中,当执行时间、任务超时倍率、数据量膨胀倍率超过设定的阈值时,会触发异常判定功能,完成初步的判断。任务执行的过程中,会...

在程序中通过AnalyticDB MySQL版Client高效写入数据

将缓存中的数据提交到分析型数据库MySQL版/数据成功提交到分析型数据库MySQL版之后,缓存中的数据会被清除 try { adbClient.commit();} catch(Exception e){ } finally { adbClient.stop();} } } 注意事项 AnalyticDB MySQL版Client本身...

从零开始完成无锁结构变更

本文数据库MySQL实例为例,引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录数据管理DMS 5.0。说明 如果您需要切换到旧版数据管理DMS,单击页面右下角,进入数据管理DMS平台。具体操作,请参见数据管理DMS 5.0切换...

新建资源

您可以通过以下方式,快速进入工作区:选择工作区地域后,单击快速开始相关工作区域中的数据研发。选择工作区地域后,单击快速进入研发项目后的Dev或Basic页签,选择相应的项目。说明 如果您通过快速开始相关工作进入数据开发模块,则跳过...

新建Virtual任务

背景信息 在开始构建数据模型前,您可以创建基于该数据模型的虚拟节点,便于该数据模型中其他任务配置调度参数时依赖该节点。新建Virtual任务的权限限制,详情请参见数据开发权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台...

上传数据

本文介绍在我的数据页面中针对三种不同类型数据,上传不同格式数据的方法。背景信息 在管理数据页面中,数据的类型分为矢量、栅格和三维模型三种。不同类型对应可上传的数据包括:矢量:在矢量页签内,可上传CSV、GeoJSON或Shapefile三种...

数据追踪

本次产品内提供的数据追踪功能可以快速按需找到目标时间段内的相关更新,汇总生成逆向的回滚语句,追踪完的数据可批量生成回滚脚本,通过数据变更工单最终执行到数据库中完成数据的修复。前提条件 数据库类型为MySQL,且MySQL为5.6及以上...

开通免费试用

数据库审计C100支持7天免费试用的活动,本文介绍如何开通数据库审计C100免费试用。限制条件开通数据库审计免费试用需要满足以下条件:需要使用阿里云主账号ID申请、开通数据库审计试用。每个阿里云主账号最多可申请2次免费试用。访问数据库...

技术原理

扩展性原理 扩展性本质在于分而治之,PolarDB-X 1.0计算资源通过水平拆分(分库分表)和垂直拆分,将数据分散到多个存储资源MySQL实现获取数据读写并发和存储容量分散的效果。水平拆分(分库分表)PolarDB-X 1.0具备数据水平拆分的能力,...

下线和删除派生指标

提交成功的派生指标,状态为已提交。编辑已提交状态的派生指标,并成功保存,状态更改为开发中。已提交状态的派生指标,成功下线后,状态更改为草稿。下线、删除和下线并删除派生指标的限制说明:仅开发中和已提交状态的派生指标,支持下线...

数据库实验室入门介绍

视频介绍 数据库开通 登录数据库实验室,左侧将呈现目前实验室支持的数据库类型(后续会支持更多类型的数据库,敬请期待),双击希望开通的数据库类型(例如PolarDB for MySQL),将弹出开通数据库的弹窗。输入您数据库名称,单击开通数据...

数据分析

本文介绍如何在数据管理DMS中使用数据分析功能。背景信息 传统数据分析的方法为:通过离线脚本将数据周期性地从源数据库采集至数据仓库(Hadoop、MaxCompute),再进行ETL(Extract-Transform-Load)开发。这种方法的时间性较差,通常需要T...

新功能测试申请

2020年7月 备份与恢复 MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。2019年8月 权限模型2.0 MaxCompute...

数据集成导入数据

MaxCompute支持通过DataWorks的数据集成功能将其他数据源的数据以离线或实时方式导入MaxCompute。当您需要将其他数据源的数据导入MaxCompute中执行后续数据处理操作时,您可以使用数据集成功能导入数据。本文为您介绍如何将其他数据源的...

数据加工过程卡点校验

您可以通过培训等方式,将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员,使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时,也要考虑数据的目标,做到业务端和数据端一致。离线系统卡...

编辑维度

背景信息 编辑维度的权限限制,详情请参见数据开发权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;您可以通过以下方式,快速进入工作区:选择工作区地域后,单击快速开始相关...

数据库克隆

本文档介绍如何设置数据库克隆工单的审批流程。基础配置项数据库克隆默认审批模板:当审批规则校验中未配置审批流程时,系统会采用此默认的审批模板。您可以通过切换审批模板来更改默认审批模板的审批流程。操作流程请参见修改默认审批模板...

下线和删除业务限定

提交成功的业务限定,状态为已提交。编辑已提交状态的业务限定,并成功保存,状态更改为开发中。已提交状态的业务限定,成功下线后,状态更改为草稿。下线业务限定的限制:仅开发中和已提交状态的业务限定,支持下线操作。仅限无相关派生...

新建SQL任务

您可以通过以下方式,快速进入数据开发模块:单击快速开始相关工作区域的数据研发。单击快速进入研发项目区域的Dev或Basic项目,选择开发数据的项目空间。说明 如果您通过快速开始相关工作进入数据开发模块,则跳过步骤3.i。如果您通过快速...

编辑实例

使用该参数的前提是数据库已开启SSL连接,当前支持如下选项:默认(DMS与数据库服务自动协商是否开启):系统将自动识别目标数据库是否已开启SSL连接,若数据库已开启SSL连接,则DMS将通过SSL连接数据库;若数据库未开启SSL连接,则通过...

新建元表

您可以通过以下方式,快速进入工作区:选择工作区地域后,单击快速开始相关工作区域中的数据研发。选择工作区地域后,单击快速进入研发项目后的Dev或Basic页签,选择相应的项目。说明 如果您通过快速开始相关工作进入数据开发模块,则跳过...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 物联网无线连接服务 商标 轻量应用服务器 SSL证书 对象存储
这些文档可能帮助您
什么是云数据库RDS 主实例规格列表 企业版(Tair)简介 如何选择备份方式 DBS计费概述 什么是数据库备份DBS

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折