组件与数据类型的兼容
不支持 不支持 PAI 支持除Decimal之外的其它数据类型 2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
数据迁移操作指导
异构数据库间的数据类型映射关系 由于不同的数据库支持的数据类型不一样，数据类型无法完全对应。DTS在执行结构迁移时，会根据目标库支持的数据类型进行类型映射，您可以查阅并评估类型映射对业务的影响。功能特性 详情请参见 数据迁移。...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
空间数据管理概览
在左侧导航栏中单击 我的数据，进入 我的数据 页面，您可以查看到页面内的数据分组以及所有添加完成的不同类型数据内容。单击右侧的 上传数据，您可自定义上传列表中一种类型的数据；也可以在 我的数据 页面内预览某个已上传的数据，并移动...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
管理数据分类层级
数据分类层级用于从业务或组织架构视角出发，对数据分类进行分层管理。本文为您介绍如何创建及管理数据分类层级。权限说明 安全管理员支持新建及管理数据分类层级。使用限制 数据分类层级不超过10级。新建数据分类层级 在Dataphin首页，...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA 每个实例只能有一个DBA。系统角色为DBA、管理员的用户可以编辑调整实例DBA。可查看实例上每个...
DTS_BINLOG_PARSER
DTS_BINLOG_PARSER解析结果是一个STRUCT类型，包含字段如下：struct:recordID long,-binlog的record ID|source string,-数据源信息，包括数据库类型，版本等等|dbTable string,-数据表名|recordType string,-操作类型，包括INSERT，DELETE...
数据接口配置说明
编辑数据接口基本信息 每一个数据接口中包含多个参数内容，您可以自定义编辑数据接口的基本信息参数内容。名称：数据接口的名称。显示名：数据接口对外显示的名称。确认修改显示名后按回车键，结果会即时显示在配置面板中。描述：数据接口...
数据接口配置说明
编辑数据接口基本信息 每一个数据接口中包含多个参数内容，您可以自定义编辑数据接口的基本信息参数内容。名称：数据接口的名称。显示名：数据接口对外显示的名称。确认修改显示名后按回车键，结果会即时显示在配置面板中。描述：数据接口...
定义敏感数据
为了能够明确区分普通数据和敏感数据，全密态数据库为敏感数据单独定义了新的数据类型，并提供了常用的SQL算子。更多敏感数据类型及其SQL算子请参见 支持的数据类型和相关算子。全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于...
新建数据库SQL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择代码任务的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务的简单描述，1000...
支持的数据源
DBS支持添加阿里云数据库、自建库、其他云厂商等各种环境中的MySQL、SQL Server、PostgreSQL、Oracle、MongoDB、Redis等类型的数据源。数据源是待备份的数据库或文件路径，数据源信息包含数据源名称、数据源所在地域、数据库类型、数据库的...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
创建同步RDS/MySQL/ADS3.0
示例中为TUPLE类型topic，schema如下图所示：建立同步任务这里写入模式选择IGNORE，导入所有字段 向DataHub中写入TUPLE数据，数据内容如下图所示，共4条数据 确认同步数据这里采用MySQL客户端连接ADS服务查看数据，数据结果如下图所示：
创建同步ADS
HostADS服务地址，请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到ADS中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据，即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复数据...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
数据源分类
本文介绍DataV服务中数据源的分类，通过查看不同的数据源类型，在创建完成后可以快速查找。数据源类型 数据源名称 数据库 RDS for MySQL、RDS for PostgreSQL、交互式分析Hologres、RDS for SQLServer、AnalyticDB for MySQL、AnalyticDB ...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
配置本地文件输入组件
首行内容选为数据内容时，数据内容起始行不可小于1。行分隔符、字段分隔符 非必填。行分隔符：文件行分隔符，如不填写，默认为。字段分隔符：文件内字段分隔符，如不填写，默认为英文逗号（,）。文件编码 选择文件编码的方式。系统支持UTF-...
配置本地文件输入组件
首行内容选为数据内容时，数据内容起始行不可小于1。行分隔符、字段分隔符 非必填。行分隔符：文件行分隔符，如不填写，默认为。字段分隔符：文件内字段分隔符，如不填写，默认为英文逗号（,）。文件编码 选择文件编码的方式。系统支持UTF-...
添加TableStore数据源
如果某行数据的主键属于读取范围，但是该行数据不包含指定返回的列，那么返回结果中不包含该行数据。limit 数据的最大返回行数，此值必须大于0。表格存储按照正序或者逆序返回指定的最大返回行数后即结束该操作的执行，即使该区间内仍有未...
添加TableStore数据源
如果某行数据的主键属于读取范围，但是该行数据不包含指定返回的列，那么返回结果中不包含该行数据。limit 数据的最大返回行数，此值必须大于0。表格存储按照正序或者逆序返回指定的最大返回行数后即结束该操作的执行，即使该区间内仍有未...
查看数据分类预置模型
Dataphin系统内置了数据分类的模型，以便用于识别规则的快速创建。本文为您介绍如何查看数据分类的预置模型。预置模型入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 预置模型 页面。查看数据分类预置模型 系统内置...
查看数据分类预置模型
Dataphin系统内置了数据分类的模型，以便用于识别规则的快速创建。本文为您介绍如何查看数据分类的预置模型。预置模型入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 预置模型 页面。查看数据分类预置模型 系统内置...
管理数据源
数据源列表 页面为您展示所有已创建的数据源及其基本信息，包括 数据源标识、数据源类型、数据源来源、用户名 和数据源的 创建时间。您可以在操作列单击 测试连接，检查数据库的网络连接情况。以及进行复制、编辑和删除数据源的操作。在 ...
设计阶段
数据探查的内容主要包括但不限于以下内容：源表数据主键字段重复数。源表字段空值/异常值的统计数。源表之间关联关系。源表字段的数据格式。源表增量规则。探查完成后，最终产出 数据探查报告。如果发现当前数据无法支撑需求的实现，则要将...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
数据查询
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。如果数据表格存储的是...
测试数据构建
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
1.0数据类型版本
MaxCompute 1.0数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本仅支持1.0数据类型。本文为您介绍1.0数据类型版本的设置方法、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为1.0数据类型版本...
限制说明
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据，不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合...
MongoDB 4.2
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
- 产品推荐
- 这些文档可能帮助您