Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
新功能发布记录
01-29【新功能/规格】2024年01月29日RDS MySQL IO加速公测活动开始 2023年 12月 类别 功能名称 功能描述 发布时间 相关文档 新增 Binlog Cache Free Flush RDS MySQL新增Binlog Cache Free Flush功能，有效解决大事务提交时出现Binlog耗时...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
新功能发布记录
04-15 下载备份 RDS PostgreSQL CSV或SQL文件恢复到自建数据库 03月 类别 功能名称 功能描述 发布时间 相关文档 优化 升级数据库大版本 RDS PostgreSQL Serverless实例支持升级数据库大版本。03-21 升级数据库大版本 新增 内核版本发布 ...
离线同步常见问题
脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。如何排查离线同步任务运行时间长的问题？可能原因1：...
RestAPI（HTTP形式）数据源
RestAPI数据源为您提供读取和写入RestAPI双向通道的功能，本文为您介绍DataWorks的RestAPI数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。目前不支持设置超时参数，当前DataWorks内置的请求超时时间是60s,如果...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
新功能发布记录
05-12 SQL洞察和审计 04月 类别 功能名称 功能描述 发布时间 相关文档 优化 恢复数据库 数据库恢复至已有实例时，系统会检测当前所选备份集或时间点是否可恢复，避免恢复任务失败。恢复单库到已有实例时，建议先手动 备份单库，再将单库...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
新功能发布记录
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供，各产品功能动态详情如下。说明 更多产品动态详情，请参见 数据库备份...
全球数据库市场发展与机遇
数据库起源于上世纪70年代，在技术发展浪潮中历久弥新，已成为IT科技的核心技术之一，支撑着现代社会的经济活动和商业文明。长期以来，全球商业化数据库主要以Oracle、IBM、Microsoft、SAP传统四大厂商为主。随着新金融、新零售、新制造、...
功能发布记录 2022年之前
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 数据质量支持选择规则模板来批量配置数据质量规则。DataWorks数据质量支持选择规则模板来批量配置数据质量规则，简化配置难度：支持选择表级规则模板，批量给多张表配置规则。支持...
文档更新动态（2022年）
新功能 安全设置 2022年05月08日 新增支持ClickHouse数据源 新增支持ClickHouse数据源，您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。新功能 创建ClickHouse数据源 2022年05月08日 脚本实例和逻辑表...
DescribeRules-查询识别规则的列表
调用本接口查询敏感数据识别规则的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
2020年
无 2020年5月 oss_fdw插件 新增oss_fdw插件，用于Aliyun OSS外部表支持，您可以通过OSS外部表将数据库数据写入到OSS，也可以通过OSS外部表将OSS数据加载到数据库中，OSS外部表支持并行和压缩，极大提高了导入和导出数据的性能，同时也可以...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的...
2023年
2023年12月04日-MaxCompute管家下线公告 尊敬的MaxCompute用户：感谢您对云原生大数据计算服务MaxCompute的支持，MaxCompute从 2022年9月 发布新版 管理控制台 以来，陆续实现了原有 MaxCompute管家 的能力，同时交互体验有了很大提升，并...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
OSS/OSS-HDFS概述
背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。更多信息，请参见 什么...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS同步到云原生数据仓库AnalyticDB MySQL
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
恢复库表
RDS PostgreSQL支持库表恢复功能，您可将指定的库按备份集或时间点恢复至原实例或其他已有实例，无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。功能说明 功能项 说明 恢复范围 实例中指定的库。说明 恢复范围取决...
从Amazon Aurora PostgreSQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
GetDoctorHDFSCluster-获取HDFS分析结果
通过EMR Doctor获取集群HDFS数据分析结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必...
基本介绍
云数据库HBase增强版适用于在规模、吞吐、性能、可用性等方面有更高要求的企业级场景，面对大数据（无限扩展、高吞吐）、在线服务（低延时、高可用）、多功能查询的诉求，其可为用户提供无缝扩展、高吞吐、持续可用、毫秒级稳定响应、强弱...
2022年
基于MaxCompute的智能推荐解决方案 基于MaxCompute+开放搜索的电商、零售行业搜索开发实践 基于MaxCompute+PAI的用户增长方案实践 基于MaxCompute的实时数据处理实践 基于MaxCompute分布式Python能力的大规模数据科学分析 基于MaxCompute+...
什么是数据库审计
数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云原生数据库和自建数据库。数据库审计服务将数据库监控、审计技术与公共云环境相结合，针对数据库SQL注入、风险操作等数据库风险行为进行记录与告警，形成...
新功能发布记录
2021-12-21 模型查看器 v6.0 DataV发布全新V6.0版本 发布五大新功能 适用用户：数据集及BI映射：企业版及以上用户 区块管理：专业版及以上用户 设计资产：企业版及以上用户 空间构建平台：需线下咨询购买 数据映射系统；BI分析功能帮助用户...
选型配置说明
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
从自建SQL Server增量迁移至RDS SQL Server
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
产品和业务限制
C8：16个 联系技术支持申请更多 一次性申请的ECU个数上限 C8：8个 无需 单个分析型数据库MySQL版每天最大申请扩容或缩容 12次 无例外 单个分析型数据库MySQL版连续24小时导入数据量限制 2 ecuCount diskSize 无例外 单个分析型数据库...
- 产品推荐
- 这些文档可能帮助您