常见问题
如何理解开源与云原生的大数据技术与产品？MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的...
OSS/OSS-HDFS
场景 特性 OSS OSS-HDFS 大数据场景（Hadoop）支持目录、文件语义和操作 支持 支持 添加目录、文件权限 不支持 支持 目录原子性、rename性能 支持，但性能不佳 支持，毫秒级 通过setTimes设置时间 不支持 支持 扩展属性XAttrs 不支持 支持 ...
新功能发布记录
01-06 创建SA权限的数据库账号 2024年 12月 类别 功能名称 功能描述 发布时间 相关文档 优化 升级数据库大版本 RDS SQL Server Web版独享入门规格实例支持大版本升级，您可按需将实例升级到更高版本和系列，以获得更优的性能和更强的扩展...
Data Lake Formation 2.0 数据源
使用限制 仅支持数据集成使用。创建数据源 进入数据源页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 更多 管理中心，在下拉框中选择对应工作空间后单击 进入管理中心。进入工作空间管理中心页面后，单击左侧导航栏的 ...
【通知】敏感数据保护功能商业化
支持：仅支持数据脱敏。支持：数据脱敏。查看脱敏算法应用的字段列表。批量调整关联的脱敏算法。细粒度权限管控 不支持 不支持 支持：无限制 支持：付费功能，包含在敏感数据管理中。说明 关于敏感数据保护功能的更多信息，请参见 敏感数据...
MaxCompute数据源
说明 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。若工作空间中名为 odps_first 的MaxCompute数据源非人为在数据源界面创建，则该...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
IoT数据自动化同步至云端解决方案
大数据是物联网体系的重要组成部分。物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 StarRocks StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、...
数据集成支持的数据源
支持 OceanBase 支持 支持 Oracle 支持 支持 Vertica 支持 支持 IBM DB2 支持 支持 Teradata 支持 支持 ClickHouse 支持 支持 DM（达梦）支持 支持 GBase 8a 支持 支持 KingbaseES 支持 支持 TiDB 支持 支持 GoldenDB 支持 支持 OpenGauss ...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
限制说明
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
服务账号授权
背景信息 当您需要阿里云技术支持人员协助解决问题时，可通过服务账号授权功能，将配置、查询索引、数据等权限授予阿里云的技术支持人员。支持人员将在允许的时间和权限内对您的集群进行操作，为您提供技术支持服务。前提条件 当集群实例...
数据源管理
管理标签：Dataphin支持数据源的标签管理，以支持您可以通过业务场景划分数据源进行管理。如需创建，请参见 数据源管理标签。新建数据源：若您需要新建数据源。具体操作，请参见 Dataphin支持的数据源。刷新：单击 可以刷新当前数据源。② ...
数据源管理
管理标签：Dataphin支持数据源的标签管理，以支持您可以通过业务场景划分数据源进行管理。如需创建，请参见 管理数据源标签。新建数据源：若您需要新建数据源。具体操作，请参见 Dataphin支持的数据源。刷新：单击 可以刷新当前数据源。② ...
RDS SQL Server迁移至RDS MySQL
若实例运行失败，DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中，可能会对该实例进行重启、调整参数等操作。说明 在调整参数时，仅会修改实例的参数，不会对数据库中的参数进行修改。可能修改的参数，包括但不限于 ...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
整体架构
技术架构 AnalyticDB for MySQL 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB for MySQL 融合了分布式、弹性计算与云计算的优势，对规模性、易用性...
功能特性
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
添加DataV Atlas地理数据服务
海量数据实时交互：支持数据瓦片按需加载，实时渲染可交互，解决展示海量地理数据时的性能和效率问题。数据安全：支持二进制编码数据返回，提供访问控制和管理功能，防止未经授权的访问。实时数据更新与分析：支持快速更新和复杂空间分析，...
管理数据源权限
因此数据集成提供更加严格的权限管控功能，仅支持数据源的创建者对数据源进行权限管理，指定某个工作空间或者某个人对数据源的权限。数据源权限管理相关的常见问题请参见 数据源权限管理。使用限制 数据源权限管理功能仅支持跨工作空间数据...
概述
手动备份仅支持数据备份，日志备份持续进行，无需手动触发。说明 自动备份的频率最低为每周一次。前一次的手动备份完成后才能进行下一次的手动备份。备份存放位置 数据备份：存放于阿里云提供的备份空间，不占用实例的存储空间，默认保留30...
数据集成支持的数据源
支持 OceanBase 支持 支持 Oracle 支持 支持 Vertica 支持 支持 IBM DB2 支持 支持 Teradata 支持 支持 ClickHouse 支持 支持 DM（达梦）支持 支持 GBase 8a 支持 支持 KingbaseES 支持 支持 TiDB 支持 支持 GoldenDB 支持 支持 OpenGauss ...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择不同的同步类型，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的数据源及同步类型配置，其流程可能存在差异，具体配置细节，请以...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试 或Session集群调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。调试方式说明 本地调试方式：即不通过集群进行调试，...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
升级
数据标准 数据标准目标是为业务、技术和管理提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。数据标准包括数据标准、标准集、落标映射规则、标准代码（码表）、词根等功能。升级规则如下：敏捷...
写入与查询
仅3.1.9.3及以上内核版本的集群支持Multi-Statement功能，您需先查看集群内核版本是否符合要求，若内核版本低于3.1.9.3，请联系技术支持升级版本；若内核版本高于3.1.9.3，但仍有该报错，可能是因为客户端未开启Multi-Statement功能。例如...
概述
import mars.tensor as mt a=mt.random.rand(10000,50)b=mt.random.rand(50,5000)a.dot(b).execute()Mars DataFrame接口 和Pandas保持一致，且支持大规模数据处理和分析。示例代码如下。import mars.dataframe as md ratings=md.read_csv('...
ClickHouse数据源
数据类型 ClickHouse Reader ClickHouse Writer Int8 支持 支持 Int16 支持 支持 Int32 支持 支持 Int64 支持 支持 UInt8 支持 支持 UInt16 支持 支持 UInt32 支持 支持 UInt64 支持 支持 Float32 支持 支持 Float64 支持 支持 Decimal ...
EMR-3.22.x版本说明
包括多Namespace支持、本地数据块以大文件形式存储、多模存储支持和外部客户端支持等多项重大更新。解决机器重启过程中Bigboot monitor状态不正确问题。增加Kudu组件的服务spec。增加各个服务spec的正确性检验。Hadoop HDFS HDFS ...
数据源支持概述
本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 ...
RDS术语
AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
数据保护伞
在EMR集群下使用数据保护伞需升级独享调度资源组，您可加入 DataWorks钉钉群 联系技术支持同学申请升级。数据保护伞默认使用阿里云主账号进行数据抽样，如果您的集群开启了LDAP认证，使用Ranger或DLF-Auth管理表权限，需您为主账号配置账号...
产品优势
提高开源组织版本管理效率，快速支持业务创新 更多开源软件支持 更高软件版本支持 覆盖从边缘到AI全场景 企业级的服务支持，降低运维成本，缩短故障处理时间 来自阿里云和Cloudera的7*24小时大数据专家服务支持 快速定位使用中遇到的问题，...
数据库代理服务概述
说明 目前独享规格属于内部测试阶段，如您需要使用此功能，请联系 OceanBase 技术支持。独享规格代理服务开启后，系统依据您所使用的资源量按小时进行计费。两种规格类型的功能和差异具体如下：对比项 通用规格 独享规格 计费类型 限时免费...
- 产品推荐
- 这些文档可能帮助您