创建MaxCompute数据

背景信息 MaxCompute即阿里云大数据计算服务,适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化...

创建MaxCompute数据

背景信息 MaxCompute即阿里云大数据计算服务,适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化...

冷热分层

背景信息 在海量大数据场景下,随着业务和数据量的不断增长,性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案,推出了数据流入、数据组织管理、数据查询和数据流出等特性,同时提供了数据的ACID和CRUD操作...

创建GreenPlum数据

通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎,作用于分析、机器学习和AI等领域。其架构主要针对管理规模分析...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

Delta Lake概述

Delta Lake以数据为中心,围绕数据流走向(数据从流入数据湖、数据组织管理和数据查询到流出数据湖)推出了一系列功能特性,协助您搭配第三方上下游工具,搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...

主备方案介绍

数据库HBase存储海量大数据,在业务场景中往往承载着重要数据,为保障数据的高可用性和安全性,云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活:大数据量随机读响应...

通过RAM角色授权模式配置数据

本文以OSS数据源为例,为您介绍如何通过RAM角色授权模式配置数据源,提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程,请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略,详情请...

数据源白名单配置

产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X(2.0)设置白...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多详情请参见 Apache Hudi官网。使用限制 Dataphin仅支持超级管理员、数据源管理...

典型场景

ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...

数据库导出

当您需要进行数据库备份、导出数据库表进行数据分析等操作时,您可使用 数据管理DMS 的数据导出功能,该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下:MySQL系列:自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...

应用场景

阿里云开源大数据平台E-MapReduce(简称EMR)具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式,包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

创建Impala数据

在 新建数据源 对话框的 大数据存储 区域,选择 Impala。如果您最近使用过Impala,也可以在 最近使用 区域选择Impala。同时,您也可以在搜索框中,输入Impala的关键词,快速筛选。在 新建Impala数据源 对话框中,配置连接数据源参数。配置...

数据质量概述

功能介绍 数据质量支持对常见大数据存储(MaxCompute、E-MapReduce、Hologres、AnalyticDB PostgreSQL和AnalyticDB MySQL等)进行质量校验。从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度,配置质量监控规则。并可以将质量...

数据扫描和识别

支持扫描的数据源类型如下:结构化数据:RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据:OSS 大数据:TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描?DSC 完成数据源授权后,...

数据导入方式介绍

为满足多样化的数据导入需求,AnalyticDB for MySQL 提供了多种数据导入方式,包括:通过外表导入数据、通过DataWorks导入数据、通过DTS导入数据以及使用JDBC通过程序导入数据等。您可以通过本文了解各导入方式的特性及适用场景,帮助您...

ETL工作流快速体验

GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集,通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据,在DataStudio 数据开发 模块通过函数计算...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将...MaxCompute处理业务数据和日志数据后,可以通过Quick BI快速地以可视化方式展现数据处理结果,详情请参见 基于MaxCompute的大数据BI分析。

JindoFS实战演示

使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法,你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS,以及在迁移...

阶段一:基础防护建设

例如:《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

我是普通用户

数据方案 数据变更 对数据进行变更,以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于...

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程中可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时,推荐...

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级 SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

新建TDengine数据

在 新建数据源 对话框的 大数据存储 区域,选择 TDengine。如果您最近使用过TDengine,也可以在 最近使用 区域选择TDengine。同时,您也可以在搜索框中,输入TDengine的关键词,快速筛选。在 新建TDengine数据源 对话框中,配置数据源的...

配置ArgoDB输出组件

配置ArgoDB输出组件,可以将外部数据库中读取的数据写入到ArgoDB,或从大数据平台对接的存储系统中将数据复制推送至ArgoDB,进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...

配置ArgoDB输出组件

配置ArgoDB输出组件,可以将外部数据库中读取的数据写入到ArgoDB,或从大数据平台对接的存储系统中将数据复制推送至ArgoDB,进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...

创建Impala数据

在 新建数据源 对话框的 大数据存储 区域,选择 Impala。如果您最近使用过Impala,也可以在 最近使用 区域选择Impala。同时,您也可以在搜索框中,输入Impala的关键词,快速筛选。在 新建Impala数据源 对话框中,配置连接数据源参数。配置...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

新建TDengine数据

在 新建数据源 对话框的 大数据存储 区域,选择 TDengine。如果您最近使用过TDengine,也可以在 最近使用 区域选择TDengine。同时,您也可以在搜索框中,输入TDengine的关键词,快速搜索。在 新建TDengine数据源 对话框中,配置数据源的...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

什么是数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据...

外部表概述

但这两种方法都有不足之处:第一种方法需要在MaxCompute系统外部做一次中转,如果OSS数据量太,还需要考虑如何并发来加速,无法充分利用MaxCompute的规模计算能力。第二种方法通常需要申请UDF网络访问权限,还需要开发者自己控制作业...

常见问题

数据库 SelectDB 版 实例可包含多个计算集群,每个计算集群包含 一个或多个BE节点,类似大数据系统中的计算资源组、计算队列类的概念。同一实例中的 多个计算集群 具有如下特性:数据共享:多集群共享底层数据,均可以访问底层数据,避免...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。前置概念 阅读本文前,您可能需要了解如下概念:什么是云数据库?什么是OLAP?...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生大数据计算服务 MaxCompute 云数据库 RDS 云数据库 Redis 版 大模型服务平台百炼 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用