典型场景

ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...

数据导入方式介绍

为满足多样化的数据导入需求,云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式,包括:通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景,帮助您选择正确的数据导入...

应用场景

阿里云开源大数据平台E-MapReduce(简称EMR)具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式,包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

创建Impala数据

在 新建数据源 对话框的 大数据存储 区域,选择 Impala。如果您最近使用过Impala,也可以在 最近使用 区域选择Impala。同时,您也可以在搜索框中,输入Impala的关键词,快速筛选。在 新建Impala数据源 对话框中,配置连接数据源参数。配置...

数据扫描和识别

支持扫描的数据源类型如下:结构化数据:RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据:OSS 大数据:TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描?DSC 完成数据源授权后,...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将...MaxCompute处理业务数据和日志数据后,可以通过Quick BI快速地以可视化方式展现数据处理结果,详情请参见 基于MaxCompute的大数据BI分析。

JindoFS实战演示

使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法,你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS,以及在迁移...

阶段一:基础防护建设

例如:《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...

我是普通用户

数据方案 数据变更 对数据进行变更,以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于...

数据变更最佳实践

批量和实时导入数据 批量导入:适用于大数据量导入的场景,导入过程中可以查询旧数据,导入操作完成后一键切换新数据。导入失败时,支持回滚新数据,不影响查询旧数据。例如,从MaxCompute、OSS中导入数据到 AnalyticDB MySQL版 时,推荐...

DataWorks On EMR使用说明

数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面,帮助用户落地数据安全治理事项。安全中心概述 ...

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定计算引擎后,您即可在DataWorks上创建对应引擎...

配置DataHub输出组件

配置DataHub输出组件,可以将外部数据库中读取数据写入到DataHub,或从大数据平台对接的存储系统中将数据复制推送至DataHub,进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作,请参见...

什么是MaxCompute

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效...

Dataphin支持的数据

背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下:如果您需要在Dataphin中连接某数据源,则需要先在数据源管理中创建该数据源。...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

什么是数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台,提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能,为智能数据应用持续稳定供给全量、标准、干净、智能的数据...

什么是数据管理DMS

DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能,致力于帮助企业高效、安全地挖掘数据价值,助力企业数字化转型。视频介绍 功能特性 详情信息,请参见 功能概览。为什么选择数据管理DMS 全域数据...

外部表概述

但这两种方法都有不足之处:第一种方法需要在MaxCompute系统外部做一次中转,如果OSS数据量太,还需要考虑如何并发来加速,无法充分利用MaxCompute的规模计算能力。第二种方法通常需要申请UDF网络访问权限,还需要开发者自己控制作业...

Github实时数据同步与分析

操作难度 易 所需时间 55分钟 使用的阿里云产品 实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化 所需费用 0元 ​阿里云提供一定额度的资源包供您免费体验,开通后会使用计算...

创建Teradata数据

通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出...

版本发布记录

深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力,包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件,表格存储,AnalyticDB,云数据库版或自建数据库(MySQL、...

Quick BI连接MaxCompute

背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台,可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具,更是数据化运营的助推器。更多Quick BI信息,请参见 Quick ...

新建Doris数据

在新建数据源对话框的 大数据存储 区域,选择Doris。如果您最近使用过Doris,也可以在最近使用区域选择Doris。同时,您也可以在搜索框中,输入Doris的关键词,快速筛选。在 新建Doris数据源 对话框中,配置连接数据源参数。配置数据源的...

数据分析概述

功能概述 SQL查询 SQL查询是使用标准的SQL语句,来查询和分析存储在MaxCompute中的大数据,详情请参见 SQL查询。您可以通过编写SQL语句,对有查询权限的数据源进行快速的数据查询与分析操作,详情请参见 功能概览。DataWorks SQL查询提供了...

我是安全管理员

解决方案 数据归档概述 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

功能发布记录(2023年)

2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等),通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...

数据源管理概述

功能介绍 多数据源类型接入:Dataphin内置丰富的数据源类型,支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息,请参见 Dataphin支持的数据源。自定义数据源类型:在内置的...

配置MaxCompute输出

大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见 实时同步能力说明。背景信息 写入数据不支持...

数据重排

在MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。...

数据上传

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...

LTS(原BDS)服务介绍

在线离线业务分离 通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群...

Iceberg概述

删除或更新数据 部分数仓都难以实现较为高效的行级数据删除或更新,通常需要启动离线作业把整个表原始数据读取出来,然后变更数据后,写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别,从而可以通过局部变更来完成...

测试数据构建

RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版(兼容Oracle)背景信息 功能测试或者性能测试时,往往需要准备测试数据,通常有以下几种方法:手工编写:效率低,不适用于大数据量场景。维护生成测试数据脚本:成...

从RDS MySQL迁移至自建Kafka

Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),...

创建Hologres数据

在 新建数据源 对话框的 大数据存储 区域,选择 Hologres。如果您最近使用过Hologres,也可以在 最近使用 区域选择Hologres。同时,您也可以在搜索框中,输入Hologres的关键词,快速筛选。在 新建Hologres数据源 对话框中,配置连接数据源...

我是DBA

解决方案 数据归档 数据归档功能支持定时将表的数据归档至其他数据库,同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库,数据在秒级的延迟下,同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...

DataWorks On CDP/CDH使用说明

一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力,您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源,实现将其他数据源的数据同步至Hive或HBase数据源,或将Hive或HBase数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生大数据计算服务 MaxCompute 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用