阿里云文档 2024-05-30

使用OSS-HDFS服务回收站在指定时间内恢复删除的数据

使用OSS-HDFS回收站时,需要客户端将待删除文件挪至指定目录,并由服务端定时清理该目录下的数据。

阿里云文档 2024-04-25

通过SeaTunnel集成平台将数据写入OSS-HDFS服务

SeaTunnel是一个开源、易用的超高性能分布式数据集成平台,支持海量数据的实时同步。本文介绍如何通过SeaTunnel集成平台将数据写入OSS-HDFS服务。

Hadoop 分布式文件系统 HDFS

43 课时 |
1095 人已学 |
免费
开发者课程背景图
阿里云文档 2024-03-27

AnalyticDB PostgreSQL读写HDFS、Hive或MySQL外部数据

若您需要通过AnalyticDB PostgreSQL版访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为AnalyticDB PostgreSQL版数据库优化后的格式进行查询和分析。

阿里云文档 2024-01-23

查询高可用集群中的HDFS数据

如果您所使用的数据集群开启了高可用,那么在查询高可用集群中的HDFS数据时,您需要进行额外的配置。建议您按照本文的操作步骤来配置StarRocks集群,以实现HDFS的高可用性。

阿里云文档 2023-08-15

如何提高访问OSS或OSS-HDFS数据时HTTP请求的响应速度

本文为您介绍如何提高访问OSS或OSS-HDFS数据时HTTP请求的响应速度,以便优化OSS或OSS-HDFS上的数据处理。

文章 2023-08-04 来自:开发者社区

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)

2、配置文件说明(1)Reader参数说明3、提交任务(1)清空历史数据hadoop fs -rm -r -f /base_province/*(2)进入DataX根目录(3)执行如下命令python bin/datax.py job/base_province.json4、查看结果&...

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
文章 2023-08-04 来自:开发者社区

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)

1、DataX简介1.1 DataX概述DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 源码地址:https://github.com/alibaba/DataX1.2 DataX支持的数据源DataX目前已经...

5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
问答 2023-02-20 来自:开发者社区

请问dataworks 的数据集成可以同步数据到oss-hdfs么?

请问dataworks 的数据集成可以同步数据到oss-hdfs么?

文章 2019-04-10 来自:开发者社区

使用EMR-Flume同步Kafka数据到HDFS

使用EMR-Flume同步Kafka数据到HDFS 1. 背景 Flume是一个分布式、可靠和高效的数据汇聚系统,其source、channel和sink的结构设计,不仅实现了数据生产者与消费者的解耦,还提供了数据缓冲的功能。Flume支持多种source、channel和sink,也可以实现自定义source、channel和sink并以插件的方式加入Flume中。同时,Flume也支持数据.....

文章 2018-09-06 来自:开发者社区

DATAX工具同步数据从hdfs到drds性能优化

问题描述 在客户现场运维过程中,使用datax同步数据从hdfs到drds速度极其缓慢,因此希望进行datax的json文件进行优化,提升速度,同步缓慢及报错如下; 问题分析 对于datax的使用问题,第一要素就要检查json文件的问题; 从同步的datax的日志及报错的tddl-4603来看,json文件是可以使用的,只是使用的参数设置有问题导致了4603的报错,也就是出现了跨库事务的存在;d....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。