阿里云文档 2024-05-30

使用OSS-HDFS服务回收站在指定时间内恢复删除的数据

使用OSS-HDFS回收站时,需要客户端将待删除文件挪至指定目录,并由服务端定时清理该目录下的数据。

阿里云文档 2024-04-25

通过SeaTunnel集成平台将数据写入OSS-HDFS服务

SeaTunnel是一个开源、易用的超高性能分布式数据集成平台,支持海量数据的实时同步。本文介绍如何通过SeaTunnel集成平台将数据写入OSS-HDFS服务。

Hadoop 分布式文件系统 HDFS

43 课时 |
1098 人已学 |
免费
开发者课程背景图
阿里云文档 2024-03-27

AnalyticDB PostgreSQL读写HDFS、Hive或MySQL外部数据

若您需要通过AnalyticDB PostgreSQL版访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为AnalyticDB PostgreSQL版数据库优化后的格式进行查询和分析。

阿里云文档 2024-01-23

查询高可用集群中的HDFS数据

如果您所使用的数据集群开启了高可用,那么在查询高可用集群中的HDFS数据时,您需要进行额外的配置。建议您按照本文的操作步骤来配置StarRocks集群,以实现HDFS的高可用性。

阿里云文档 2023-08-15

如何提高访问OSS或OSS-HDFS数据时HTTP请求的响应速度

本文为您介绍如何提高访问OSS或OSS-HDFS数据时HTTP请求的响应速度,以便优化OSS或OSS-HDFS上的数据处理。

文章 2021-12-19 来自:开发者社区

云上计算云下数据: HDFS 缓存加速 | 学习笔记

开发者学堂课程【数据湖 JindoFS + OSS 实操干货36讲:云上计算云下数据: HDFS 缓存加速】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/833/detail/13975云上计算云下数据:HDFS 缓存加速内容介绍一、...

云上计算云下数据: HDFS 缓存加速 | 学习笔记
文章 2021-07-02 来自:开发者社区

数据湖实操讲解【JindoFS 缓存加速】第十五讲:云上计算云下数据:HDFS 缓存加速

本期导读 :【JindoFS 缓存加速】第十五讲主题:云上计算云下数据:HDFS 缓存加速讲师:抚月,阿里巴巴计算平台事业部 开源大数据平台 技术专家内容框架:背景介绍功能介绍使用方法实操演示直播回放链接:(15讲)https://developer.aliyun.com...

数据湖实操讲解【JindoFS 缓存加速】第十五讲:云上计算云下数据:HDFS 缓存加速
问答 2018-12-12 来自:开发者社区

想了解Spark ShuffleMapTask计算的输出文件,是如何把大于内存的输入数据(HDFS数据源)进行合并相同key,并进行排序的

[问题]).ShuffleMapTask输出数据文件前,key合并,和排序是如何做到的,如果数据远大于内存?).SPARK 1.6.0-cdh5.15.0[复现]).scala worldcount: val distFile:org.apache.spark.rdd.RDD[String] = sc.textFile("hdfs://standalone.com:9000/opt/data...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

文件存储HDFS版数据相关内容