[帮助文档] 使用pyjindo访问阿里云OSS-HDFS

本文将以两种方式为您介绍如何在Python 3.6及更高版本中,利用Python的工具包pyjindo来操作OSS-HDFS。

[AIGC 大数据基础]浅谈hdfs

HDFS介绍: 分布式文件系统 什么是HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统,是Apache Hadoop生态系统中的一部分。它被设计用来处理超大规模数据集,并且具有高度容错性和高吞吐量的特点。HDFS是Hadoop的核心组件之一,也是...

Hadoop 分布式文件系统 HDFS

43 课时 |
945 人已学 |
免费
开发者课程背景图
[AIGC 大数据基础] 浅谈hdfs

[AIGC 大数据基础] 浅谈hdfs

HDFS介绍 什么是HDFS? HDFS(Hadoop Distributed File System)是Apache Hadoop生态系统的一部分,是一个分布式文件系统。它被设计用于存储和处理大规模数据集,并且能够...

[帮助文档] 配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何配置OSS/OSS-HDFS Credential Provider。

[帮助文档] 按Bucket配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何按Bucket配置OSS/OSS-HDFS Credential Provider。

[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅

作为一位Java大师,我始终追求着技术的边界,最近我将目光聚焦在大数据领域。在这个充满机遇和挑战的领域中,我深入研究了Hadoop、HDFS、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度,系统地介绍这些技术。是什么?HadoopHadoop是一个开源的分布式...

[帮助文档] HBase-HDFS_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

HBASE-HDFS服务本质上是基于HDFS的,其主要作用是存放HBase的WAL文件,确保HBase日志的持久化与高可靠性。

大数据成长之路-- hadoop集群的部署(3)HDFS新增节点

大数据成长之路-- hadoop集群的部署(3)6、HDFS新增节点服役新数据节点目标:掌握HDFS新添加节点到集群的步骤需求基础:随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。 准备新节点第一步:复制一台新的虚拟机出来...

大数据 | HDFS 如何实现故障自动转移

大数据 | HDFS 如何实现故障自动转移

为什么需要自动故障转移        在 HDFS 2.x 集群的 HA 模式下通常会有两个 NameNode 用来进行记录元数据,其中一个是主节点(Active),另外一个是备节点(Standby)。主备之间的数据同步通过 JournalNode 节点来充当...

大数据 | HDFS 元数据持久化笔记

大数据 | HDFS 元数据持久化笔记

 一、HDFS 架构简单介绍        HDFS 是一个主从(Master/Slaves)的架构,它由一个 NameNode 和一些 DataNode 组成。其中,NameNode 是主,DataNode 是从。文件元数据由 NameNode 负...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。