阿里云文档 2025-06-09

使用PyJindo访问阿里云OSS-HDFS

本文将以两种方式为您介绍如何在Python 3.6及更高版本中,利用Python的工具包PyJindo来操作OSS-HDFS。

阿里云文档 2025-03-07

配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何配置OSS/OSS-HDFS Credential Provider。

文章 2024-04-12 来自:开发者社区

Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)

  Hadoop是一个大数据解决方案。它提供了一套分布式系统基础架构。 核心内容包含 hdfs 和mapreduce。hadoop2.0 以后引入 yarn。hdfs 是提供数据存储的,mapreduce 是方便数据计算的。这篇主要说HDFS。 hdfs 对应 namenode 和 datanode。 namenode 负责保存元数据的基本信息,datanode 直接存放数据本身; ma...

Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
阿里云文档 2024-03-25

按Bucket配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何按Bucket配置OSS/OSS-HDFS Credential Provider。

文章 2023-12-25 来自:开发者社区

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)

修改虚拟机IP复制网卡的配置第一种方式:配置文件向识别的网卡兼容1、 通过一个主机复制出多个主机2、 开启复制的主机,启动时选择“复制”3、 启动后查看IP ifconfig查看系统识别的网卡Ifconfig -a这里ifconfig看不到IP 是因为系统识别的设备名称与系统配置文件不同导致。配置文件名称解决方案:修改配置文件名为系统识别的名称(将eth0改为eth1)修改eth1内的配置保存退....

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
问答 2023-02-28 来自:开发者社区

HDFS、MapReduce和Hbase分别是什什么意思?

谷歌在2003年到2006年发表的三篇重要学术论文,HDFS、MapReduce和Hbase 。因此奠定了云计算的发展方向。 关于这三篇文章或者说三个技术点,因为它们云计算才得以正式拉开帷幕。 请问有谁知道这三篇论文HDFS、MapReduce和Hbase 分别是什么意思?

文章 2022-11-19 来自:开发者社区

Azkaban--使用实战--hadoop 调度(hdfs、mapreduce) | 学习笔记

开发者学堂课程【Azkaban 大数据调度系统课程精讲:Azkaban--使用实战--hadoop 调度(hdfs、mapreduce)】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/721/detail/12881Azkaban--使用实战--hadoop 调度(hdfs、mapreduce)内....

Azkaban--使用实战--hadoop 调度(hdfs、mapreduce) | 学习笔记
文章 2022-09-20 来自:开发者社区

Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的

@[toc]3.Hadoop运行模式3.3SSH无密登录配置3.3.1配置ssh3.3.1.1基本语法ssh 另一台电脑的IP地址3.3.1.2ssh连接时出现Host key verification failed的解决方法[summer@hadoop102 ~]$ ssh hadoop103如果出现如下内容Are you sure you want to continue connectin....

Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
文章 2022-08-28 来自:开发者社区

Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的

@[toc]3.Hadoop运行模式3.3SSH无密登录配置3.3.1配置ssh3.3.1.1基本语法ssh 另一台电脑的IP地址3.3.1.2ssh连接时出现Host key verification failed的解决方法[summer@hadoop102 ~]$ ssh hadoop103如果出现如下内容Are you sure you want to continue connectin....

Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
问答 2022-08-02 来自:开发者社区

hadoop HDFS,hadoop mapReduce,HBASE有什么称呼?

hadoop HDFS,hadoop mapReduce,HBASE有什么称呼?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐