问答 2024-06-26 来自:开发者社区

大数据计算MaxCompute是可以用hdfs和hive和mapreduce的吗?

我有个基于cdh5.9的项目要接入云,公司买的阿里云大数据服务没有emr,大数据计算MaxCompute是可以用hdfs和hive和mapreduce的吗?

文章 2024-06-14 来自:开发者社区

Hadoop生态系统详解:HDFS与MapReduce编程

在大数据处理领域,Apache Hadoop生态系统占据着举足轻重的地位,以其强大的数据存储与处理能力,成为众多企业和研究机构处理海量数据的首选方案。本文将深入解析Hadoop生态系统的核心组件——Hadoop Distributed File System(HDFS)及其分布式计算框架MapReduce,并通过...

Hadoop 分布式计算框架 MapReduce

89 课时 |
856 人已学 |
免费
开发者课程背景图
问答 2024-06-01 来自:开发者社区

需要测试本地HDFS文件读写操作怎样才能连接E-MapReduce里面的HDFS

需要测试本地HDFS文件读写操作怎样才能连接E-MapReduce里面的HDFS

阿里云文档 2024-04-26

使用PyJindo访问阿里云OSS-HDFS

本文将以两种方式为您介绍如何在Python 3.6及更高版本中,利用Python的工具包PyJindo来操作OSS-HDFS。

文章 2024-04-12 来自:开发者社区

Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)

  Hadoop是一个大数据解决方案。它提供了一套分布式系统基础架构。 核心内容包含 hdfs 和mapreduce。hadoop2.0 以后引入 yarn。hdfs 是提供数据存储的,mapreduce 是方便数据计算的。这篇主要说HDFS。 hdfs 对应 namenode 和 datanode。 namenode 负责保存元数据的基本信息,datanode 直接存放数据本身; ma...

Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
阿里云文档 2024-03-28

配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何配置OSS/OSS-HDFS Credential Provider。

阿里云文档 2024-03-25

按Bucket配置OSS/OSS-HDFS Credential Provider

本文为您介绍如何按Bucket配置OSS/OSS-HDFS Credential Provider。

阿里云文档 2024-03-13

加速OSS-HDFS透明缓存

本文以JindoCache支持阿里云OSS-HDFS透明缓存加速的使用方式为例,利用集群本身的存储资源缓存OSS-HDFS文件,以加速作业对OSS-HDFS的访问。

文章 2023-12-25 来自:开发者社区

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)

修改虚拟机IP复制网卡的配置第一种方式:配置文件向识别的网卡兼容1、 通过一个主机复制出多个主机2、 开启复制的主机,启动时选择“复制”3、 启动后查看IP ifconfig查看系统识别的网卡Ifconfig -a这里ifconfig看不到IP 是因为系统识别的设备名称与系统配置文件不同导致。配置文件名称解决方案:修改配置文件名为系统识别的名称(将eth0改为eth1)修改eth1内的配置保存退....

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
阿里云文档 2023-12-22

HBase-HDFS

HBASE-HDFS服务本质上是基于HDFS的,其主要作用是存放HBase的WAL文件,确保HBase日志的持久化与高可靠性。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐