hadoop技术的相关内容

文章 2017-05-02 来自：开发者社区

《Hadoop技术详解》一2.3　守护进程

本节书摘来异步社区《Hadoop技术详解》一书中的第2章，第2.3节，作者：【美】Eric Sammer 译者：刘敏 , 麦耀锋 , 李冀蕾 , 等，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.3　守护进程一个标准HDFS集群由3个守护进程组成，如表2-1所示。数据块可以理解为二进制数据文件的主要组成单元。在HDFS中，负责数据存储和获取的守护进程就是DataNode，...

文章 2017-05-02 来自：开发者社区

本节书摘来异步社区《Hadoop技术详解》一书中的第2章，第2.2节，作者：【美】Eric Sammer 译者：刘敏 , 麦耀锋 , 李冀蕾 , 等，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.2　设计 HDFS在很多方面都遵循了传统文件系统的设计思想。譬如文件以不透明的数据块形式存储，通过元数据管理文件名和数据块的映射关系、目录树结构、访问权限等信息。这些和普通的Linux文....

文章 2017-05-02 来自：开发者社区

《Hadoop技术详解》一2.1　目标和动机

本节书摘来异步社区《Hadoop技术详解》一书中的第2章，第2.1节，作者：【美】Eric Sammer 译者：刘敏 , 麦耀锋 , 李冀蕾 , 等，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.1　目标和动机 Apache Hadoop的重要组成部分是Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）。HDFS的设计初衷是为了支持....

文章 2017-05-02 来自：开发者社区

《Hadoop海量数据处理：技术详解与项目实战》一导读

前言 Hadoop海量数据处理：技术详解与项目实战为什么要写这本书2013年被称为“大数据元年”，标志着世界正式进入了大数据时代，而就在这一年，我加入了清华大学苏州汽车研究院大数据处理中心，从事Hadoop的开发、运维和数据挖掘等方面的工作。从出现之日起，Hadoop就深刻地改变了人们处理数据的方式。作为一款开源软件，Hadoop能让所有人享受到大数据红利，让所有人在大数据时代站在了同一起跑线....

文章 2017-05-02 来自：开发者社区

《Hadoop海量数据处理：技术详解与项目实战》一3.3 如何访问HDFS

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第3章，第3.3节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 3.3 如何访问HDFS Hadoop海量数据处理：技术详解与项目实战HDFS提供给HDFS客户端访问的方式多种多样，用户可以根据不同的情况选择不同的方式。 3.3.1 命令行接口 Hadoop自带一组命令行工具，而其....

文章 2017-05-02 来自：开发者社区

《Hadoop海量数据处理：技术详解与项目实战》一 3.2 HDFS读取文件和写入文件

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第3章，第3.2节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 3.2 HDFS读取文件和写入文件 Hadoop海量数据处理：技术详解与项目实战我们知道在HDFS中，NameNode作为集群的大脑，保存着整个文件系统的元数据，而真正数据是存储在DataNode的块中。本节将介绍HD....

文章 2017-05-02 来自：开发者社区

《Hadoop海量数据处理：技术详解与项目实战》一3.1 认识HDFS

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第3章，第3.1节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 3.1 认识HDFS Hadoop海量数据处理：技术详解与项目实战HDFS的设计理念源于非常朴素的思想：当数据集的大小超过单台计算机的存储能力时，就有必要将其进行分区（partition）并存储到若干台单独的计算机上，....

文章 2017-05-02 来自：开发者社区

《Hadoop海量数据处理：技术详解与项目实战》一1.2 Hadoop和大数据

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第1章，第1.2节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 Hadoop和大数据 Hadoop海量数据处理：技术详解与项目实战在人们对云计算这个词汇耳熟能详之后，大数据这个词汇又在最短时间内进入大众视野。云计算对于普通人来说就像云一样，一直没有机会能够真正感受到，而大数....

文章 2017-05-02 来自：开发者社区

Hadoop创始人Doug Cutting谈未来大数据的技术

图为Hadoop创始人Doug Cutting Cloudera首席架构师就内存及云计算相关技术发表讨论，Hadoop将如何在大数据方面发挥更大价值。在Doug Cutting十年前创建Hadoop架构的时候，他从未想过这会为企业界带来如此超大规模的计算。“毫无疑问，我当初预想的情况比我们现在所看到的要稍微保守一些。“他在近期伦敦的Strata+Hadoop World大会上说。在今天，H.....

文章 2017-05-02 来自：开发者社区

《Hadoop海量数据处理：技术详解与项目实战》一第1章绪论

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战》一书中的第1章，第1.1节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。第1章绪论 Hadoop海量数据处理：技术详解与项目实战本章作为绪论，目的是在学习Hadoop之前，让读者理清相关概念以及这些概念之间的联系。

共有114条

< 1 ... 8 9 10 11 12 >

跳转至： GO

更新时间 2025-03-18 12:39:40

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

hadoop更多技术相关

hadoop您可能感兴趣

产品推荐

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":3,"count":3}]},"card":[{"des":"E-MapReduce 是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括Hadoop，Spark，Kafka，Storm，为用户提供集群，作业，数据等管理的一站式大数据处理分析业务。","link1":"https://www.aliyun.com/product/emr","link":"https://www.aliyun.com/product/emr","icon":"https://img.alicdn.com/tfs/TB10yI6DNn1gK0jSZKPXXXvUXXa-201-200.png","btn2":"产品文档","tip":"海量存储，离线计算，实时计算场景等各种场景，Hadoop，Spark，Hive，Kafka，Storm等集群快速购买，<a href=\"https://www.aliyun.com/product/emapreduce\" target=\"_blank\">立即查看</a>产品动态发布：<a href=\"https://www.aliyun.com/product/new\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/document_detail/28068.html","title":"E-MapReduce"}],"search":[{"txt":"购买建议","link":"https://help.aliyun.com/document_detail/65683.html"},{"txt":"集群规划","link":"https://help.aliyun.com/document_detail/58901.html"},{"txt":"Spark开发入门","link":"https://help.aliyun.com/document_detail/28116.html"},{"txt":"快速入门","link":"https://help.aliyun.com/document_detail/43753.html"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"link":"https://www.aliyun.com/product/emapreduce","icon":"emapreduce","contentLink":"https://www.aliyun.com/product/emapreduce","title":"开源大数据平台 E-MapReduce","des":"开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎服务。","btn1":"产品控制台","link1":"https://emr-next.console.aliyun.com/","btn2":"立即开通","link2":"https://emr-next.console.aliyun.com/#/create/ecs","btn3":"产品文档","link3":"https://help.aliyun.com/document_detail/28068.html","infoGroup":[{"infoName":"优惠活动","infoContent":{"firstContentName":"StarRocks 免费试用","firstContentLink":"https://free.aliyun.com/?pipCode=emapreduce&spm=5176.28055625.J_4VYgf18xNlTAyFFbOuOQe.118.e939154awRTC1N&scm=20140722.M_9821919._.V_1"}},{"infoName":"产品入门","infoContent":{"firstContentName":"快速入门指导","firstContentLink":"https://help.aliyun.com/document_detail/176795.html?spm=a2c4g.11186623.6.572.68403b8bI3rak8","lastContentName":"常见问题","lastContentLink":"https://help.aliyun.com/document_detail/28186.html?spm=a2c4g.11186623.6.1143.7bce1c52WiJTBt"}},{"infoName":"最佳实践","infoContent":{"firstContentName":"EMR实时计算实践","firstContentLink":"https://help.aliyun.com/document_detail/127198.html?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP","lastContentName":"EMR弹性计算实践","lastContentLink":"https://bp.aliyun.com/front/home/detail/36?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP"}},{"infoContent":{"lastContentName":"","lastContentLink":"","firstContentName":"产品最新动态","firstContentLink":"https://www.aliyun.com/product/new?category=19&product=125"},"infoName":"最新动态"}],"ifIcon":"icon","iconImg":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png"}]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":3,"count":3}]},"card":[{"des":"E-MapReduce 是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括Hadoop，Spark，Kafka，Storm，为用户提供集群，作业，数据等管理的一站式大数据处理分析业务。","link1":"https://www.aliyun.com/product/emr","link":"https://www.aliyun.com/product/emr","icon":"https://img.alicdn.com/tfs/TB10yI6DNn1gK0jSZKPXXXvUXXa-201-200.png","btn2":"产品文档","tip":"海量存储，离线计算，实时计算场景等各种场景，Hadoop，Spark，Hive，Kafka，Storm等集群快速购买，<a href=\"https://www.aliyun.com/product/emapreduce\" target=\"_blank\">立即查看</a>产品动态发布：<a href=\"https://www.aliyun.com/product/new\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/document_detail/28068.html","title":"E-MapReduce"}],"search":[{"txt":"购买建议","link":"https://help.aliyun.com/document_detail/65683.html"},{"txt":"集群规划","link":"https://help.aliyun.com/document_detail/58901.html"},{"txt":"Spark开发入门","link":"https://help.aliyun.com/document_detail/28116.html"},{"txt":"快速入门","link":"https://help.aliyun.com/document_detail/43753.html"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"link":"https://www.aliyun.com/product/emapreduce","icon":"emapreduce","contentLink":"https://www.aliyun.com/product/emapreduce","title":"开源大数据平台 E-MapReduce","des":"开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎服务。","btn1":"产品控制台","link1":"https://emr-next.console.aliyun.com/","btn2":"立即开通","link2":"https://emr-next.console.aliyun.com/#/create/ecs","btn3":"产品文档","link3":"https://help.aliyun.com/document_detail/28068.html","infoGroup":[{"infoName":"优惠活动","infoContent":{"firstContentName":"StarRocks 免费试用","firstContentLink":"https://free.aliyun.com/?pipCode=emapreduce&spm=5176.28055625.J_4VYgf18xNlTAyFFbOuOQe.118.e939154awRTC1N&scm=20140722.M_9821919._.V_1"}},{"infoName":"产品入门","infoContent":{"firstContentName":"快速入门指导","firstContentLink":"https://help.aliyun.com/document_detail/176795.html?spm=a2c4g.11186623.6.572.68403b8bI3rak8","lastContentName":"常见问题","lastContentLink":"https://help.aliyun.com/document_detail/28186.html?spm=a2c4g.11186623.6.1143.7bce1c52WiJTBt"}},{"infoName":"最佳实践","infoContent":{"firstContentName":"EMR实时计算实践","firstContentLink":"https://help.aliyun.com/document_detail/127198.html?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP","lastContentName":"EMR弹性计算实践","lastContentLink":"https://bp.aliyun.com/front/home/detail/36?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP"}},{"infoContent":{"lastContentName":"","lastContentLink":"","firstContentName":"产品最新动态","firstContentLink":"https://www.aliyun.com/product/new?category=19&product=125"},"infoName":"最新动态"}],"ifIcon":"icon","iconImg":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png"}]}}

开源大数据平台 E-MapReduce

开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎服务。

产品控制台

立即开通

产品文档

优惠活动

StarRocks 免费试用

产品入门

快速入门指导

常见问题

最佳实践

EMR实时计算实践