hadoop系统的相关内容

文章 2017-08-09 来自：开发者社区

Teradata天睿公司获评大数据Hadoop优化系统领域的领导者

ZD至顶网CIO与应用频道 06月06日北京消息：全球知名市场分析公司Forrester 的最新报告显示，全球领先的大数据分析服务供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）被评为大数据 Hadoop 优化系统（Big Data Hadoop-Optimized Systems）的三大领导者之一。该报告为《Forrester浪潮™：2016 年第....

文章 2017-08-07 来自：开发者社区

Hadoop-No.13之数据源系统以及数据结构

文件系统中采集数据时,应该考虑以下内容. 数据源系统设备的读取速率在所有处理流水线中,磁盘I/O通常都是主要瓶颈.但是优化采集流程时通常要看一下检索数据的系统系统.一般来说,Hadoop的读取速度在20MB/s到100MB/s之间,而且主板或者控制器从系统所有的磁盘中读取时有一定的限制.为了读取速度达到最高,需要确保尽量充分利用系统中的磁盘.某些网络附加存储(Network Attac...

文章 2017-08-01 来自：开发者社区

Hadoop大数据系统的七大危险信号

大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解，就能避免很多“救火”场面。以下是Hadoop大数据系统出现扩展问题的七大危险信号：危险信号一: .....

文章 2017-08-01 来自：开发者社区

Kudu，支持快速分析的新型Hadoop存储系统

Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。背景——功能上的空白 Hadoop生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用户往往需要同时部署很多Hadoop工具来解决同一个....

文章 2017-08-01 来自：开发者社区

比较Apache Hadoop 生态系统中不同的文件格式和存储引擎的性能

主题这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro, Apache Parquet, Apache HBase 和 Apache Kudu 空间效率，提取性能，分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。引言最初把hadoop文件格式和存储引擎做比....

文章 2017-07-10 来自：开发者社区

Hadoop生态系统中的容器和微服务玩出哪些新花样？

最近大多数大数据应用都部署在裸设备上，这意味着Hadoop大多数部署在非虚拟化服务器上。随着容器和微服务对应用开发圈产生影响，这种情况在发生改变。容器和微服务都把整个应用程序的代码细分成更小粒度的片段。这样不仅简化了开发，而且更容易测试，这也是设计更灵活应用程序部署方案和代码复用的关键。早期的时候，这种技术就应用于大数据领域，但是现在看起来在数据流处理、微服务这类领域应用也很有前途。欧洲某顶....

文章 2017-07-04 来自：开发者社区

《深入理解大数据：大数据处理与编程实践》一一2.1　Hadoop系统安装方法简介

本节书摘来自华章计算机《深入理解大数据：大数据处理与编程实践》一书中的第2章，第2.1节,作者主　编：黄宜华（南京大学）副主编：苗凯翔（英特尔公司），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1　Hadoop系统安装方法简介 Hadoop可以用三种不同的方式进行安装。第一种方式是单机方式，它允许在一台运行Linux或Windows下虚拟Linux的单机上安装运行Hadoop系....

文章 2017-07-04 来自：开发者社区

《深入理解大数据：大数据处理与编程实践》一一第2章 Hadoop系统的安装与操作管理

第2章 Hadoop系统的安装与操作管理可以用三种不同的方式安装Hadoop。本章将分别介绍这几种方法在Linux环境下的安装和运行，并介绍基本的MapReduce程序开发过程、远程作业提交与执行方法以及如何查看作业执行结果。

文章 2017-07-04 来自：开发者社区

《深入理解大数据：大数据处理与编程实践》一一1.4　Hadoop系统简介

本节书摘来自华章计算机《深入理解大数据：大数据处理与编程实践》一书中的第1章，第1.4节,作者主　编：黄宜华（南京大学）副主编：苗凯翔（英特尔公司），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4　Hadoop系统简介 1.4.1　Hadoop的概述与发展历史Hadoop系统最初的源头来自于Apache Lucene项目下的搜索引擎子项目Nutch，该项目的负责人是Doug C....

文章 2017-07-03 来自：开发者社区

Kudu：为大数据快速分析量身定制的 Hadoop 存储系统

Apache Hadoop提供了一系列数据存储与处理的组件，覆盖了多种多样、应用于企业级关键服务的用户案例。在Cloudera，我们一直在努力探索Hadoop的各种可能性，拓展Hadoop的边界——使得Hadoop更快、更好用、更安全。自2012年，我们开启了一个关于Apache Hadoop存储系统的验证工作(避免Hadoop被约束在部分特定用户案例中)。验证过程中，我们发现了一些重要的发展....

共有134条

< 1 ... 9 10 11 12 ... 14 >

跳转至： GO

更新时间 2025-01-15 08:50:30

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

hadoop更多系统相关

hadoop您可能感兴趣

产品推荐

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":3,"count":3}]},"card":[{"des":"E-MapReduce 是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括Hadoop，Spark，Kafka，Storm，为用户提供集群，作业，数据等管理的一站式大数据处理分析业务。","link1":"https://www.aliyun.com/product/emr","link":"https://www.aliyun.com/product/emr","icon":"https://img.alicdn.com/tfs/TB10yI6DNn1gK0jSZKPXXXvUXXa-201-200.png","btn2":"产品文档","tip":"海量存储，离线计算，实时计算场景等各种场景，Hadoop，Spark，Hive，Kafka，Storm等集群快速购买，<a href=\"https://www.aliyun.com/product/emapreduce\" target=\"_blank\">立即查看</a>产品动态发布：<a href=\"https://www.aliyun.com/product/new\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/document_detail/28068.html","title":"E-MapReduce"}],"search":[{"txt":"购买建议","link":"https://help.aliyun.com/document_detail/65683.html"},{"txt":"集群规划","link":"https://help.aliyun.com/document_detail/58901.html"},{"txt":"Spark开发入门","link":"https://help.aliyun.com/document_detail/28116.html"},{"txt":"快速入门","link":"https://help.aliyun.com/document_detail/43753.html"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"link":"https://www.aliyun.com/product/emapreduce","icon":"emapreduce","contentLink":"https://www.aliyun.com/product/emapreduce?spm=5176.19720258.J_8058803260.198.4d7a2c4aDND26z","title":"开源大数据平台 E-MapReduce","des":"开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎服务。","btn1":"产品控制台","link1":"https://emr-next.console.aliyun.com/","btn2":"立即开通","link2":"https://emr-next.console.aliyun.com/#/create/ecs","btn3":"产品文档","link3":"https://help.aliyun.com/document_detail/28068.html","infoGroup":[{"infoName":"优惠活动","infoContent":{"firstContentName":"StarRocks 免费试用","firstContentLink":"https://free.aliyun.com/?pipCode=emapreduce&spm=5176.28055625.J_4VYgf18xNlTAyFFbOuOQe.118.e939154awRTC1N&scm=20140722.M_9821919._.V_1"}},{"infoName":"产品入门","infoContent":{"firstContentName":"快速入门指导","firstContentLink":"https://help.aliyun.com/document_detail/176795.html?spm=a2c4g.11186623.6.572.68403b8bI3rak8","lastContentName":"常见问题","lastContentLink":"https://help.aliyun.com/document_detail/28186.html?spm=a2c4g.11186623.6.1143.7bce1c52WiJTBt"}},{"infoName":"最佳实践","infoContent":{"firstContentName":"EMR实时计算实践","firstContentLink":"https://help.aliyun.com/document_detail/127198.html?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP","lastContentName":"EMR弹性计算实践","lastContentLink":"https://bp.aliyun.com/front/home/detail/36?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP"}},{"infoContent":{"lastContentName":"","lastContentLink":"","firstContentName":"产品最新动态","firstContentLink":"https://www.aliyun.com/product/new?category=19&product=125"},"infoName":"最新动态"}],"ifIcon":"icon","iconImg":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png"}]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":3,"count":3}]},"card":[{"des":"E-MapReduce 是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括Hadoop，Spark，Kafka，Storm，为用户提供集群，作业，数据等管理的一站式大数据处理分析业务。","link1":"https://www.aliyun.com/product/emr","link":"https://www.aliyun.com/product/emr","icon":"https://img.alicdn.com/tfs/TB10yI6DNn1gK0jSZKPXXXvUXXa-201-200.png","btn2":"产品文档","tip":"海量存储，离线计算，实时计算场景等各种场景，Hadoop，Spark，Hive，Kafka，Storm等集群快速购买，<a href=\"https://www.aliyun.com/product/emapreduce\" target=\"_blank\">立即查看</a>产品动态发布：<a href=\"https://www.aliyun.com/product/new\" target=\"_blank\">立即查看</a>","btn1":"立即开通","link2":"https://help.aliyun.com/document_detail/28068.html","title":"E-MapReduce"}],"search":[{"txt":"购买建议","link":"https://help.aliyun.com/document_detail/65683.html"},{"txt":"集群规划","link":"https://help.aliyun.com/document_detail/58901.html"},{"txt":"Spark开发入门","link":"https://help.aliyun.com/document_detail/28116.html"},{"txt":"快速入门","link":"https://help.aliyun.com/document_detail/43753.html"},{"txt":"产品动态","link":"https://www.aliyun.com/product/new"}],"countinfo":{"search":{"length_pc":0,"length":0},"card":{"length_pc":0,"length":0}},"simplifiedDisplay":"newEdition","newCard":[{"link":"https://www.aliyun.com/product/emapreduce","icon":"emapreduce","contentLink":"https://www.aliyun.com/product/emapreduce?spm=5176.19720258.J_8058803260.198.4d7a2c4aDND26z","title":"开源大数据平台 E-MapReduce","des":"开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎服务。","btn1":"产品控制台","link1":"https://emr-next.console.aliyun.com/","btn2":"立即开通","link2":"https://emr-next.console.aliyun.com/#/create/ecs","btn3":"产品文档","link3":"https://help.aliyun.com/document_detail/28068.html","infoGroup":[{"infoName":"优惠活动","infoContent":{"firstContentName":"StarRocks 免费试用","firstContentLink":"https://free.aliyun.com/?pipCode=emapreduce&spm=5176.28055625.J_4VYgf18xNlTAyFFbOuOQe.118.e939154awRTC1N&scm=20140722.M_9821919._.V_1"}},{"infoName":"产品入门","infoContent":{"firstContentName":"快速入门指导","firstContentLink":"https://help.aliyun.com/document_detail/176795.html?spm=a2c4g.11186623.6.572.68403b8bI3rak8","lastContentName":"常见问题","lastContentLink":"https://help.aliyun.com/document_detail/28186.html?spm=a2c4g.11186623.6.1143.7bce1c52WiJTBt"}},{"infoName":"最佳实践","infoContent":{"firstContentName":"EMR实时计算实践","firstContentLink":"https://help.aliyun.com/document_detail/127198.html?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP","lastContentName":"EMR弹性计算实践","lastContentLink":"https://bp.aliyun.com/front/home/detail/36?spm=5176.cnemapreduce.0.0.3dd23a1cfXWfSP"}},{"infoContent":{"lastContentName":"","lastContentLink":"","firstContentName":"产品最新动态","firstContentLink":"https://www.aliyun.com/product/new?category=19&product=125"},"infoName":"最新动态"}],"ifIcon":"icon","iconImg":"https://img.alicdn.com/tfs/TB1XY8hGYr1gK0jSZFDXXb9yVXa-1740-328.png"}]}}

开源大数据平台 E-MapReduce

开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎服务。

产品控制台

立即开通

产品文档

优惠活动

StarRocks 免费试用

产品入门

快速入门指导

常见问题

最佳实践

EMR实时计算实践