集群吞吐性能测试

本文介绍集群在顺序写、顺序读、随机写等方面的性能测试方法。注意事项 性能测试前,请注意以下事项。吞吐最大不会超过ECS带宽。如果您的ECS带宽只有 1.5Gbps,则吞吐最高可达到187.5MB/s。文件存储HDFS的吞吐能力和购买的存储空间相关。...

通过开源HDFS客户端连接并使用文件引擎

HADOOP_HOME=installDir/hadoop-2.7.3命令,设置环境变量。执行cd HADOOP_HOME命令,进入hadoop目录。修改etc/hadoop/hadoop-env.sh 文件,并添加准备运行环境章节中设置的JAVA_HOME,假设java安装在/opt/install/java。set to the root of ...

常用文件路径

HADOOP_LOG_DIR=var/log/hadoop-hdfs HADOOP_HOME=usr/lib/hadoop-current YARN_PID_DIR=usr/lib/hadoop-current/pids HADOOP_PID_DIR=usr/lib/hadoop-current/pids HADOOP_MAPRED_PID_DIR=usr/lib/hadoop-current/pids JAVA_LIBRARY_PATH=...

开启权限认证

设置ACL相关命令hadoop fs-getfacl [-R]和hadoop fs-setfacl[-R][-b|-k-m|-x<acl_spec><path>]|[-set path>]。dfs.permissions.superusergroup 默认值为hadoop。超级用户组的名称。属于该组的用户都具有超级用户的权限。重启...

Hadoop Streaming

本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情,请参见创建集群。操作步骤 通过SSH方式连接集群,详情请参见使用SSH连接主节点。新建文件mapper.py。执行以下命令,...

开源地理空间UDF

打开Git命令行工具,执行如下命令下载2.1.0版本Hive(对应Hadoop版本为2.7.2)下的地理空间UDF代码至本地。命令示例如下。git clone https://github.com/Esri/spatial-framework-for-hadoop.git --或 git clone-b v2.1.0"-single-branch ...

【漏洞公告】CVE-2017-7669:Apache Hadoop远程权限...

攻击者可利用该漏洞以root权限执行命令,安全风险。漏洞详情见下文。漏洞编号 CVE-2017-7669 漏洞名称 Apache Hadoop远程权限提升漏洞 官方评级 高危 漏洞描述 Apache Hadoop 2.8.0,3.0.0-alpha1, 3.0.0-alpha2版本中,...

使用Fuse-DFS挂载文件存储HDFS

背景信息 Fuse-dfs是Hadoop项目自带的一个功能模块,提供了使用 FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不包含fuse-dfs的功能模块,如需使用该功能需要手动编译该功能模块并添加到...

测试结果

Spark计算节点自带essd云盘,与shuffle盘完全独立,的提升性能。1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时(min)DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您...

JindoFS加速OSS文件访问

Fluid通过管理和调度JindoRuntime实现数据集的可见、弹性伸缩和数据迁移。本文介绍JindoFS如何加速OSS文件访问。前提条件 在Kubernetes集群中已安装好Fluid,且版本大于等于0.5.0。具体操作,请参见Fluid。已创建ACK Pro版集群,且集群的...

MapReduce开发手册

hadoop命令获取安装目录。X.X.X:JAR包的具体版本号,需要根据实际集群中Hadoop的版本来修改。hadoop-common-X.X.X.jar,您可以在<HADOOP_HOME>/share/hadoop/common/目录下查看。hadoop-mapreduce-client-core-X.X.X.jar,您可以在<HADOOP...

Hadoop环境安全加固

Hadoop 介绍Hadoop 是一个由 Apache 基金会所开发的一个开源、可靠、可扩展的分布式计算框架。Hadoop 的框架最核心的设计就是 HDFS 和 MapReduce 模块。HDFS 为海量的数据提供了存储,MapReduce 则为海量的数据提供了计算。HDFS 是 ...

测试环境

一般情况下集群磁盘使用率不,一般建议不要超过80%,否则系统可能会因为空间不足,引发各类稳定问题。DLA Spark按需使用存储空间和计算资源。其中shuffle不占用OSS存储空间,输入和输出各占用1 TB,共需要占用2 TB的OSS存储空间。...

使用MapReduce处理JindoFS上的数据

Teragen是Example中生成随机数据演示程序,在指定目录上生成指定行数的数据,具体命令如下:hadoop jar usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen<num rows><output dir>替换输出路径,可以...

从自建HDFS迁移数据

检查自建的Hadoop集群和Lindorm文件引擎的连通。在自建的Hadoop 集群上执行以下命令测试集群的连通hadoop fs-ls hdfs:/${实例Id}/其中${实例Id}请根据您的实际情况进行修改。如果可以正常查看到文件引擎的文件列表,则表示集群连通...

行业背景

ES-Hadoop开辟了更加广阔的应用空间,通过ES-Hadoop可以索引Hadoop中的数据到Elasticsearch,充分利用其查询和聚合分析功能,也可以在Kibana中做进一步的可视化分析,同时也可以把Elasticsearch中的数据放到Hadoop生态系统中做运算,ES-...

高级管理

单击复制命令行并用当前用户的密钥ID和KEY替换该命令行中【步骤2中的密钥ID】和【步骤2中的密钥Key】。在CLI命令行工具中执行该命令命令执行后,PolarDB-X SQL审计日志将自动下载并保存到运行命令的当前目录下的download\_data.txt文件中...

使用Druid

大数据量情况下,E-MapReduce Druid对内存要求比较,尤其是Broker和Historical节点。E-MapReduce Druid本身资源不受YARN管控,在多服务运行时容易发生资源抢夺。Hadoop作为基础设施,其规模通常较大,而E-MapReduce Druid集群较小,部署...

使用限制

本文档介绍文件存储HDFS及命令行工具存在的限制。如要了解更多有关开源Hadoop的信息,请参考Hadoop 文档。Hadoop FileSystem/AbstractFileSystem 不支持目录修改时间(mtime)、访问时间(atime),不支持通过setTimes设置文件的mtime和...

高级配置

在容器中执行命令:通过在容器中执行命令来进行判断,若命令成功执行,并返回 0,则检查通过。执行命令:指定在容器中执行的命令。首次检查延时:即 initialDelaySeconds,容器启动后第一次执行探测时需要等待多少秒,默认为 3 秒。检查...

通过ES-Hadoop将HDFS中的数据写入Elasticsearch

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

高级配置说明

在容器中执行命令:通过在容器中执行命令来进行判断,若命令成功执行,并返回 0,则检查通过。执行命令:指定在容器中执行的命令。首次检查延时:即 initialDelaySeconds,容器启动后第一次执行探测时需要等待多少秒,默认为 5 秒。检查...

什么是E-MapReduce

E-MapReduce提供了集群管理工具的集成解决方案,例如,主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理和性能监控等。通过E-MapReduce,您可以从繁琐的集群构建相关的采购、准备和运维等工作中解放出来,...

通过Spark Streaming作业处理Kafka数据

本文介绍如何使用阿里云E-MapReduce创建的Hadoop和Kafka集群,运行Spark Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号,详情请参见阿里云账号注册流程。已开通E-MapReduce服务。已完成云账号的授权,详情请参见角色授权。本地...

开源兼容MapReduce

本文为您介绍开源兼容MapReduce的应用背景,以及Hadoop MapReduce插件的基本使用方式。产生背景 MaxCompute有一套原生的MapReduce编程模型和接口,简单来说,这套接口的输入输出都是MaxCompute中的表,处理的数据以Record为组织形式,它...

在ECI中访问HDFS的数据

HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/common/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/...

集群运维指南

本文介绍E-MapReduce集群部分运维的方法,以便于您可以自主的运维服务。前提条件 已创建集群,详情请参见创建集群。一些通用的环境变量 ...do ssh emr-worker-$i/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager;done

Hive授权

Hive内置有基于底层HDFS的权限(Storage Based Authorization)和基于标准SQL的grant等命令(SQL Standards Based Authorization)。本文为您介绍Hive的两种授权方式。前提条件 已创建集群,详情请参见创建集群。已登录集群,详情请参见...

通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

通过HDP 2.6 Hadoop读取和写入OSS数据

hadoop-aliyun-2.7.3.2.6.1.0-129.jar移至${/usr/hdp/current}/hadoop-client/目录内,其余的jar文件移至${/usr/hdp/current}/hadoop-client/lib/目录内。调整后,目录结构如下:[root@hdp-master~]#ls-lh usr/hdp/current/hadoop-client...

高级设置

例如当判断请求返回302为正常,但不使用302跳转时,可以使用此功能新增请求成功的状态码,确保压测结果准确。域名绑定 域名绑定是指将域名与指定的IP地址关联。压测时,压测流量将直接访问绑定的IP地址,实现对目标设施的压测。以下...

SmartData使用说明(EMR-3.22.0~3.25.1版本)

表示数据仅有一个本地备份,针对一些临时数据,提供高性能的读写,但降低了数据的高可靠,适用于一些临时数据的存取。JindoFS提供了Admin工具设置目录的Storage Policy(默认为 WARM),新增的文件将会以父目录所指定的Storage Policy...

RAM认证

user_name=$1#集群Master节点个数,例如HA集群有2个Master节点。master_cnt=$2#集群Worker节点个数。worker_cnt=$3 for((i=1;i$master_cnt;i+))do ssh o StrictHostKeyChecking=no emr-header-$i sudo useradd$user_name done for((i=1;i$...

使用E-Mapreduce访问

opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar randomtextwriter-D mapred uce.randomtextwriter.totalbytes=134217728-D mapreduce.job.maps=2-D ...

Hadoop

本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群(开启kerberos认证的集群暂不支持)。前提条件 您已开通数据湖分析DLA(Data Lake Analytics)服务,详情请参见开通云原生数据湖分析服务并在云原生数据湖分析DLA控制台上创建了...

在文件存储HDFS上使用Presto

为了避免兼容问题,文件存储HDFS的sdk需要作为Presto的Hadoop的依赖项,并对Presto中引入的Hadoop的jar包hadoop-apache2-xxx.jar进行重新编译。查看您安装的Presto中的presto-hadoop-apache2版本。在0.227版本的presto中对应的presto-...

通过HDFS Shell连接并使用文件引擎

本章介绍最基本的HDFS Shell的使用命令,完整的指令可以通过help命令查看,更多内容请参考 Apache HDFS Shell 介绍。使用前请先查看 使用开源HDFS客户端访问进行基本环境的配置。常用命令从本地上传数据到文件引擎常用的指令。1.put: 从本地...

挂载文件系统

创建文件系统并添加挂载点后,您可以通过挂载点挂载文件存储HDFS实例。...fs命令行工具,运行hadoop fs-ls/命令进行验证,如下图所示:如未报错,则部署成功。icmsDocProps={'productMethod':'created','language':'zh-CN',};

文件存储HDFS和对象存储OSS双向数据迁移

您可以通过文件存储HDFS和对象存储OSS之间双向数据迁移,从而为热、温、冷数据合理分层,不但实现对热数据的高性能访问,更有效控制存储成本。准备工作 开通文件存储HDFS服务并创建文件系统实例和挂载点,详情请参见快速入门。搭建完成...

弹性高性能计算(E-HPC)服务协议

欢迎您使用弹性高性能计算,关于弹性高性能计算的相关服务条款,请参见弹性高性能计算(E-HPC)服务协议。
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO

新品推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折

你可能感兴趣

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折