集群运维指南

hdfs NameNode(Master节点)启动NameNode/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode 停止NameNode/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode DataNode(Core节点)启动DataNode/usr/lib/hadoop-...

通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

Dataphin中执行hadoop fs-ls命令方法

概述 Dataphin中执行hadoop fs-ls命令的方法。详细信息 创建HADOOP_MR任务,可以执行hadoop fs-ls/命令。适用于 Dataphin

从自建HDFS迁移数据

背景介绍在某些场景下面,我们需要从自建的Hadoop中存储的数据迁移到Lindrom的文件引擎当中。适用范围阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作开通文件引擎,详情请参见开通指南。修改Hadoop 配置信息,详情请参见使用...

概述

混合云大数据容灾(英文 HDR for Big Data,简称 HDR-BD)是针对 Hadoop 集群的灾备方案。说明 目前 HDR-BD 正在邀测,您可以到混合云容灾服务控制台中注册,我们会评估后尽早联系您。您也可以联系阿里云 CBM 获取邀测资格。HDR-BD 在邀测...

什么是E-MapReduce

阿里云E-MapReduce(简称EMR),是运行在阿里云...Gateway集群,部署了Hadoop的客户端文件,您可以通过Gateway提交作业,避免直接登录集群产生的安全和客户端环境隔离问题。您需要先创建Hadoop集群,然后创建Gateway集群关联至Hadoop集群。

集群吞吐性能测试

TestDFSIO的jar包位于开源hadoop版本的$HADOOP_HOME/share/hadoop/mapreduce目录下,其中$HADOOP_HOME为测试机器中的Hadoop 安装目录,jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar,TestDFSIO使用方法如下所示。...

HDFS授权

如:su test#test用户创建文件夹 hadoop fs-mkdir/tmp/test#查看创建的文件夹的权限 hadoop fs-ls/tmp drwxr-x-test hadoop 0 2017-11-26 21:18/tmp/test#设置acl,授权给foo用户rwx hadoop fs-setfacl-m user:foo:rwx/tmp/test#查看文件...

常见命令

您可以在已经创建好的E-MapReduce(简称EMR)集群中,直接使用Alluxio Shell命令来对Alluxio中的文件进行操作,也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群,并选择了Alluxio服务...

RAM认证

hadoop fs-ls/返回信息如下:17/11/19 12:32:15 INFO client.HasClient:The plugin type is:RAM Found 4 items drwxr-x-has hadoop 0 2017-11-18 21:12/apps drwxrwxrwt-hadoop hadoop 0 2017-11-19 12:32/spark-history drwxrwxrwt-hadoop...

Dataphin集成任务同步失败报错:"Operation category ...

422)&at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)&at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)&at org.apache.hadoop.ipc.Client.call(Client.java:1476)&at org....

在ECI中访问HDFS的数据

export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/common/*:/usr/local/hadoop-2.7.2/...

迁移Hadoop文件系统数据至JindoFS

迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...

自建Hadoop数据迁移到阿里云E-MapReduce

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...

通过开源HDFS客户端连接并使用文件引擎

JAVA_HOME=opt/install/java PATH=opt/install/java/bin:$PATH下载客户端您可以从Apache官网下载hadoop2.7.3版本SDK hadoop-2.7.3.tar.gz。配置Hadoop下载hadoop-2.7.3发布包。执行tar-zxvf hadoop-2.7.3.tar.gz命令,解压缩SDK包。执行...

使用MapReduce处理JindoFS上的数据

Teragen数据生成样例 Teragen是Example中生成随机数据演示程序,在指定目录上生成指定行数的数据,具体命令如下:hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen<num rows>lt;...

测试结果

1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时(min)DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用,自建Hadoop集群在高峰期需要更...

使用E-Mapreduce访问

hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...

Hive授权

hadoop:hadoop:drwxrwx-t at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:320)at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:292)使用...

【漏洞公告】CVE-2017-15718:Apache Hadoop YARN ...

Apache Hadoop YARN NodeManager 存在CVE编号为CVE-2017-15718的信息泄露漏洞。攻击者可能利用该漏洞获得应用密码,受影响的Apache Hadoop版本有 2.7.3及2.7.4。该漏洞是由于CVE-2016-3086安全漏洞修复不完整导致。YARN NodeManager可能...

概述

E-MapReduce从2.7.x和3.5.x版本开始支持创建安全类型的集群。高安全类型集群中的开源组件以Kerberos的安全模式启动,因此只有经过认证的客户端(Client)才能访问集群的服务(例如HDFS)。背景信息 对于客户端而言,集群开启Kerberos之后,...

JindoFS配置

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

参数说明

属性名 默认值 说明 spark.hadoop.fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID(可选)。spark.hadoop.fs.jfs.cache.oss-accessKeySecret 无 访问OSS所需的AccessKey Secret(可选)。spark.hadoop.fs.jfs.cache.oss-...

JindoFS加速OSS文件访问

kubectl exec-it demo-app-bash du-sh/data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz 预期输出:210M/data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz 执行如下命令,查看文件的拷贝时间。time cp/data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz/dev...

JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....

JindoFS权限功能

参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 物联网无线连接服务 SSL证书 轻量应用服务器 商标 对象存储
这些文档可能帮助您
SSL证书安装指南 提交证书申请 安装PFX格式证书 什么是E-MapReduce 什么是内容安全 什么是SSL证书服务

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折