【视频教学系列】Git操作全指南

深入浅出,带你走进神奇的 Git 世界。首集路透,主题——「Git 十年变化」,由...权威指南》的作者蒋鑫(花名:知忧)老师重磅开篇:更多精彩,不容错过。宝藏指路:Git最全指南来啦视频合集持续更新中,可关注阿里云官方号获取更多知识哦!

Git设置

book,Git权威指南。设置用户名和邮箱(必须设置)在命令行里输入以下命令来添加用户名和 Email,这个信息将用在后续你的每一次 Git 提交里。git config-global user.name"Your Name"#请替换你的用户名 git config-global user.email your@...

快速上手

1.基于代码库开始你的工作在 Git 中,当你需要检出一个代码库时,在 Git 中称之为"克隆(clone)。如果你需要在本地(也就是你自己的电脑上)使用一个 Git ...status9)将本地提交推送至远端git push更多操作,参见 Git权威指南

如何写好提交,做一个有品位的开发者

本文由《Git 权威指南》的作者蒋鑫老师撰写(全文以第一人称分享),介绍了代码提交的最佳实践建议。—— 问:“能够写出正确代码的程序员就是有品味的程序员么?—— 答:“还不够。品味来自于每一个细节,有品位的程序员会把每一次提交做...

文件存储HDFS版

文件存储HDFS版允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件...

从自建HDFS迁移数据

准备工作开通文件引擎,详情请参见开通指南 修改Hadoop 配置信息,详情请参见使用开源HDFS客户端访问。检查自建的Hadoop集群和Lindorm文件引擎的连通性。在自建的Hadoop 集群上执行以下命令测试集群的连通性。hadoop fs-ls hdfs:/${实例Id}...

云解析 DNS

云解析DNS(Alibaba Cloud DNS)是一种安全、快速、稳定、可扩展的权威DNS服务,云解析DNS为企业和开发者将易于管理识别的域名转换为计算机用于互连通信的数字IP地址,从而将用户的访问路由到相应的网站或应用服务器。

能耗宝

在“2030年碳达峰、2060年碳中和”的大背景下,阿里云推出能耗宝产品,通过云大数据计算及人工智能技术,联合权威机构双碳咨询、绿色金融等优质资源,帮助企业核算碳排放量、制定节能降碳方案、规划碳中和路径。能耗宝,企业实现“碳中和”...

常用文件路径

HADOOP_LOG_DIR=var/log/hadoop-hdfs HADOOP_HOME=usr/lib/hadoop-current YARN_PID_DIR=usr/lib/hadoop-current/pids HADOOP_PID_DIR=usr/lib/hadoop-current/pids HADOOP_MAPRED_PID_DIR=usr/lib/hadoop-current/pids JAVA_LIBRARY_PATH=...

在文件存储HDFS版上使用Apache Tez

tez/*:./tez/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/common/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/common/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/...

安装

本节以hadoop-mapreduce-examples为例,介绍文件系统SDK的使用方式。其中MapReduce以伪分布式方式运行。有关MapReduce的伪分布方式,请参见Apache Hadoop文档说明。运行java-version命令,查看JDK版本。JDK版本不能低于1.8。按照以下方式...

HDFS常见命令介绍

您可以在已经创建好的E-MapReduce(简称EMR)集群中,直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。背景信息 HDFS常见命令如下表所示。命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统...

在文件存储HDFS版上使用Apache Spark

本文主要介绍如何在挂载文件存储HDFS版的Hadoop集群上安装及使用Apache Spark。前提条件 已开通文件存储HDFS版服务并创建文件系统实例和挂载点。具体操作,请参见文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK且JDK版本不低于1.8...

Hadoop Streaming

本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情,请参见创建集群。操作步骤 通过SSH方式连接集群,详情请参见使用SSH连接主节点。新建文件mapper.py。执行以下命令,...

在ECI中访问HDFS数据

HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/common/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/...

使用Fuse-DFS挂载文件存储HDFS版

Fuse-DFS是Hadoop项目自带的一个功能模块,提供了使用FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不包含Fuse-DFS的功能模块,如需使用该功能需要手动编译该功能模块并添加到Hadoop客户端...

常见问题排查

例如hadoop命令行或者任务出现如下错误时,表明org/apache/hadoop/fs/PathFilter相关的类未在hadoop的运行环境中,该类所属的jar包为hadoop-common-x.x.x.jar,需要您下载该jar包的正确版本,并将其置于所有hadoop节点的hadoop运行环境的...

搭建Hadoop环境

本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。前提条件 已创建ECS实例。具体操作,请参见使用向导创建实例。本教程示例场景中,ECS实例的配置如下:实例规格:ecs.g6.large 操作系统:公共镜像CentOS 7.7 64位 ...

常用文件路径

usr/lib/b2smartdata-current/bin:/usr/lib/b2jindosdk-current/bin:/usr/lib/flow-agent-current/bin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/usr/lib/hadoop-current/bin:/usr/lib/hadoop-current/sbin:/root/bin ...

更换Hadoop集群损坏的本地盘

hadoop:hadoop$mount_path/log/hadoop-yarn chmod 755$mount_path/log/hadoop-yarn mkdir-p$mount_path/log/hadoop-mapred chown hadoop:hadoop mount_path/log/hadoop-mapred chmod 755$mount_path/log/hadoop-mapred mkdir-p mount_path/...

使用MapReduce处理JindoFS上的数据

usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 替换输出路径,可以把数据输出到JindoFS上:hadoop jar usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar ...

Hadoop DistCp介绍

Hadoop DistCp(分布式复制)是一个用于大型集群间或集群内数据复制的工具,通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...

Hadoop MapReduce作业配置

本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目,详情请参见项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方...

UDF(地理空间)

打开Git命令行工具,下载2.1.0版本Hive(对应Hadoop版本为2.7.2)下的地理空间UDF代码至本地,命令示例如下。git clone https://github.com/Esri/spatial-framework-for-hadoop.gitgit clone -b v2.1.0"-single-branch git@github....

通过ES-Hadoop将HDFS中的数据写入Elasticsearch

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

Dataphin集成任务同步失败报错:"Operation category ...

org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:88)& at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1962)& at org.apache.hadoop....

元数据性能测试

NNbench的jar包位于$HADOOP_HOME/share/hadoop/mapreduce目录下,$HADOOP_HOME为测试机器中的Hadoop 安装目录,NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar,使用方法如下。[root@node1 bin]#./hadoop jar share...

迁移Hadoop文件系统数据至JindoFS

本文以OSS为例,介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...

HAS Kerberos认证使用方法

本文通过访问HDFS服务为您介绍如何使用HAS Kerberos认证。前提条件已创建EMR-3.40及之前版本,EMR-4.10.1及之前版本的Hadoop...org.apache.hadoop hadoop-common x.x.x org.apache.hadoop hadoop-hdfs x.x.x 说明 x.x.x为您集群的hadoop版本。

外部数据源管理

MaxCompute支持通过创建外部数据源连接Hadoop集群,以此来构建湖仓一体。本文为您介绍Hadoop外部数据源的创建、查看以及删除。背景信息 Hadoop外部数据源可以用来与MaxCompute外部项目做映射,从而在MaxCompute中对这些数据源做单点或者...

集群运维指南

本文为您介绍如何查看环境变量和启停E-MapReduce集群服务进程等,以便于您可以自主的运维服务。前提条件 已创建集群,详情请参见创建集群。...do ssh emr-worker-$i/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager;done

通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。...

MapReduce开发手册

HADOOP_HOME:Hadoop的安装目录,通常Hadoop的安装目录为/usr/lib/hadoop-current。您也可以通过env|grep hadoop命令获取安装目录。X.X.X:JAR包的具体版本号,需要根据实际集群中Hadoop的版本来修改。hadoop-common-X.X.X.jar,您可以在 ...

文件存储HDFS版和对象存储OSS双向数据迁移

{HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar \ randomtextwriter \-D mapreduce.randomtextwriter.totalbytes=107374182400 \-D mapreduce.randomtextwriter.bytespermap=10737418240 \ dfs:/f-xxxxxxx....

EMR集群JindoData升级流程(旧版控制台)

hadoop hadoop 40 May 14 12:38 hosts-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindofsx-4.6.2.tar.gz配置升级节点信息编辑patch包下的hosts文件,添加集群所有节点的host name,例如emr-header-1或emr-worker-1,文件内容以行分割。...

EMR集群JindoSDK升级流程(旧版控制台)

hadoop hadoop 40 May 01 00:00 hosts-rw-r-1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-4.6.2.tar.gz配置升级节点信息编辑patch包下的hosts文件,添加集群所有节点的host name,例如emr-header-1或emr-worker-1,文件内容以行分割。...

YARN缺陷修复公告

HADOOP_HOME/share/hadoop/yarn/命令中的$HADOOP_HOME为Hadoop的安装目录。本文示例中Hadoop的安装目录为/usr/lib/hadoop-current。重启YARN ResourceManager服务。观察ResourceManager重启情况,如果重启之后ResourceManager日志不再提示...

常见命令

Shell命令来对Alluxio中的文件进行操作,也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群,并选择了Alluxio服务,详情请参见创建集群。已登录集群,详情请参见登录集群。背景信息 ...

SDK示例

文件存储HDFS版提供对Apache Hadoop FileSystem API的兼容。更多信息,请参见Hadoop FileSystem API。说明 目前,部分Hadoop FileSystem API的兼容还未在文件存储HDFS版SDK中提供。更多信息,请参见使用限制。准备工作 已完成文件存储HDFS...

测试环境

本次测试采用3种不同的测试场景,针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求: ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用