常见问题排查
例如：您可以执行以下命令重启YARN：${HADOOP_HOME}/sbin/stop-yarn.sh${HADOOP_HOME}/sbin/start-yarn.sh 提示 No FileSystem for scheme:dfs 信息 执行 hadoop 命令行或者任务失败，提示 No FileSystem for scheme:dfs 信息时，请按如下...
Shell
使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换到不同的EMR集群，会显示不同集群下的情况。hadoop fs-ls/返回信息如下图所示：运行Spark-Submit命令提交Spark作业。示例如下图所示：
使用高性能容器应用
通过高性能容器应用，您可以在E-HPC集群上通过高性能容器应用启动高性能计算作业，从而降低业务部署的复杂性。高性能容器应用在支持E-HPC全部原有能力（如弹性伸缩、性能监控等）的基础上，可为您提供更加高效和便捷的计算解决方案。本文...
OSS/OSS-HDFS快速入门
访问方式 支持通过Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制台四种方式访问OSS/OSS-HDFS。各访问方式的示例和描述如下：访问方式 示例 描述 Hadoop Shell命令 hadoop fs-ls oss:/examplebucket....
查询Delta表数据
presto-server master-1-1:8889-catalog delta-schema default-user hadoop 命令中的参数说明如下：server master-1-1:8889：指定Presto服务器的地址和端口号。catalog delta：指定要连接的数据源的名称。schema default：指定要使用的数据...
入门概述
下文以创建集群，在集群中安装GROMACS软件并运行水分子算例进行高性能计算为例，介绍弹性高性能计算的使用流程，帮助您快速上手使用弹性高性能计算。使用流程如下图所示。创建集群 集群可为E-HPC计算提供计算资源，用于后续提交、调试、...
通过RootPolicy访问OSS-HDFS
验证和使用 配置完成后，您可以通过Hadoop命令对配置进行简单验证，命令如下。hadoop fs-ls hdfs:/<your_ns_name>/验证通过后，重启相关服务，如Hive、Spark等，即可使用自定义前缀访问OSS-HDFS服务。其他功能 删除RootPolicy规则 通过 ...
服务等级协议
请参见 弹性高性能计算服务等级协议。
服务条款
请参见 弹性高性能计算（E-HPC）服务协议。
HAS Kerberos认证使用方法
通过hadoop命令访问HDFS 以test用户访问HDFS服务为例介绍。在Gateway节点配置 krb5.conf 文件。scp root@emr-header-1:/etc/krb5.conf/etc/配置 hadoop.security.authentication.use.has 的值为 false。登录集群的emr-header-1节点。说明 ...
导出清单
如果您确认不再需要保留该清单导出结果文件，建议通过Hadoop命令的方式及时删除。重要 删除清单导出结果文件时，清单导出结果文件所在路径必须与 步骤1 输出结果中Data Location保持一致，避免误删除.dlsdata和.sysinfo路径下的系统数据。...
使用限制
产品功能 单个地域下，弹性高性能计算相关功能限制如下所示。限制项 配额值 提升配额方式 集群总数 3 提交工单。一个集群节点总数 500 提交工单。一次最多扩容的节点数 99 无 一个节点系统盘大小 500 GiB 提交工单。单个文件系统可以挂载...
产品优势
相较于其他HPC集群，阿里云弹性高性能计算E-HPC产品具有灵活部署、弹性资源、数据安全、高可用性、结果可视等特点。弹性高性能计算E-HPC的优势 灵活部署 您可以在E-HPC控制台快速创建高性能计算集群。一键部署需要的高性能计算环境和应用...
EMR集群JindoSDK升级流程（旧版控制台）
EMR集群内可以通过Hadoop命令上传，也可以通过阿里云对象存储OSS控制台、ossutil或OSS Browser等工具上传。hadoop dfs-mkdir-p oss:/<bucket-name>/path/to/patch/cd/home/hadoop/patch/hadoop dfs-put jindosdk-bootstrap-patches.tar.gz ...
弹性高性能计算系统权限策略参考
本文描述弹性高性能计算支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...
查看和修改集群信息
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，单击 集群。在 集群 页面，找到需要查看的集群，单击 详情。在 集群详情 页面，查看集群信息。基本信息：集群标识相关的信息，包括集群ID、状态、地域、VPC ID...
查看集群性能
查看性能大盘 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器。在 性能大盘 页面，找到目标集群，查看集群的基本信息和节点热力图。如上图所示，热力图中每个方格表示一个...
安装与卸载软件
使用E-HPC集群进行高性能计算时，需要根据业务需求安装相关业务软件。本文介绍如何安装和卸载软件。安装软件 您可以通过控制台直接安装E-HPC提供的常用软件，也可以在集群中手动安装其他软件。通过控制台安装 登录 弹性高性能计算控制台。...
停止和启动集群
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，单击 集群。在 集群 页面，选择需要停止的集群，单击 更多>集群停机。在弹出的 集群停机 对话框，单击 确定。集群将进入 停止中 状态，最终变为 停止 状态。...
EMR集群JindoSDK升级流程（新版控制台）
EMR集群内可以通过Hadoop命令上传，也可以通过阿里云对象存储OSS控制台、ossutil或OSS Browser等工具上传。hadoop dfs-mkdir-p oss:/<bucket-name>/path/to/patch/cd/home/hadoop/patch/hadoop dfs-put jindosdk-bootstrap-patches.tar.gz ...
使用VNC远程可视化
弹性高性能计算提供VNC远程可视化功能，您可以通过控制台Web方式访问远程可视化图形界面。本文介绍如何连接可视化服务和停止可视化服务。前提条件 已安装VNC服务。开启方式如下：创建新的集群时，您可以在 软件配置 页开启VNC功能，系统将...
账单查询
操作步骤 登录 弹性高性能计算控制台。在顶部导航栏，单击 费用。在 用户中心 的左侧导航栏，选择 账单管理>账单详情。根据需要，单击相应页签查询账单。各页签说明如下：页签 说明 账单流水 账单流水包括每个计费周期对应账单的消费信息。...
应用场景
本文主要介绍弹性高性能计算集群的主要应用场景，您可以根据不同的应用场景配置不同的资源类型。气象预报 E-HPC结合数值模型计算分析气象数据与环境数据，可以预测天气、环境等气象信息。能源勘探 E-HPC可以帮助勘探行业进行勘探数据分析，...
通过RAM用户分权管理集群
修改RAM用户的控制台权限 默认情况下，RAM用户具有弹性高性能计算控制台的所有页面的访问权限，控制台左侧导航栏将显示全部功能菜单项。修改RAM用户的控制台权限功能可以控制RAM用户访问弹性高性能计算控制台时，左侧导航栏的菜单项显示。...
停止作业
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，在 集群 列表中选择作业所在集群。单击 作业列表 页签，在作业状态栏选择 未完成。单击要停止的作业操作列...
实践教程概览
HPL通过对高性能计算集群采用高斯消元法求解一元N次稠密线性代数方程组的测试，评价高性能计算集群的浮点计算能力。本教程介绍使用HPL测试E-HPC集群的浮点性能。使用IMB软件和MPI通信库测试E-HPC通信性能 IMB（Intel MPI Benchmarks）用于...
MapReduce开发手册
您也可以通过 env|grep hadoop 命令获取安装目录。X.X.X：JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。hadoop-common-X.X.X.jar，您可以在<HADOOP_HOME>/share/hadoop/common/目录下查看。hadoop-mapreduce-client-core-X.X...
释放集群
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，单击 集群。在 集群 页面，选择需要释放的集群，单击 更多>释放。在弹出的 删除集群 对话框，单击 确认。集群将进入 释放中 状态，释放完成后集群列表...
云产品Code
MapReduce ess 弹性伸缩 green 内容安全 hpc 弹性高性能计算 EHPC httpdns HTTPDNS iot 物联网平台 itaas 云投屏 kms 密钥管理服务 live 视频直播 mts 媒体处理 nas 文件存储 ons 消息队列 ots 表格存储 polardb 云数据库 POLARDB push ...
查看作业结果
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能管理>作业。单击目标作业列表右侧 详情，可以查看作业详细信息。查看作业性能指标。在左侧导航栏，选择 作业 与性能 管理>E-HPC优化器...
授权信息
本文为您介绍 弹性高性能计算（Ehpc）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。弹性高性能计算（Ehpc）的RAM代码（RamCode）为 ehpc，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持JSON...
自动伸缩最佳实践
本文以使用LAMMPS软件进行高性能计算介绍如何配置自动伸缩策略。背景信息 当您需要每天不定时提交作业，使用E-HPC集群几个小时进行大规模计算，然后释放节点，您可以针对不同的作业类型，配置不同的伸缩策略。配置伸缩策略后，系统可以根据...
服务包
服务包用于抵扣E-HPC服务费，如果您的...在 弹性高性能计算控制台 的 服务包 页面，找到目标服务包，单击 升级。在 变配 页面，根据需要选择要升级的规格或者购买时长。阅读并选中服务协议，然后单击 去支付。按页面提示完成后续支付操作。
管理队列
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 资源管理>节点与队列。在 集群 列表中选择目标集群。在 节点类型 列表中选择计算节点。按照需要进行以下操作。创建新的队列 单击打开 队列 下拉列表，然后...
监控存储资源
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 资源管理>共享存储。在 共享存储 页面，选择目标集群，单击 资源 监控 页签。在 资源监控 页签下，设置并查看存储资源的相关监控数据。配置项 说明 文件...
修复集群
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，单击 集群。在 集群 页面，选择待修复集群，单击 更多>修复。在弹出的 集群修复 页面，重新指定待修复集群的 镜像类型、镜像、调度器 和 域账号服务。...
查看E-HPC操作日志
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 运维与监控>操作日志。在 集群 列表中选择目标集群。根据需要设置查询条件，单击 图标。查询条件说明如下：查询条件 说明 时间范围 快速选择：可...
管理作业模板
登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业 与性能 管理>作业。在 作业 页面，选择待创建作业模板的集群。单击页面左侧的 提交作业 页签。在 提交作业 区域，完成作业参数配置，单击 图标将当前...
排查Redis实例CPU使用率高的问题
排查并禁用高消耗命令 排查步骤 通过性能监控功能，确认CPU使用率高的具体时间段。具体操作，请参见 查看性能监控。通过下述方法，找出高消耗的命令：时延洞察功能记录了Redis数据库所有命令以及自定义特殊事件的时延。根据指定时间段和...
监控作业
操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，选择目标集群，单击 作业监控 页签。设置筛选条件。支持设置的筛选条件如下：时间段：过滤某一时间段内的...
- 产品推荐
- 这些文档可能帮助您