P3C代码扫描
Java 规约扫描是阿里巴巴多年经验提炼的 Java规范-包含 7大类 Java 代码规则 命名规约 注释规范 集合 OOP 规约 并发处理 控制语句 其他。如果未做扫描配置，默认会对所有规则进行扫描，也可以在规约扫描组件配置。
代码扫描能力
支持语言和规则 目前飞流支持扫描的语言和规则，如下表所示：语言 扫描能力 规则说明 Java 阿里巴巴规约扫描 根据阿里巴巴多年经验提炼的 总共7大类Java代码规则，包括：1）OOP规约 2）并发处理 3）控制语句4）命名规约 5）常量定义 6）...
Flow使用高阶帮助
支持语言和规则 目前 Flow 支持扫描的语言和规则，如下表所示：语言 扫描能力 规则说明 Java 阿里巴巴规约扫描 根据阿里巴巴多年经验提炼的总共7大类Java代码规则，包括：1）OOP规约 2）并发处理 3）控制语句4）命名规约 5）常量定义 6）...
安全算法示例
密文：Wpmnp63i8PbbqnIWGOgTv6tGK8CtNLXCkTgT+M4ztzY+hF41YlliASSpUqjzEfHUmSqunyvP64nqeWl+lbhYLYee80MGOnYLwyuekuYSbV/tEb6oXeFJgjxTixhqWxxn7cVTpmiLsm5pnNQDVoBB+l43kBj/OOp1WRM+S3Gz5N0=。RSA原生私钥加解密 非对称加密 包含1024位...
安全算法示例
密文：Wpmnp63i8PbbqnIWGOgTv6tGK8CtNLXCkTgT+M4ztzY+hF41YlliASSpUqjzEfHUmSqunyvP64nqeWl+lbhYLYee80MGOnYLwyuekuYSbV/tEb6oXeFJgjxTixhqWxxn7cVTpmiLsm5pnNQDVoBB+l43kBj/OOp1WRM+S3Gz5N0=。RSA原生私钥加解密 非对称加密 包含1024位...
PreparedStatement
PreparedStatement可以以OOP（Object Oriented Programming）的方式编写SQL。调用PreparedStatement接口后，将通过 PreparedSteatement.setXxx()的方式来设置参数。前提条件 DLA中正式调用PreparedStatement接口之前，您可以参见文档 读写...
在Linux系统的ECS实例中连接VSFTP时，提示“500 OOPS:...
本文介绍在Linux系统的ECS实例中连接VSFTP时，提示“500 OOPS:vsftpd:cannot locate user specified in 'ftp_username':ftp”错误的解决方案。问题现象 在Linux系统的ECS实例中连接VSFTP时，提示“500 OOPS:vsftpd:cannot locate user ...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
Sqoop作业配置
本文介绍如何配置Sqoop类型的作业。前提条件 已创建好项目，详情请参见 项目管理。使用限制 EMR-1.3.0及后续版本支持Sqoop作业类型。在低版本集群上运行Sqoop作业会失败，errlog会报不支持的错误。参数详情请参见 Sqoop。...
Sqoop常见问题
本文汇总了Sqoop使用时的常见问题。导入RDS数据至EMR时，时间字段显示延迟8小时如何处理？问题描述：例如，在云数据库RDS数据源中，数据表 Test_Table 中包含时间戳（TIMESTAMP）字段。您可以执行以下命令，导入 Test_Table 中的数据至HDFS...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
管理Hadoop回收站
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
搭建Hadoop环境
Hadoop是由Apache基金会使用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。本文介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop分布式环境。...
通过Hadoop Shell命令访问
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.44.0及...
Dataphin中执行hadoop fs-ls命令方法
概述 Dataphin中执行hadoop fs-ls命令的方法。详细信息 创建HADOOP_MR任务，可以执行hadoop fs-ls/命令。适用于 Dataphin
管理事件中心（Hadoop集群）
E-MapReduce（简称EMR）的事件中心用于记录Hadoop类型集群发生的重要事件，并将其自动同步到云监控服务。您可以在EMR控制台上查看集群的事件，并在云监控控制台上设置相应的事件告警。使用限制 当前仅展示EMR on ECS中Hadoop类型集群的事件...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
开通EMR Doctor（Hadoop集群类型）
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
查看弹性伸缩记录（仅Hadoop集群类型）
本文为您介绍在弹性伸缩执行完成后，如何查看弹性伸缩活动的执行记录。前提条件 集群已进行弹性伸缩的相关配置。操作步骤 进入弹性伸缩页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，...
迁移Hadoop文件系统数据至JindoFS
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端...
开启或关闭弹性伸缩（仅Hadoop集群类型）
当您的业务量需求不断波动时，建议您配置相应的伸缩规则并开启弹性伸缩功能，以使E-MapReduce可以按业务量波动来增加或减少Task节点。当您需要更改实例配置或者当您的业务量需求趋于稳定时，您可以关闭弹性伸缩功能。本文为您介绍如何开启...
管理节点组（Hadoop、Data science和EMR Studio集群）
本文为您介绍如何新增、修改和删除节点组。背景信息 您可以新增节点组，以满足不同实例节点的需求。例如，内存型实例节点（vCore:vMem=1 vCPU:8 GiB）用于大数据离线处理，计算型实例（vCore:vMem=1 vCPU:2 GiB）用于模型训练。...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
切换为Hadoop原生的JobCommitter
E-MapReduce（简称EMR）集群默认使用JindoCommitter加速大数据作业，解决OSS等对象存储在Spark、MapReduce等作业使用原生Hadoop JobCommitter时遇到的性能和一致性等问题。如果您不想使用默认的JindoCommitter，则可以参照本文切换为Hadoop...
Hadoop生态外表联邦分析
云原生数据仓库AnalyticDB PostgreSQL版 支持通过外表访问Hadoop生态的外部数据源（包括HDFS与Hive）。注意事项 本特性只支持存储弹性模式实例，且需要 AnalyticDB PostgreSQL版 实例和目标访问的外部数据源处于同一个VPC网络。...
Teamtnt变种攻击Hadoop集群
阿里云安全监测到Teamtnt变种，除了沿用之前攻击手法，最新利用了Hadoop Yarn未授权访问漏洞进行传播，同时使用多个域名和IP确保恶意文件落地，对脚本进行二进制化封装以对抗主机端检测。概述 Hadoop作为一个分布式计算应用框架，种类功能...
设置Dataphin实例的计算引擎为Hadoop
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍如何设置Dataphin系统的计算引擎为Hadoop。...
自建Hadoop数据迁移到阿里云E-MapReduce
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。...
通过HDP 2.6 Hadoop读取和写入OSS数据
HDP（Hortonworks Data Platform）是由Hortonworks发行的大数据平台，包含了Hadoop、Hive、HBase等开源组件。HDP 3.0.1版本中的Hadoop 3.1.1版本已支持OSS，但是低版本的HDP不支持OSS。本文以HDP 2.6.1.0版本为例，介绍如何配置HDP 2.6版本...
- 产品推荐
- 这些文档可能帮助您