大数据型
大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题，适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和...
新建SPARK_SQL任务
前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建SPARK_SQL任务 对话框。...
计算设置概述
在您开始创建用于研发数据的项目空间前，需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅...
非EMR集群接入OSS-HDFS服务快速入门
JindoSDK为Apache Hadoop的计算分析应用（例如MapReduce、Hive、Spark、Flink等）提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK，然后完成OSS-HDFS服务快速入门相关操作。前提条件 已创建ECS实例。具体步骤，请参见 ...
节点类型说明
Hadoop Hadoop 离线节点，运行在Hadoop云计算资源之上，可通过输入算法语句方式处理Hive、Hbase、Phoenix和RDS MySQL类型的数据。Elastic Job Elastic Job 离线节点，运行在Elastic Job云计算资源之上，可通过输入算法语句方式处理...
E-MapReduce本地盘实例大规模数据集测试
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
产品服务协议
阿里云产品服务协议 版本生效日期：2018年3月16日 提示条款 欢迎您与阿里云计算有限公司（以下简称“阿里云”）共同签署本《阿里云产品服务协议》（下称“本协议”）并使用阿里云服务！协议中条款前所列索引关键词仅为帮助您理解该条款表达...
阿里云产品及服务协议
阿里云产品服务协议（通用)版本生效日期：2018年3月16日 提示条款 欢迎您与阿里云计算有限公司（以下简称“阿里云”）共同签署本《阿里云产品服务协议》（下称“本协议”）并使用阿里云服务！协议中条款前所列索引关键词仅为帮助您理解该...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
云计算资源类型
通过了解数据开发支持的云计算资源类型，并在系统设置模块添加数据开发需要使用的云计算资源类型对应资源，以备在运行离线节点或者部署运行测试场景和线上场景时使用。本文介绍数据开发中支持使用的云计算资源类型。节点模式 支持的云计算...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
云计算资源类型
通过了解数据开发支持的云计算资源类型，并在系统设置模块添加数据开发需要使用的云计算资源类型对应资源，以备在运行离线节点或者部署运行测试场景和线上场景时使用。本文介绍数据开发中支持使用的云计算资源类型。节点模式 支持的云计算...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
查询并下载数据
新建计算引擎即席查询 说明 若您的计算引擎为Hadoop并开启了 Impala 任务，支持新建 HIVE_SQL即席查询 和 IMPALA_SQL 即席查询。参数 描述 名称 填写即席查询名称。命名规则如下：不支持特殊字符|\/:?不能超过265个字符。描述 填写对...
使用Fuse-DFS挂载文件存储 HDFS 版
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
上海新能源汽车车辆基础数据
客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，...
Hudi
完善的数据连通性 对接多个阿里云大数据计算分析引擎，数据与计算引擎解耦，可以在Flink、Spark、Presto或Hive间无缝流转。深度打磨DB入湖场景 与Flink CDC连接器联动，降低开发门槛。提供企业级特性 包括集成DLF统一元数据视图、自动且轻...
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
高性能版Spark全密态计算引擎使用示例
AnalyticDB MySQL 湖仓版（3.0）高性能版的Spark全密态计算引擎，在基础版Spark全密态引擎能力的基础上，支持Parquet模块化加密功能，且兼容社区版Spark、Hadoop、Hive等计算引擎，在保证数据传输与存储过程安全的同时，提升了数据处理效率...
文件存储 HDFS 版和对象存储OSS双向数据迁移
背景信息 阿里云 文件存储 HDFS 版 是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储 HDFS 版 允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、...
创建Hive数据源
在E-MapReduce5.x Hadoop计算引擎下，若您需要使用基于OSS创建的Hive外部表进行离线集成。您需要进行相关配置后，才可以正常使用。配置说明，请参见 使用基于OSS创建的Hive外部表进行离线集成。使用Hive数据源作为集成的输入输出组件时，请...
块存储性能
性能类别 ESSD AutoPL云盘 ESSD PL-X云盘（邀测）ESSD云盘 ESSD Entry云盘 SSD云盘 高效云盘 普通云盘 性能级别PL（Performance Level）容量和性能解耦，基准性能等同于ESSD PL1，可额外购买预配置性能、开启性能突发 PL-X PL3 PL2 PL1 PL0...
使用Hadoop作为元仓计算引擎进行元仓初始化
元仓初始化即配置Dataphin系统的计算引擎类型并初始化元数据的过程。本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 ...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
新建开发环境场景并运行
前提条件 已创建相关的云计算资源，具体操作，请参见 新建云计算资源。背景信息 节点流程定义了一段处理逻辑，通过有向无环图DAG（Directed Acyclic Graph）描述。节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现...
弹性裸金属服务器概述
弹性裸金属服务器适合上云部署传统非虚拟化场景的应用，通过与阿里云产品家族中的其他产品（例如存储、网络、数据库等）无缝对接，可以更多元化地结合您的业务场景进行资源构建。本文介绍云服务器ECS弹性裸金属服务器实例规格族的优势和...
TuGraph服务实例部署文档
TuGraph在计算巢上提供了社区版服务，您无需自行购置云主机，即可在计算巢上快速部署TuGraph服务、实现运维监控，从而搭建您自己的图应用。本文向您介绍如何开通计算巢上的TuGraph社区版服务，以及部署流程和使用说明。目前TuGraph处于免费...
新建Spark Stream类型的公共节点
Spark Stream节点是流式节点，运行于Spark云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。本文介绍如何新建Spark Stream类型的公共...
新建Flink DataStream类型的公共节点
Flink DataStream节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink DataStream...
JindoFS实战演示
云上计算云下数据：HDFS缓存加速 云上计算云下数据：HDFS缓存加速 2021-06-29 随着云计算越来越成熟，带来弹性扩容、运维方便、节省成本等优点，越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据，其中可能包含敏感数据...
新建开发环境场景并运行
前提条件 已创建相关的云计算资源，具体操作，请参见 新建云计算资源。背景信息 节点流程定义了一段处理逻辑，通过有向无环图DAG（Directed Acyclic Graph）描述。节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤...
MaxCompute/Hadoop物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute、Hadoop 时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute、Hadoop 引擎的物理视图展示信息基本一致，下图以MaxCompute物理视图为例。编号 描述 ① ...
管理Hive Catalog
CREATE CATALOG${HMS Name} WITH('type'='hive','default-database'='default','hive-version'='<hive-version>','hive-conf-dir'='<hive-conf-dir>','hadoop-conf-dir'='<hadoop-conf-dir>');参数 说明${HMS Name} Hive Catalog名称。type...
MySQL社区版服务实例部署文档
MySQL是一个开放源码的小型关联式数据库管理系统。MySQL在计算巢上提供了社区版服务，您无需自行配置云主机，即可在计算巢上快速部署MySQL服务、实现运维监控，从而方便地基于MySQL搭建您自己的应用。本文向您介绍如何开通计算巢上的MySQL...
创建通用项目
如果您选择的Dataphin的计算引擎为Hadoop，且数据研发过程中需要使用规范建模、即席查询、Hive SQL计算任务等功能，则在创建项目空间前需要完成Hadoop计算源的创建。具体操作，请参见 创建Hadoop计算源。如果您选择的Dataphin的计算引擎为...
作业配置说明
如果为OSS路径，您需要配置对应的配置项，包括：spark.hadoop.fs.oss.endpoint、spark.hadoop.fs.oss.accessKeyId、spark.hadoop.fs.oss.accessKeySecretspark.hadoop.fs.oss.impl。重要 通过JDBC方式连接计算引擎时，JAR包仅支持上传至...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
hadoop fs-mkdir/tmp/hadoop-es hadoop fs-put elasticsearch-hadoop-6.7.0/dist/elasticsearch-hadoop-hive-6.7.0.jar/tmp/hadoop-es 步骤二：创建Hive外表 在EMR控制台的 数据开发 模块中，创建 HiveSQL 类型的作业。具体操作步骤请参见 ...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
- 产品推荐
- 这些文档可能帮助您