Hive作业配置

E-MapReduce默认提供了Hive环境,您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目,详情请参见项目管理。已准备好Hive SQL的脚本,并上传到OSS的某个目录中(例如oss:/path/to/uservisits_aggre_hdfs.hive)。...

通过Hive访问HBase增强版

本文主要介绍如何通过Hive访问HBase增强版。HBase增强版支持Hive访问。但是Hive调用HBase的方式并非标准用法,而是直接调用了HBase内部类。因此无法采用直接加入alihbase-connector的JAR包的方式做兼容,需要替换hive/lib下已有的HBase jar...

网络打通

开放HDFSHBASE的端口。经典网络VPC是 需要创建VPC的 ClassicLink,经典网络的 ECS 需要绑定对应的 ClassicLink概述HBase集群添加BDS集群访问白名单。开通集群的HDFS(仅云HBase需要)。经典网络云HBase经典网络否 需要临时购买几台经典...

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

Hive读写HBase指南

HBase支持使用Hive读写数据,本文介绍如何配置Hive读写HBase。前提条件 将Hive 所在的Hadoop集群所有的节点的IP加入到云HBase白名单。获取云HBase的zookeeper访问地址,可在云HBase控制台查看。修改配置 进入hive配置目录/etc/ecm/hive-...

XpackRelateDB

hbase 需要关联的数据库类型 spark可以关联以下数据库:hdfs hbase mongodb mysql polardb_mysql redis geomesa 返回数据 名称 类型 示例值 描述 RequestId String 50373857-C47B-4B64-9332-D0B5280B59EA 请求ID 示例请求示例http(s):/...

访问HBase HDFS

云HBase答疑core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs:/hbase-cluster</value></property></configuration>hdfs-site.xml<configuration><property><name>dfs.nameservices</name><value>hbase-cluster...

简介

Flume支持Kafka和阿里云LogService等多种数据源格式,并支持写入数据至HDFSHiveHBase以及OSS等持久化存储,使用示例如下所示: 使用说明 同步EMR Kafka数据至HDFS 同步EMR Kafka数据至Hive 同步EMR Kafka数据至HBase 同步EMR Kafka数据...

文件存储 HDFS

阿里云文件存储HDFS(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析...

云数据库 HBase

面向大数据领域的一站式NoSQL服务,适用于GB至PB级的大规模吞吐、检索、分析工作负载,是为淘宝推荐、支付宝账单、花呗风控、监控、广告投放、物流轨迹、手淘消息等众多阿里巴巴核心服务提供支撑的数据库

配置CDH6使用文件存储HDFS

本文介绍如何配置CDH上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用文件存储HDFS。前提条件已完成数据迁移,详情请参见CDH6数据迁移。配置HDFS服务 配置链接。在系统主页,选择配置>高级配置代码段,进入高级配置代码段页面。搜索...

使用DataWorks/DataX导入数据

是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、Oracle、SqlServer、Postgre、HDFSHive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。前提条件迁移开始前,请...

网络打通

开放HDFSHBASE/Lindorm的端口。经典网络VPC是 需要创建 VPC 的 ClassicLink,经典网络的 esc 需要绑定对应的 ClassicLink。HBase、Lindorm集群添加LTS集群访问白名单。开通集群的HDFS(仅云HBase、Lindorm需要)。经典网络云HBase经典...

CDH6数据迁移

为了保证在更换文件存储系统的过程中文件数据不丢失,需要暂停数据处理服务(如:YARN服务、Hive服务、Spark服务、HBase服务等),HDFS服务仍需保持运行。此处以HBase服务为例进行说明。找到HBase,在其右侧的操作项中,单击停止。在停止...

配置E-MapReduce服务使用文件存储HDFS

本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用文件存储HDFS。前提条件已完成数据迁移,详情请参见E-MapReduce数据迁移。配置HDFS服务 登录阿里云 E-MapReduce 控制台。在集群管理页面,找到需要挂载文件...

索引重建

ls hdfs:/hbase-cluster/查看是否可以访问阿里云HBase的 hdfs目录。运行作业最后,运行如下命令启动重建索引作业:hadoop config custom_conf jar hbase-indexer-mr-2.0-job.jar \-zk-host zk1,zk2,zk3/solr \-collection collection001 \-...

使用限制

HBase增强版支持通过Java API访问进行访问,但目前在以下几方面的使用存在限制:不支持HBase的系统管理API HBase增强版不支持集群管理相关操作的接口,如assign region、stopRegionServer等等,用户对集群的日常管理,可以通过控制台和我们...

RelateDbForHBaseHa

Action=RelateDbForHBaseHa&ClusterId=bds-t4nj9v2x85*&HaActive=hb-bp1w6krp539*&HaActiveDBType=hbase&HaMigrateType=CLUSTER&HaStandby=hb-bp1bl7iqzka*&HaStandbyDBType=hbase&IsActiveStandard=true&IsStandbyStandard=true&<公共请求...

HBase数据源

本文档主要介绍如何添加HBase数据源。控制台自动关联 前提条件 LTS与云HBase所处同一个VPC网络。操作步骤 登录HBase管理控制台。在集群列表页,单击BDS目标实例。在左侧导航栏选择数据源管理,单击添加数据源。在添加数据源弹出页添加数据...

EMR-4.3.0版本说明

支持HDFSHive、Spark plugin自定义部署,在对应服务节点执行plugin enable操作。支持在控制台配置ranger-admin和ranger-usersync。Presto 升级Kudu Client。Spark 升级至2.4.5版本。升级关联的Delta Lake至0.6.0版本。修复开启Ranger ...

使用E-MapReduce Hive关联云HBase

本文介绍如何使用E-MapReduce(简称EMR)上的Hive关联阿里云HBase的表。阿里云HBase需要借助外部Hive对多表进行关联分析。前提条件 已创建EMR的Hadoop集群,并且选择了HBase和Zookeeper服务。详情请参见创建集群。创建与EMR同一地域下相同...

HBase版本选择

本文介绍HBase的各个版本信息...HBase增强版目前支持HDFS、Phoenix、Spark、Hive、OpenTSDB等常见大数据生态,但还不支持部分组件(Kylin、Geomesa),我们正在加紧适配中。对于HBase原生的功能、客户端API,增强版与开源标准保持一致。功能详情

迁移开源HDFS的数据到文件存储HDFS

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。背景信息当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到文件存储HDFS。背景信息阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式...

使用限制

HBase serverless版支持HBae原生API进行访问,但目前在以下几方面的使用存在限制:不支持HBase的系统管理API。HBase Serverless版不支持集群管理相关操作的接口,如assign region、flush、compaction、stopRegionServer等等,用户对集群的...

常见问题

阿里云数据库HBase是基于HBaseHBase生态构建的低成本一站式数据处理平台,实现数据从处理、存储到分析全流程闭环,让客户用最低成本实现一站式数据处理。详情参看:产品概述Q:相比自建HBase和EMR HBase的优势是什么 提供低成本,一站式的...

Spark访问外部HDFS

在一些场景下,Spark集群需要访问外部集群的HDFS注意:hdfs端口打开后,因误操作hdfs导致的数据丢失等问题客户自身承担,客户需要对hdfs的操作比较了解。访问限制目前支持的是 同VPC内的Spark 访问外部HDFS,暂时不支持公网访问。请将同VPC...

小版本升级

阿里云云HBase组,在不断fix线上bug及改进性能,小版本升级是保证完全兼容的。一些严重的bug,我们会邮件通知,请关注我们的邮件。为了不影响客户的业务,我们不会主动升级客户的集群,我们建议客户在业务低峰期自主升级小版本。我们当前不...

LTS(原BDS)服务介绍

LTS(原BDS)是面向云HBase业务场景特点深度定制的数据生态服务。支持简单易用的数据交换、处理、订阅等能力,满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求,实现面向云HBase的一站式数据生态服务。核心...

QueryXpackRelateDB

要查询可关联数据库类型 spark可以关联hdfs,hbase,mongodb,mysql,polardb_mysql,redis,geomesa bds可以关联hbase,spark,hbaseue HasSingleNode Boolean 否 false 仅对bds查询关联hbase有效。true:会包含单节点HBase。false:不包含单节点...

案例集合

HBase典型场景再谈全局网HBase八大应用场景查看。存储场景亿方云(文档存储)查看。车联网场景车纷享(车厘子)查看。HBase在新能源汽车监控系统中的应用查看。金融场景HBase在大搜车金融业务中的应用实践查看。自动推荐场景兑吧:从自建...

Hive配置

Hive访问模型访问Hive数据,包括HiveServer2、Hive Client和HDFS三种方式:HiveServer2方式 场景: 您可以通过HiveServer2访问Hive数据。方式:使用Beeline客户端或者JDBC代码通过HiveServer2执行Hive脚本。权限设置: Hive官方自带的Hive...

WebUI页面访问

当您新建一个集群后,我们提供了一种快捷的方式来让你访问集群上的开源组件,如HBase、Ganglia和HDFS,以及HBase增强版的ClusterManager等。操作方式登录HBase管理控制台,并选择目标实例,单击管理。在集群详情tab中,最上方的开源软件栏...

设置白名单和安全组

创建HBase集群后,您需要设置HBase实例的白名单分组或者添加ECS安全组,以允许外部设备访问该集群。前提条件通过ECS安全组设置HBase白名单时,要求ECS实例和HBase集群的网络类型相同(专有网络要求属于同一个VPC ID)。背景信息为了数据库...

Phoenix数据源

本文介绍如何添加Phoenix数据源。使用场景 云HBase Phoenix集群(Phoenix4.x,Phoenix 5.x)。自建HBase集群。EMR HBase集群。操作步骤 进入LTS页面,...hbaseDir:HBaseHDFS上的根路径。hdfsUrl:NameNode节点、NameNode端口。单击“添加”。

EMR-3.28.x版本说明

支持HDFSHive和Spark自定义部署。支持在控制台配置ranger-admin-site和ranger-ugsync-site。HDFS 针对HDFS写入时无可用DataNode节点的异常,打印对应DataNode异常信息(HDFS-9023)。Hue 支持Gateway集群安装Hue组件。支持在单个节点部署...

主备容灾

HBase通过master节点自动切换、数据两副本、快速自动failover等手段最大程度的保证了HBase实例服务和数据可用性,但是面对可用区级别的断电、断网及其他极端故障单个HBase集群无法满足用户的高可用要求,针对跨可用区灾备需求我们提供了...

集群容灾能力

本文介绍E-MapReduce集群数据...服务容灾Hadoop的核心组件都会进行HA部署,即有至少两个节点的服务互备,例如YARN、HDFSHive Server和Hive Meta。在任何一时刻,任一服务节点故障时,当前的服务节点都会自动进行切换,以保证服务不受影响。

在文件存储HDFS上使用Presto

本文档主要介绍如何在文件存储HDFS上搭建及使用Presto。背景信息Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive、Cassandra、关系数据库以及专有数据存储。说明 在...

数据导入与迁移

HBase增强版支持从阿里云RDS,MySQL,不同HBase版本(含阿里云HBase和自建HBase集群)导入数据,并进行实时的增量同步,也支持将数据迁移到不同版本的HBase中。数据的导入和迁移,都是基于LTS服务实现。RDS增量数据同步通过BDS数据同步服务...

注意事项

实例使用前请设置好磁盘空间报警,建议安全水位为80%,超过80%建议...请不要使用开源HBCK工具开源HBCK通过对比meta表和HDFS上meta文件对集群状态进行检查,但是云HBase不开放HDFS端口,如果使用开源HBCK工具会造成实例meta信息异常实例不可用。
< 1 2 3 4 ... 37 >
共有37页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折