阿里云搜索结果产品模块_X-Pack Spark

环境准备

mkdir/home/admin/hive-2.1.0$tar-zxvfapache-hive-2.1.0-bin.tar.gz-C/home/admin/$mv/home/admin/apache-hive-2.1.0-bin/home/admin/hive-2.1.0/按照如下示例初始化schema。进入指定的目录。cd/home/admin/hive-2.1.0/初始化,如果是...

Hive连接方式

Connectingtojdbc:hive2:/emr-header-1:10000Connectedto:ApacheHive(version2.3.5)Driver:HiveJDBC(version2.3.5)Transactionisolation:TRANSACTION_REPEATABLE_READBeelineversion2.3.5byApacheHive0:jdbc:hive2:/emr-header-1:10000>当...

使用Hive访问

nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-servicemetastore&nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-servicehiveserver2&验证ApacheHive在hiveshell中创建一张表。hive>createtabletest(f1INT,f2STRING);在表中写入一些...

阿里云爆款特惠专场,精选爆款产品低至0.55折!

1核2G ECS n4 89.64元/年,精选爆款产品低至0.55折!
广告

开源地理空间UDF

cdspatial-framework-for-hadoopmvncleanpackage-DskipTests-Pjava-8,hadoop-2.7,hive-2.1复制构建好的JAR包。此JAR包包含开源地理空间UDF的所有方法。命令示例如下。cphive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive...

自建Hive数仓迁移到阿里云EMR

直达最佳实践点击查看最佳实践详情...目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive2.x版本),涉及到数据订正更新步骤。解决问题Hive数据仓库的数据迁移方案Hive元数据库的迁移方案Hive跨版本迁移后的数据订正的管控权方案架构

与MySQL、Oracle内建函数对照表

LOG2LOG2LOG2LOGMaxCompute模式下:支持。Hive模式下:支持。LOG10LOG10LOG10LOGMaxCompute模式下:支持。Hive模式下:支持。BINBINBINBITANDMaxCompute模式下:支持。Hive模式下:支持。HEXHEXHEXRAWTOHEXMaxCompute模式下:支持。Hive...

自建Hive数据仓库跨版本迁移到阿里云EMR

本最佳实践介绍如何将客户自建...目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive2.x版本),涉及到数据订正更新步骤。解决的问题Hive数据仓库的数据迁移方案。Hive元数据库的迁移方案。Hive跨版本迁移后的数据订正。部署架构图

在文件存储HDFS上使用Presto

connector.name=hive-hadoop2hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动hive元数据服务的IP地址hive.config.resources=usr/local/hadoop-2.7.6/etc/hadoop/core-site.xml#配置为您的Hadoop集群中core-site.xml文件的地址编译并替换...

通过JDBC连接HiveServer2来访问Hive数据

在E-MapReduce集群中,HiveServer2的JDBC连接地址如下:标准集群:jdbc:hive2:/emr-header-1:10000高安全集群:jdbc:hive2:/${master1_fullhost}:10000/;principal=hive/${master1_fullhost}@EMR.$id.COMBeeline客户端连接HiveServer2登录...

数据湖元数据

背景信息数据湖元数据已适配EMR的Hive2.x、Hive3.x、Presto和SparkSQL。因为数据湖元数据暂不适配EMR的Impala,所以当您在EMR控制台上勾选Impala时,无法选择数据湖元数据。适用场景数据湖元数据具有高可用和易维护的特点,因此适合在如下...

Hive配置

jdbc.url标准集群:jdbc:hive2:/emr-header-1:10000/高安全集群:jdbc:hive2:/${master1_fullhost}:10000/;principal=hive/${master1_fullhost}@EMR.$id.COM说明${master1_fullhost}为master1的长域名,可登录master1执行hostname命令获取...

Hive授权

0:jdbc:hive2:/emr-header-1.cluster-xxxxx:10>select*fromtesttbl;INFO:OK+-+-+|testtbl.a|+-+-+|hz|+-+-+1rowselected(0.787seconds)回收权限。切换到test账号,回收权限foo的select权限hive>revokeselectfromuserfoo;OKTimetaken:1.094...

配置Hive Metastore

说明Flink全托管兼容的HiveMetastore版本为2.2.0~2.3.7,hive-version的配置情况如下:如果HiveMetastore版本为2.0.0~2.2.0,则hive-version需要指定为2.2.0。如果HiveMetastore版本为2.3.0~2.3.7,则hive-version需要指定为2.3.6。hive-...

在EMR集群运行TPC-DS Benchmark

dospark-beeline-ujdbc:hive2:/emr-header-1:10001/tpcds_bin_partitioned_orc_$SF-f$q>$q.outdone注意SQL列表中q30.sql文件存在列名c_last_review_date_sk错写为c_last_review_date的情况,所以该SQL运行失败属于正常现象。通过脚本顺序...

配置CDH6使用文件存储HDFS

本文介绍如何配置CDH上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用文件存储HDFS。前提条件已完成数据迁移,详情请参见CDH6数据迁移。配置HDFS服务配置链接。在系统主页,选择配置>高级配置代码段,进入高级配置代码段页面。搜索core...

管理LDAP认证

JDBC:jdbc:hive2:/emr-header-1:10000/default;user=;password=关闭LDAP认证进入Hive页面。登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方的集群管理页签。在集群管理页面,单击相应集群所在行的...

文件存储 HDFS

阿里云文件存储HDFS(ApsaraFileStorageforHDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(HadoopDistributedFileSystem)中管理和访问数据。您无需对现有大数据分析应用做...

对象存储 OSS

对象存储服务(ObjectStorageService,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。

Hive读写HBase指南

云HBase支持使用Hive读写数据,本文介绍如何配置Hive读写HBase。前提条件将Hive所在的Hadoop集群所有的节点的IP加入到云HBase白名单。获取云HBase的zookeeper访问地址,可在云HBase控制台查看。修改配置进入hive配置目录/etc/ecm/hive-conf...

通过Hive访问Lindorm

使用HBaseAPI的用户,支持通过Hive访问Lindorm,具体步骤如下:参考历史版本适配(Jar包替换),将hive/lib中hbase-clientjar替换为阿里云发布的版本,注意不要删除hive-hbase-handler-{version}.jar,这是Hive访问HBase的逻辑代码jar包。...

数据库文件存储

数据库文件存储(DBFS),是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计,通过文件协议提供数据库定制功能,具备企业级存储特性。主要服务于云上自建数据库,基于传统SAN的应用等,为用户提供极致IO性能和高可用...

通过Hive访问HBase增强版

本文主要介绍如何通过Hive访问HBase增强版。HBase增强版支持Hive访问。但是Hive调用HBase的方式并非标准用法,而是直接调用了HBase内部类。因此无法采用直接加入alihbase-connector的JAR包的方式做兼容,需要替换hive/lib下已有的HBasejar...

表格存储 Tablestore

表格存储(Tablestore)是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务,提供海量结构化数据的存储和实时访问。

存储网关

存储网关,是一款可在用户IDC和阿里云上部署的软网关,以阿里云OSS为后端存储,通过低成本的虚拟机服务器,给云上和云下应用提供业界标准的NFS和CIFS文件存储服务。

混合云存储阵列

混合云阵列(HybridCloudStorageArray)是部署在IDC的一款硬件存储设备,提供本地文件和块存储服务,并且可以无缝的将数据迁移到云端。

文件存储 CPFS

CPFS(CloudParalleledFileSystem)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

准备工作

{"dataSource":"Hive","hiveConfig":{"jdbcConnectionUrl":"jdbc:hive2:/127.0.0.1:10000/default","user":"Hive","password":"","hmsThriftAddr":"thrift:/127.0.0.1:9083","krbPrincipal":"xxx","keyTab":"xxx","krbSystemProperties":...

使用E-MapReduce Hive关联云HBase

本文介绍如何使用E-MapReduce(简称EMR)上的Hive关联阿里云HBase的表。阿里云HBase需要借助外部Hive对多表进行关联分析。前提条件已创建EMR的Hadoop集群,并且选择了HBase和Zookeeper服务。详情请参见创建集群。创建与EMR同一地域下相同...

配置E-MapReduce服务使用文件存储HDFS

DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CTLG_NAME|+-+-+-+-+-+-+-+|1|DefaultHivedatabase|hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse|default|public|ROLE|hive|2|NULL|hdfs:/emr-header-1.cluster-...

文件存储 NAS

阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX文件接口,可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业务系统上云。

从统一元数据库迁出到用户自建的RDS实例

为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件已购买RDS,详情请参见创建RDSMySQL实例。说明建议类型选择MySQL的5.7;系列选择高可用版。RDSMySQL实例须与E-MapReduce的实例处于同...

Hive作业配置

E-MapReduce默认提供了Hive环境,您可以直接使用Hive来创建和操作创建的表和数据。前提条件已创建好项目,详情请参见项目管理。已准备好HiveSQL的脚本,并上传到OSS的某个目录中(例如oss:/path/to/uservisits_aggre_hdfs.hive)。...

使用Hive读Delta table

E-MapReduce支持Hive读取Deltatable,提供DeltaInputFormat和SparkSQL两种读取方式,其中DeltaInputFormat为E-MapReduce独有的方式。本文介绍如何使用Hive读Deltatable。使用DeltaInputFormat读Deltatable(仅限EMR)使用Hive客户端,在...

Hive开发手册

本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS在Hive中读写OSS时,先创建一个external的表。CREATEEXTERNALTABLEeusers(useridINT)LOCATION'oss:/emr/users';当上面的方式无法支持,或者您希望使用非本账号的...

简介

Hive是一个基于Hadoop的数据仓库框架,在大数据业务场景中,主要用来进行数据提取、转化和加载(ETL)以及元数据管理。背景信息E-MapReduce(简称EMR)版本中,Hadoop、Hive版本和EMR集群的配套情况,请参见版本概述。Hive结构名称说明...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件已创建集群,详情请参见创建集群。背景信息JindoTable支持收集访问Hive表的记录,收集的数据保存在SmartData服务的...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件已创建集群,详情请参见创建集群。背景信息JindoTable支持收集访问Hive表的记录,收集的数据保存在SmartData服务的...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件已创建集群,详情请参见创建集群。背景信息JindoTable支持收集访问Hive表的记录,收集的数据保存在SmartData服务的...

E-MapReduce

HIVE.HiveMetaStore.hiveServer2PortUnAvailableHIVE.HiveMetaStore.hiveServer2Port不可用CriticalCriticalMaintenanceMaintenance:HIVE.HiveServer2.ConnectToZkTimeouthiveServer2连接ZK超时CriticalCriticalMaintenanceMaintenance:...

使用Hive查询JindoFS上的数据

Hivescratch目录Hive会把一些临时输出文件和作业计划存储在scratch目录,可以通过设置hive-site的hive.exec.scratchdir把地址指向到JindoFS,也可以通过命令行传参。bin/hive-hiveconfhive.exec.scratchdir=jfs:/emr-jfs/scratch_dir或者...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
产品推荐
对象存储 块存储 文件存储 云服务器 商标 SSL证书 全站加速 DCDN 密钥管理服务
这些文档可能帮助您
通用型NAS计费说明 服务端签名后直传 服务端签名直传并设置上传回调 存储类型介绍 计量项和计费项 什么是对象存储OSS

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折
阿里云搜索结果产品模块_X-Pack Spark