Hive连接器

使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成: 不同格式的数据文件,通常存储在Hadoop分布式文件系统(HDFS)或对象存储系统(例如,阿里云OSS)中。存储着数据文件到Schema和...

管理Hive Metastore

不开启kerberos鉴权时,VVP端访问Hive的默认用户名为vvp,Flink集群中访问Hive的默认用户名为flink。因此您要保证vvp和flink这两个用户都有访问Hive元数据和文件系统(例如HDFS)上的Hive表数据的权限。一个Flink全托管实例仅支持一个...

EMR Hive功能增强

本文为您介绍E-MapReduce(简称EMR)各版本对应的Hive组件版本,以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行show create table命令,...

使用Hive查询JindoFS上的数据

Hive会把一些临时输出文件和作业计划存储在scratch目录,可以通过设置hive-site的hive.exec.scratchdir把地址指向到JindoFS,也可以通过命令行传参。bin/hive hiveconf hive.exec.scratchdir=jfs:/emr-jfs/scratch_dir或者set hive.exec....

环境准备

本文为您介绍使用Hive/HadoopMR访问表格存储中的表前的环境准备。使用Hive/HadoopMR来访问表格存储中的表 通过表格存储及E-MapReduce官方团队发布的依赖包,可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。安装JDK-7+ ...

文件存储 CPFS

CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

表格存储 Tablestore

表格存储(Tablestore)是构建阿里云飞天分布式系统之上的 NoSQL 数据存储服务,提供海量结构化数据的存储和实时访问。

创建Hive数据源

创建Hive数据源用于实现Dataphin能够读取Hive的业务数据,及能够向Hive写入数据。引入Hive的业务数据至Dataphin和将Dataphin的数据写入至Hive的场景中,您需要先创建Hive数据源。本文为您介绍如何创建Hive类型的数据源。背景信息 Hive是...

文件存储 HDFS

文件存储HDFS允许您就像Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件...

对象存储 OSS

对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。

通过Hive访问HBase增强版

在Hive中配置连接参数在Hive中配置连接HBase的参数有两种方式,一种是直接配置在hive-site.xml文件中。在这个文件中加入如下配置项: 集群的连接地址,在控制台页面的数据库连接界面获得(注意公网地址和VPC内网地址)-> hbase....

存储网关

存储网关,是一款可用户IDC和阿里云上部署的软网关,以阿里云OSS为后端存储,通过低成本的虚拟机服务器,给云上和云下应用提供业界标准的NFS和CIFS文件存储服务。

数据库文件存储

数据库文件存储(DBFS),是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计,通过文件协议提供数据库定制功能,具备企业级存储特性。主要服务于云上自建数据库,基于传统SAN的应用等,为用户提供极致IO性能和高可用...

混合云存储阵列

混合云阵列(Hybrid Cloud Storage Array)是部署IDC的一款硬件存储设备,提供本地文件和块存储服务,并且可以无缝的将数据迁移到云端。

Hive作业调优

Hive的文件基本上都是存储在HDFS上,而HDFS上的文件,都是分块的,所以具体的Hive数据文件在HDFS上分多少块,可能对应的是默认Hive起始的Task的数量,使用default_mapper_num参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...

Dataphin将csv文件同步到hive库,目标hive库字段值为...

产品名称&Dataphin 产品模块&数据集成 概述 ...该问题是由于选择的hive目标表创建时没有指定分隔符,需要管道的输出配置中指定分割符为\u0001。hive中textfile格式建表不指定分隔符,默认都是\u0001,读写都要指定。更多信息 无&相关文档&

文件存储HDFS上使用Presto

本文档中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据,文件存储HDFS上使用Presto时需要额外配置一些依赖包,详细操作步骤请参见配置Presto。准备工作 文件存储HDFS上搭建和使用Presto,需要先完成以下准备工作。...

文件存储 NAS

阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX文件接口,可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业务系统上云。

通过Hive访问Lindorm

在Hive中配置连接Lindorm的参数有两种参数,一种是直接配置在hive-site.xml文件中。在这个文件中加入如下配置项:1. 2.!3.集群的连接地址,在控制台页面的数据库连接界面获得(注意公网地址和VPC内网地址)4.->5. 6...

准备工作

在hive-site.xml中查找"hive.metastore.uris"即可获取Hive Metastore URI。获取Hive JDBC连接信息。Hive JDBC的格式为jdbc:hive2:/localhost:10000/default。确保Hive集群和MMA所在机器与MaxCompute服务所在地域保持网络连通。说明 专线...

新建Hive云计算资源

端口 Hive的端口,默认值10000。登录用户名 登录用户名,客户自定义,示例:admin。登录密码 登录密码,客户自定义。DefaultFS 非必填。描述 可选项,Hive云计算资源的描述。是否校验连通性 默认选择”是“,用于新建资源的连通性测试。...

与MySQL、Oracle内建函数对照表

函数类型 MaxCompute HIVE MySQL Oracle MaxCompute SQL中是否支持分区剪裁 日期函数 DATEDIFF DATEDIFF DATEDIFF MONTHS_BETWEEN MaxCompute模式下:支持。Hive模式下:不支持。DATE_ADD DATE_ADD DATE_ADD 无 MaxCompute模式下:不支持...

数据湖元数据

EMR-3.30.0及之后版本和EMR-4.5.0及之后版本,默认选择数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如同时使用MaxCompute和E-MapReduce(简称...

Hive概述

元数据管理模块,此模块被其他引擎所依赖,用于存储Database和Table等信息。例如,Spark和Presto均依赖此模块作为其元数据管理。Hive Client Hive客户端,直接利用该客户端提交SQL作业,根据其设置运行引擎配置,可以将SQL转换成MR作业、...

Hive访问EMR HBase数据

如果HBase中没有已经创建好的表,则可以在Hive中创建表,Hive会自动把表结构和数据写入到HBase中。本示例是在Hive中新建表访问HBase。进入Hive命令行。使用SSH方式登录到集群主节点,详情请参见登录集群。执行以下命令,进入Hive命令行。...

Hive配置

Hive官方自带的Hive授权针对HiveServer2使用场景进行权限控制。Ranger中对Hive的表或列级别的权限控制也是针对HiveServer2的使用场景。如果您还可以通过Hive Client或者HDFS访问Hive数据,仅对表或列层面做权限控制还不够,需要选择下面任...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件 已创建集群,详情请参见创建集群。背景信息 JindoTable支持收集访问Hive表的记录,收集的数据保存SmartData服务的...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件 已创建集群,详情请参见创建集群。背景信息 JindoTable支持收集访问Hive表的记录,收集的数据保存SmartData服务的...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件 已创建集群,详情请参见创建集群。背景信息 JindoTable支持收集访问Hive表的记录,收集的数据保存SmartData服务的...

JindoTable表或分区访问热度收集

您可以通过JindoTable表或分区的访问热度收集功能来区分冷热数据,从而节约整体的存储成本,提高缓存利用效率。前提条件 已创建集群,详情请参见创建集群。背景信息 JindoTable支持收集访问Hive表的记录,收集的数据保存SmartData服务的...

Hive访问EMR Phoenix数据

如果Phoenix中没有已经创建好的表,则可以在Hive中创建表,存储到Phoenix中。本示例是在Hive中新建表访问Phoenix。进入Hive命令行。使用SSH方式登录到集群主节点,详情请参见登录集群。执行以下命令,进入Hive命令行。hive返回信息如下所示...

开源地理空间UDF

UDF,因此也支持MaxCompute中使用Hive地理空间函数。MaxCompute使用Hive UDF的示例请参见Hive UDF兼容示例。说明 使用过程中,如果您有任何问题,请直接GitHub上提交issues获取帮助。步骤一:准备本地函数 获取地理空间UDF代码的URL...

EMR集群运行TPC-DS Benchmark

tpcds-setup.sh脚本默认配置的Hive服务地址与EMR集群环境不一致,所以需要将脚本中HiveSever的地址替换为EMR集群中的Hive服务地址。具体命令如下:sed i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...

Hive读写HBase指南

在Hive中读写HBase表 如果HBase表不存在,可在Hive中直接创建云HBase关联表。进入hive cli命令行。执行如下语句,创建HBase表。CREATE TABLE hive_hbase_table(key int,value string)STORED BY 'org.apache.hadoop.hive.hbase....

配置连接器

连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 hive-acc kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 jmx 使用JMX连接器可以进行系统监控和调试。无 system 使用...

使用Hive访问

Apache Hive hive shell 中创建一张表。hive>create table test(f1 INT,f2 STRING);在表中写入一些数据。hive>insert into test values(1,'2222');查看数据是否已经写入文件引擎 {HADOOP_HOME}/bin/hadoop fs-ls/user/hive/warehouse/...

配置CDH6使用文件存储HDFS

CDH6 Hive服务的元数据存储在Mysql,进入存储Hive元数据的Mysql数据库,修改DBS表和SDS表相应的值,如下所示。说明 在进行元数据修改的时候,建议使用root用户,或者其他有权限的用户,避免因为权限问题导致修改失败。其中mysql服务的root...

云数据源Hive

本文为您介绍新建Hive类型的云数据源。前提条件 已创建阿里云Hive数据库。已获取Hive数据库的用户名和密码。背景信息 Quick BI专业版和高级版支持新建Hive数据源。操作步骤 登录Quick BI控制台。单击工作空间>数据源。数据源管理页面,...

添加Hive类型的公共节点

Hive类型的节点是离线节点,运行在Hive云计算资源之上,支持处理Hive、Hbase和Phoenix类型的数据。前提条件已添加Hive节点所要使用的数据模型,更多请参见手动新建逻辑表。已添加Hive类型云计算资源,更多信息请参见新建Hive云计算资源。...

Hive连接方式

本文为您介绍E-MapReduce集群提交Hive SQL的两种方式。前提条件 已登录集群,详情请参见登录集群。方式一:通过Hive客户端 普通集群,提交方式如下所示。hive返回信息如下所示。Logging initialized using configuration in file:/etc/...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
对象存储 块存储 文件存储 云服务器 物联网无线连接服务 商标 SSL证书 安全加速 SCDN
这些文档可能帮助您
什么是文件存储NAS 存储类型介绍 什么是对象存储OSS 什么是云存储网关CSG JavaScript客户端签名直传 计量项和计费项

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折