阿里云搜索结果产品模块_X-Pack Spark

与MySQL、Oracle内建函数对照表

Hive模式下:不支持。DATE_ADDDATE_ADDDATE_ADD无 MaxCompute模式下:不支持(建议使用DATEADD)。Hive模式下:支持。DATEPART无DATE_FORMATEXTRACT(datetime)MaxCompute模式下:支持。Hive模式下:不支持。DATETRUNCTRUNCDATE_...

开源地理空间UDF

MaxCompute使用Hive UDF的示例请参见Hive UDF兼容示例。说明 在使用过程中,如果您有任何问题,请直接在GitHub上提交issues获取帮助。步骤一:准备本地函数 获取地理空间UDF代码的URL下载链接。打开Git命令行工具,执行如下命令下载2.1.0...

配置Hive Metastore

本文为你介绍如何在Flink全托管模式下配置Hive Metastore功能。背景信息您可以将Hive Metastore配置文件和Hadoop依赖存放至对象存储OSS控制台指定目录后,再在Flink全托管开发控制台上配置Hive Metastore功能,配置成功后,您就可以在Flink...

阿里云试用中心,为您提供0门槛上云实践机会!

100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!
广告

使用Hive访问

本章节主要介绍如何使用hive访问文件引擎。准备工作开通文件引擎,详情请参见 开通指南。在计算节点上安装JDK,版本不能低于1.8。下载 Apache Derby,下载地址:官网地址,本文档中使用的Apache Derby 版本为 10.13.1.1。下载Hive压缩包,...

Hive连接方式

本文为您介绍在E-MapReduce集群提交Hive SQL的两种方式。方式一:通过Hive客户端 普通模式,提交方式如下所示。hive返回信息如下所示。Logging initialized using configuration in file:/etc/ecm/hive-conf-2.3.5-2.0.3/hive-log4j2....

Hive读写HBase指南

云HBase支持使用Hive读写数据,本文介绍如何配置Hive读写HBase。前提条件 将Hive 所在的Hadoop集群所有的节点的IP加入到云HBase白名单。获取云HBase的zookeeper访问地址,可在云HBase控制台查看。修改配置 进入hive配置目录/etc/ecm/hive-...

通过Hive访问HBase增强版

本文主要介绍如何通过Hive访问HBase增强版。HBase增强版支持Hive访问。但是Hive调用HBase的方式并非标准用法,而是直接调用了HBase内部类。因此无法采用直接加入alihbase-connector的JAR包的方式做兼容,需要替换hive/lib下已有的HBase jar...

Hive配置

本文介绍如何将Hive集成到Ranger,以及如何配置权限。前提条件已创建集群,并选择了Ranger服务,详情请参见创建集群。Hive访问模型访问Hive数据,包括HiveServer2、Hive Client和HDFS三种方式:HiveServer2方式 场景: 您可以通过...

通过Hive访问Lindorm

使用HBase API的用户,支持通过Hive访问Lindorm,具体步骤如下:参考 历史版本适配(Jar包替换),将hive/lib中hbase-client jar替换为阿里云发布的版本,注意不要删除hive-hbase-handler-{version}.jar,这是Hive访问HBase的逻辑代码jar包。...

使用E-MapReduce Hive关联云HBase

本文介绍如何使用E-MapReduce(简称EMR)上的Hive关联阿里云HBase的表。阿里云HBase需要借助外部Hive对多表进行关联分析。前提条件 已创建EMR的Hadoop集群,并且选择了HBase和Zookeeper服务。详情请参见创建集群。创建与EMR同一地域下相同...

Hive授权

Hive内置有基于底层HDFS的权限(Storage Based Authorization)和基于标准SQL的grant等命令(SQL Standards BasedAuthorization)两种授权机制。背景信息场景:如果集群的用户直接通过HDFS或Hive Client访问Hive的数据,需要对Hive在HDFS中...

使用Hive读Delta table

E-MapReduce支持Hive读取Delta table,提供DeltaInputFormat和SparkSQL两种读取方式,其中DeltaInputFormat为E-MapReduce独有的方式。本文介绍如何使用Hive读Deltatable。使用DeltaInputFormat读Delta table(仅限EMR)使用Hive客户端,在...

简介

Hive是一个基于Hadoop的数据仓库框架,在大数据业务场景中,主要用来进行数据提取、转化和加载(ETL)以及元数据管理。背景信息E-MapReduce(简称EMR)版本中,Hadoop、Hive版本和EMR集群的配套情况,请参见版本概述。Hive结构 名称 说明 ...

从统一元数据库迁出到用户自建的RDS实例

为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件已购买RDS,详情请参见创建RDS MySQL实例。说明 建议类型选择MySQL的5.7;系列选择高可用版。RDS MySQL实例须与E-MapReduce的实例处于同...

使用Hive查询JindoFS上的数据

Hivehive-site中有hive.metastore.warehouse.dir,表示Hive数仓存放数据的默认路径,例如配置成:jfs:/emr-jfs/user/hive/warehouse。Database的Location Hive的Database会有一个Location属性,database的Location作为下属Table的默认...

数据湖元数据

EMR-3.30.0及之后版本和EMR-4.5.0及之后版本,默认选择数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如同时使用MaxCompute和E-MapReduce(简称...

Hive开发手册

本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS在Hive中读写OSS时,先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';当上面的方式无法支持,或者您希望使用非本账号的...

MMA2.0运行准备工作

hive-site.xml中查找"hive.metastore.uris"即可获取Hive Metastore URI。获取Hive JDBC连接信息。Hive JDBC的格式为jdbc:hive2:/localhost:10000/default。确保Hive集群和MMA所在机器与MaxCompute服务所在地域保持网络连通。说明 专线...

Hive作业配置

E-MapReduce默认提供了Hive环境,您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目,详情请参见项目管理。已准备好Hive SQL的脚本,并上传到OSS的某个目录中(例如oss:/path/to/uservisits_aggre_hdfs.hive)。...

Tez

Hive中,作为Hive的一种运行时引擎,可以优化Hive SQL的查询引擎。与Hive On MR(MapReduce)相比,Hive On Tez具有更好的查询性能和稳定性。Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示:Tez的详细信息,请参见Apache TEZ...

环境准备

本文为您介绍使用Hive/HadoopMR访问表格存储中的表前的环境准备。使用Hive/HadoopMR来访问表格存储中的表通过表格存储及E-MapReduce官方团队发布的依赖包,可以直接使用Hive及HadoopMR来访问表格存储中的数据并进行数据分析。安装JDK-7+...

Hive

本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。前提条件 您已开通数据湖分析DLA(Data Lake Analytics)服务,详情请参见开通数据湖分析服务并在云原生数据湖分析DLA控制台上创建了Spark虚拟集群 您已开通对象存储OSS(Object ...

配置Hive数据源

Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。背景信息标准模式的工作空间支持数据源开发和生产环境隔离功能,您可以分别添加开发环境和生产环境的数据源,并进行隔离,以保护您的数据安全...

在EMR集群运行TPC-DS Benchmark

tpcds-setup.sh脚本默认配置的Hive服务地址与EMR集群环境不一致,所以需要将脚本中HiveSever的地址替换为EMR集群中的Hive服务地址。具体命令如下:sed i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=...

云数据源Hive

本文为您介绍新建Hive类型的云数据源。前提条件 已创建阿里云Hive数据库。已获取Hive数据库的用户名和密码。背景信息Quick BI专业版和高级版支持新建Hive数据源。操作步骤 登录Quick BI控制台。单击工作空间> 数据源。在数据源管理页面,...

通过JDBC连接HiveServer2来访问Hive数据

本文介绍如何通过JDBC连接HiveServer2访问Hive数据。适用于无法通过Hive Client和HDFS访问Hive数据的场景。前提条件 已对Hive进行权限配置,详情请参见Hive配置。因为HiveServer2默认不校验用户和密码,所以当您需要用户和密码认证时,请...

JindoTable表分区访问热度收集

Hive的数据收集默认是关闭的,如果需要打开,请参见开启Hive数据集。数据查询JindoTable提供了命令方式查询热度信息。语法jindo table-accessStat[days]> [topNums]>days和topNums为正整数。当只设置天数为1时,表示查询从本地时间当天0:00...

JindoTable表分区访问热度收集

Hive的数据收集默认是关闭的,如果需要打开,请参见开启Hive热度收集。数据查询JindoTable提供了命令方式查询热度信息。语法jindo table-accessStat[days]> [topNums]>days和topNums为正整数。当只设置天数为1时,表示查询从本地时间当天0:...

JindoTable表或分区访问热度收集

Hive的数据收集默认是关闭的,如果需要打开,请参见开启Hive热度收集。数据查询JindoTable提供了命令方式查询热度信息。语法jindo table-accessStat[days]> [topNums]>days和topNums为正整数。当只设置天数为1时,表示查询从本地时间当天0:...

Hive Reader

Hive Reader插件实现了从Hive读取数据的功能,本文为您介绍Hive Reader的工作原理、参数和示例。背景信息Hive是基于Hadoop的数据仓库工具,用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表,并提供SQL查询功能...

使用限制

资产管理系统目前支持Maxcompute、DataHub、Hive。数据同步 目前系统支持的任务链路:目前系统支持的批量任务链路: 数据探查系统目前支持MaxCompute、RDS、Hive。物理化系统目前支持RDS、DataHub、MaxCompute、Hive、MangoDB。表计算逻辑...

使用Presto读Delta table

使用DeltaInputFormat读Delta table(仅限EMR)使用Hive客户端,在Hive Metastore中创建一张指向Delta目录的外表。CREATE EXTERNAL TABLE delta_tbl(id bigint,`date` string)ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet....

管理Hive组件

本文为您介绍如何配置、复制、删除Hive组件及如何选择数据的发送方式。背景信息Hive输入组件适用于从Hive中读取数据至Dataphin平台,进行数据的整合和再加工的场景。配置属性 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后...

Hive Writer

Hive Writer插件实现了从Hive写出数据至HDFS的功能,本文为您介绍Hive Writer的工作原理、参数和示例。背景信息Hive是基于Hadoop的数据仓库工具,用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表,并提供SQL...

Hive基础操作

本文介绍如何通过Hive在E-MapReduce集群上创建库和表等操作。前提条件已创建集群,详情请参见创建集群。进入Hive命令行 使用SSH方式登录到集群主节点,详情请参见使用SSH连接主节点。执行以下命令,切换为hadoop用户。su hadoop 执行以下...

对接使用CDH

完成上述步骤后,在阿里云日志服务的指定project下会生成名为hive-event日志库、名为hive-event-config的logtail配置以及名为hive-servers的机器组。您可以查看并记录阿里云账号ID、日志服务的endPoint和Project信息,将这些信息通过提交工...

开启native查询加速

Parquet加速的插件,所以您可以直接设置hive.jindotable.native.enabled来启用查询加速,或者可以在控制台配置页面的hive-site.xml页签,添加自定义参数hive.jindotable.native.enabled为true,来开启查询加速并重启Hive,此方式适用于Hive...

管理LDAP认证

Hive开启LDAP认证后,Hue访问Hive需要进行额外的配置,请参见Hue连接开启LDAP认证的引擎。进入Hive页面。登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方的集群管理页签。在集群管理页面,单击相应...

自建数据源Hive

本文为您介绍如何创建Hive类型的自建数据源。仅专业版和高级版群空间支持创建Hive类型的自建数据源。前提条件 请确保您可以通过外部网络直接或间接访问数据源。如果需要私有化部署,请参见阿里云Quick BI方案咨询。已自建Hive数据库。已...

配置CDH6使用文件存储HDFS

本文介绍如何配置CDH上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用文件存储HDFS。前提条件已完成数据迁移,详情请参见CDH6数据迁移。配置HDFS服务 配置链接。在系统主页,选择配置>高级配置代码段,进入高级配置代码段页面。搜索...
< 1 2 3 4 ... 16 >
共有16页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折
阿里云搜索结果产品模块_X-Pack Spark