管理存储过程
概述 在 OceanBase 开发者中心（OceanBase Developer Center，ODC）首页单击连接名进入连接后，在左导航栏中单击 存储过程 标签可查看存储过程列表，在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中，可查看...
创建Hive数据源
Dataphin支持以下版本：CDH5.x Hive 1.1.0 E-MapReduce5.x Hadoop3.x Hive 2.3.5 E-MapReduce5.x Hadoop5.x Hive 3.1.x CDH6.x Hive 2.1.1 FusionInsight 8.x Hive 3.1.0 CDP7.x Hive 3.1.3 亚信DP5.x Hive 3.1.0。数据源描述 对数据源的...
DLF统一元数据
使用限制 DLF统一元数据适配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。仅EMR-3.30.0及之后版本和EMR-4.5.0及之后版本，支持选择DLF统一元数据作为Hive数据库。切换元数据存储类型 您可以通过修改Hive参数的方式，切换Hive MetaStore的...
Hive连接方式
hive 方式二：通过Beeline客户端连接HiveServer2 普通集群 beeline-u jdbc:hive2:/<主节点的节点名称>:10000 根据您的集群类型，对应命令如下：DataLake集群 beeline-u jdbc:hive2:/master-1-1:10000 Hadoop集群 beeline-u jdbc:hive2:/emr...
连接Kyuubi
kyuubi-beeline-n user1-u"jdbc:hive2:/master-1-1:10009/"-f query1.sql 使用JDBC Driver连接Kyuubi 以下为您介绍Java应用如何使用Hive提供的JDBC Driver连接Kyuubi。代码示例以Maven工程举例。Maven依赖 在Maven工程中加入如下依赖。...
迁移服务（MMA）
mma-udtf-hive1.jar mma-udtf-hive2.jar mma-udtf-hive3.jar 执行以下命令，上传UDTF jar至HDFS。本文以 mma-udtf-hive2.jar 为例。hdfs dfs-put-f mma-udtf-hive2.jar hdfs:/tmp/使⽤Beeline或Hive命令登录Hive，创建Hive UDTF。DROP ...
管理Hive Catalog
对于Hive 2.2.x、2.3.x、3.1.x版本，hive-version需要分别指定为2.2.0、2.3.6、3.1.2。hive-conf-dir 存放Hive配置文件的目录。您需要提前手动创建hive-conf-dir的目录，详情请参见 配置Hive元数据。hadoop-conf-dir 存放Hadoop依赖的目录...
Kyuubi计算引擎管理
kyuubi-beeline-n user1 \-u"jdbc:hive2:/master-1-1:10009/tpcds_parquet_1000"\-f query1.sql 如果新用户user2需要指定Spark引擎使用的资源量，可以有以下两种方式：方式一：在JDBC URL中设置Spark Application Executor等资源#Set User ...
Hive数据源
注意事项 支持Hive1、Hive2、Hive3版本。支持Managed Table和External Table，支持部分Hive View。支持识别Hive Metastore中存储的Hive、Iceberg、Hudi元数据。创建Catalog Hive On HDFS CREATE CATALOG hive PROPERTIES('type'='hms','...
访问Hive数据源
（条件必选）如果服务端Hive版本低于Hive 2.3，且出现Hive版本不兼容时，请登录集群的Master节点，在/opt/apps/HIVE/hive-current/lib 路径中，下载所有的Jar包。如何登录集群的Master节点，请参见 登录集群。编写访问Hive的示例程序（即...
HiveServer2负载均衡
beeline-u 'jdbc:hive2:/master-1-1:2181,master-1-2:2181,master-1-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2' 说明 代码中的 master-1-1:2181,master-1-2:2181,master-1-3:2181 为您获取到的Zookeeper的...
Hive元数据说明
本文为您介绍E-MapReduce（简称EMR）支持的元数据类型...在Hive服务页面，修改参数 hive.imetastoreclient.factory.class 的值为 com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory修改配置项的具体操作请参见 修改组件参数。
JDBC开发实践
pip install JayDeBeApi 编写Python程序代码访问JDBC服务，代码示例如下：import jaydebeapi driver='org.apache.hive.jdbc.HiveDriver' endpoint='jdbc:hive2:/123.234.XX.XX:10009/;token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8*' jarPath='...
Dataphin自定义组件创建Hive自定义数据源，集成任务...
问题描述 本文主要描述了Dataphin自定义组件创建Hive自定义数据源，集成任务执行的时候报错连接数据库失败的解决方法。问题原因 数据源的链接地址格式不正确...解决方案 正确格式如下：jdbc:hive2:/{ip}:{port}/{db} 适用于 Dataphin v2.9.4.5
新建Paimon数据源
版本 选择Paimon数据源的来源版本，支持 EMR3.x Hive 2.3.5、EMR5.x Hive 3.1.x、CDH6.x Hive 2.1.1、CDP7.x Hive 3.1.3、亚信DP5.x Hive 3.1.0。数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Presto 支持 不支持 Hive2 不支持 支持 使用限制 不支持Binary类型。不支持分区列存储在文件中的分区表。不支持EMR 5.X及后续版本的EMR集群。不支持代码spark.read.schema（userDefinedSchema），...
数据源Hive
使用限制 支持Apache hive 2.0.1到2.3.3版本。操作步骤 登录 Quick BI控制台。按照下述步骤添加数据源。从 创建数据源入口 进入创建数据源界面。单击 显示更多。选择Hive数据源。在 配置连接 对话框，完成以下配置。名称 描述 显示名称 ...
使用Kerberos认证
方式一：直接使用 hive 命令访问Hive Client hive 方式二：使用Beeline访问Hive Client beeline-u"jdbc:hive2:/master-1-1:10000/;principal=hive/_HOST@EMR"相关文档 创建Principal的官方文档，请参见 Database administration。创建TGT的...
EMR-3.46.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData 4.6.5 Flume 1.9.0 ...
Hive访问Iceberg数据
Logging initialized using configuration in file:/etc/ecm/hive-conf-2.3.5-2.0.3/hive-log4j2.properties Async:true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions.Consider using a different...
常用文件路径
JINDOTABLE_EXTRA_CLASSPATH=opt/apps/METASTORE/metastore-current/hive2 HIVE_HOME=opt/apps/HIVE/hive-current HIVE_LOG_DIR=var/log/taihao-apps/hive HIVE_CONF_DIR=etc/taihao-apps/hive-conf PATH=opt/apps/JINDOSDK/jindosdk-...
DLF+EMR之统一权限最佳实践
登录EMR集群，使用dlf_data_admin连接Hive，执行HiveSQL beeline-u jdbc:hive2:/<主节点的节点名称>:10000-n dlf_data_admin select*from db_a.table1;select*from db_b.table1;上述SQL可以查询成功，该用户dlf_data_admin同时具备了所有...
EMR-3.36.x版本说明
发行版本信息 Hadoop集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.8 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData EMR-3.37.0版本：3.7.0 EMR-3.37.1版本：3.7.1 Bigboot Hudi 0.8.0 DeltaLake 0.6.1 ...
Hive数据迁移
格式为 jdbc:hive2:/localhost:10000/default。hive jdbc user name Hive JDBC的用户名，必填。hive jdbc password Hive JDBC的密码，可选。hive metastore是否开启了kerberos认证 若开启，则需要填写下⾯kerberos的相关配置。kerberos ...
EMR发行版本服务差异
EMR-4.x系列从EMR-4.10.1之后停止发布新版本，如果您希望使用Hive 2.x配合Spark 3.x，请使用EMR-3.x系列的EMR-3.42.0及之后版本。下表为您介绍EMR各发行版本之间的服务差异。具体各版本支持服务详情请参见各系列下的版本说明。服务 EMR-3....
EMR-3.48.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
EMR-3.24.x版本说明
Hive2.3.5+Hadoop2.8.5组合发布。重启组件时不同步 hiveserver2-site.xml 中的内容至spark-conf下的 hive-site.xml。支持使用MSCK命令添加增量目录。修复Hive复用tez container时出现的bug。支持使用MSCK命令优化列目录。Bigboot 升级至2.2...
EMR-3.49.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 YARN 2.8.5 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 Flume 1.9.0 Kyuubi 1.7.1 Tez 0.10.2 ...
创建Hadoop计算源
开启Kerberos的连接地址，格式为 jdbc:hive2:/{连接地址}:{端口}/{数据库名称};principal=hive/_HOST@xx.com 。认证方式 支持 无认证、LDAP 和 Kerberos 认证方式。无认证：无认证方式需填写Hive服务的用户名。LDAP：LDAP认证方式需填写...
使用E-Mapreduce访问
[hadoop@emr-worker-2~]$hive Logging initialized using configuration in file:/etc/ecm/hive-conf-2.3.5-1.2.0/hive-log4j2.properties Async:true Hive-on-MR is deprecated in Hive 2 and may not be available in the future ...
EMR-3.44.x版本说明
发行版本信息 DataLake集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.1.0 Hudi 0.12.0 Iceberg 0.14.1 JindoData 4.6.2 Kyuubi 1.6.0 RSS 0.1.4 Knox 1.5.0 Kudu 1.14.0 ...
SQL与Catalog报错问题
otherwise you should config the dlf.catalog.accessKeyId and dlf.catalog.accessKeySecret explicitly.)at com.aliyun.datalake.metastore.hive2.ProxyMetaStoreClient.createClient(ProxyMetaStoreClient.java:91)at ...
DLF-Auth
beeline-u jdbc:hive2:/master-1-1:10000-n<user>-p说明和为 步骤二：添加RAM用户 中您设置的用户名和密码。查看已有数据表信息。例如，执行以下命令，查看test表信息。testdb.test 请根据您实际信息修改。select*from testdb.test;因为...
EMR-3.51.x版本说明
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 Hive 2.3.9 Spark2 2.4.8 Spark3 3.4.2 YARN 2.8.5 Trino 422 DeltaLake 3.0.0 Hudi 0.14.0 Iceberg 1.5.0 Flume 1.11.0 Kyuubi 1.7.3 Tez 0.10.2 ...
Hive支持的DDL语句
data_type:primitive_type|array_type|map_type|struct_type|union_type-(Note:Available in Hive 0.7.0 and later)primitive_type:TINYINT|SMALLINT|INT|BIGINT|BOOLEAN|FLOAT|DOUBLE|DOUBLE PRECISION-(Note:Available in Hive 2.2.0 and...
创建TDH Inceptor数据源
Inceptor配置 JDBC URL 配置连接Inceptor的JDBC URL，格式为 jdbc:hive2/host:port/dbname。认证方式 如果Inceptor集群无需认证，则选择 无认证；如果Inceptor集群需要认证，Dataphin支持选择 LDAP 或 Kerberos，您可以根据实际情况选择，...
EMR-5.4.x版本说明
统一Hive 2和Hive 3的delta-connectors。修复了delta-connectors查询多级分区表时的报错问题。支持多个功能的SQL语法。例如，DataSkipping、Optimize和Zorder。支持同步Meta到MetaStore。Hudi 升级Hudi至0.9.0版本。修复了DeltaLake和Hudi...
- 产品推荐
- 这些文档可能帮助您