问答 2024-08-07 来自:开发者社区

在你们的湖仓一体架构中,Iceberg是如何与Hive和HDFS集成的?

在你们的湖仓一体架构中,Iceberg是如何与Hive和HDFS集成的?

问答 2024-06-16 来自:开发者社区

在Flink CDC中这种方式必须是hive的用户创建的表,创建的hdfs文件才能挂载没有其他方法?

在Flink CDC中hive创建内部表,从MySQL通过datax采集数据,到hdfs,发现数据和表映射不上,路径文件我都是配置好的,只能通过load data inpath 这种方式才能将数据挂在表下面,而且这种方式必须是hive的用户创建的表,创建的hdfs文件,才能挂载,没有别的方式吗?

文章 2024-05-26 来自:开发者社区

Hive 和 HDFS、MySQL 之间的关系

@[toc] Hive、MySQL 和 HDFS 是三个不同的数据存储和处理系统,它们在大数据生态系统中扮演不同的角色,但可以协同工作以支持数据管理和分析任务。 Hive Hive 是一个基于 Hadoop 生态系统的数据仓库工具,用于管理和查询大规模数据集。它提供了一种类似于 SQL 的查询语言(HiveQL)&#x...

文章 2024-04-16 来自:开发者社区

Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】

why 【为了测试CLI和Beeline命令行工具,这里先创建一个数据库和表并导入一些数据】 1. 创建数据库 # 创建数据库 hive> CREATE DATABASE IF NOT EXISTS hive_test > COMMENT 'hive database for test' > LOCATION '/tmp/hive/test' &g...

Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
阿里云文档 2024-03-27

AnalyticDB PostgreSQL读写HDFS、Hive或MySQL外部数据

若您需要通过AnalyticDB PostgreSQL版访问外部异构数据源(HDFS、Hive和JDBC)时,可以使用异构数据源访问功能将外部数据转换为AnalyticDB PostgreSQL版数据库优化后的格式进行查询和分析。

文章 2024-01-18 来自:开发者社区

HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept

说明:突然重启电脑后,重新开启hadoop,启动hive,出现以下错误:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMo deException): Cannot create directory /tmp/hive/root...

阿里云文档 2024-01-12

使用JindoTableMoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务

本文介绍如何使用JindoTable MoveTo命令将Hive表和分区数据迁移至OSS-HDFS服务。

文章 2023-10-09 来自:开发者社区

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复前言大家好,我是明哥!本片博文是“大数据问题排查系列”之一,讲述某HIVE SQL 作业因为 HIVE 中的元数据与 HDFS中实际的数据不一致引起的一个问题的排查和修复。以下是正文。问题现象客户端报错如下:Unable to move source x...

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复
文章 2023-10-09 来自:开发者社区

浅析 hive udf 的正确编写和使用方式- 论姿势的重要性 - 系列三 - hdfs 相对路径与静态代码块引起的问题

前言大家好,我是明哥。HIVE 作为大数据生态的数仓解决方案,因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑,HIVE SQL 往往比较难以表达,此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式,是大数据从业人员必不可少的一项技能。关于HIVE U...

浅析 hive udf 的正确编写和使用方式- 论姿势的重要性 - 系列三 - hdfs 相对路径与静态代码块引起的问题
问答 2023-09-13 来自:开发者社区

为啥我的Flink写到Hive 看 HDFS 上面是有文件的,但是Hive 查不出来?

为啥我的Flink写到Hive 看 HDFS 上面是有文件的,但是Hive 查不出来?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。