问答 2024-07-31 来自:开发者社区

flink cdc写入hudi的用hive管理元数据的表,这个是什么问题呢?

flink cdc写入hudi的用hive管理元数据的表,现在发现hudi表数据写入成功了,但是没有把分区信息同步到hive,在hive中查询不出来,这个是什么问题呢?

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取

问题一:Flink CDC这个应该在哪里配? Flink CDC这个应该在哪里配?mysql 的超时我已经改成30s了 参考答案: 要么找DBA改一下,要么自己去看有没有参数改,我们是10分钟,有的...

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
文章 2024-03-12 来自:开发者社区

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

1. 测试过程环境版本说明 Flink1.13.1 Scala2.11 CDH6.2.0 Hadoop3.0.0 Hive2.1.1 Hudi0.10(master) PrestoDB0.256 Mysql5.7 2. 集群服务器基础环境 2.1 Maven和JDK环境版本 ...

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
文章 2024-03-12 来自:开发者社区

Apache Hudi与Hive集成手册

1. Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS数据,可以通过Spark,Flink 组件或者Hudi客户端将Hudi表的数据映射为Hive外部表,基于该外部表, Hive可以方便的进行实时视图,读优化视图以及增量视图的查询。 2. Hive对Hudi的集成 这里以Hive3.1.1、 Hudi 0.9.0为例, 其他版本类似 •将hudi-...

问答 2024-03-05 来自:开发者社区

Flink CDC同步到hudi 可以直接读取hudi 的数据吗 例如用hive 或者spark?

Flink CDC同步到hudi 可以直接读取hudi 的数据吗 例如用hive 或者spark?

问答 2023-11-22 来自:开发者社区

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

问答 2023-09-10 来自:开发者社区

DataWorks中hudi实时同步数据到hive,查询失败怎么办?

DataWorks中hudi实时同步数据到hive,查询失败怎么办?

问答 2023-08-28 来自:开发者社区

Flink CDC中碰到过sink hudi 同步hive失败吗?

有老铁Flink CDC中碰到过sink hudi 同步hive失败吗 看不到hive 表 但是手动映射hudi文件 又能成功 sync和mr包都放了?

问答 2023-08-22 来自:开发者社区

请问一下使用flinkcdc将hudi数据同步到hive,关于timestamp数据类型有什么办法?

请问一下使用flinkcdc将hudi数据同步到hive,关于timestamp数据类型有什么办法不转成long类型的方法么?

问答 2023-08-09 来自:开发者社区

Flink CDC中这个如何解决?cdc同步到hudi再同步到hive查询时间戳类型字段报错。

$stringUtil.substring( $!{XssContent1.description},200)...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。