问答 2024-06-16 来自:开发者社区

在Flink CDC中这种方式必须是hive的用户创建的表,创建的hdfs文件才能挂载没有其他方法?

在Flink CDC中hive创建内部表,从MySQL通过datax采集数据,到hdfs,发现数据和表映射不上,路径文件我都是配置好的,只能通过load data inpath 这种方式才能将数据挂在表下面,而且这种方式必须是hive的用户创建的表,创建的hdfs文件,才能挂载,没有别的方式吗?

问答 2024-04-15 来自:开发者社区

flink cdc写hdfs文件的时候,如果开启文件合并的话,最终的文件不能通过hive映射读取吗?

flink cdc写hdfs文件的时候,文件格式设置为parquet,压缩方式为GZIP,存在一个问题,如果开启文件合并的话,最终的文件不能通过hive映射读取,如果不开启的话,可以正常读取,这个怎么解决啊?

Hadoop 分布式文件系统 HDFS

43 课时 |
1099 人已学 |
免费
开发者课程背景图
问答 2024-02-06 来自:开发者社区

flink cdc可以时间监控hdfs的文件变化吗 ?

flink cdc可以时间监控hdfs的文件变化吗 我们spark 分析完 一般直接落到hdfs 上 这种如快速 捕获 hdfs 某个文件的某条数据的变化吗?

问答 2024-01-24 来自:开发者社区

Flink CDC里写数据到hdfs的hudi表,为什么看不到数据文件啊?

Flink CDC里写数据到hdfs的hudi表,为什么看不到数据文件啊?hudi写数据前需要建表吗?算子页面上都是0%,下面字节传输和接受是有值的,这是什么原因啊?

问答 2023-11-22 来自:开发者社区

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

问答 2023-11-22 来自:开发者社区

Flink CDC的增量同步,有没有要求一定要有HDFS?

Flink CDC的增量同步,有没有要求一定要有HDFS?也就是一定要有这样一个分布式的文件系统,对吧?

文章 2023-11-16 来自:开发者社区

Flink CDC有用iceberg写hdfs的吗?

是的,Flink CDC可以将数据写入Iceberg表中。这需要使用Flink的Table/SQL API,并安装相关的Iceberg connector。以下是一个简单的示例,展示了如何将Flink DataStream写入Iceberg表: env.createTemporaryView("input", dataStr...

问答 2023-11-16 来自:开发者社区

Flink CDC有用iceberg写hdfs的吗?

Flink CDC有用iceberg写hdfs的吗?

问答 2023-11-06 来自:开发者社区

Flink CDC支持写入hdfs吗?

Flink CDC支持写入hdfs吗?我在官方文档上没有看到hdfs connector

问答 2023-10-18 来自:开发者社区

Flink CDC这两个hdfs block怎么理解?

Flink CDC这两个hdfs block怎么理解?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。