问答 2021-12-06 来自:开发者社区

flink 1.11 使用sql写入hdfs无法自动提交分区

我在用flink 1.11 的sql从kafka消费然后写入hdfs的过程中,发现没法自动提交分区,请问这个是什么原因呢?谢谢 我的checkpoint设置了间隔10s,对于如下的配置,正常应该是每隔10在hdfs相应的分区下会有_SUCCESS文件,但是实际上过了好久也没有,ORC格式的结果数据是正常写入了。 public static void main(String[] args) t...

问答 2021-12-05 来自:开发者社区

flink sql 写hdfs问题,如何解决?

flink.version=1.12.0 Create table t1( a varchar )with ( connector=kafka format=json ) Create table t2( a varchar )with ( connector=filesystem format=csv ) SQL: Insert into t2 select a from t1 发送: ...

文章 2020-09-14 来自:开发者社区

使用DLA SQL(兼容Presto) CU版分析HDFS数据

$stringUtil.substring( $!{XssContent1.description},200)...

使用DLA SQL(兼容Presto) CU版分析HDFS数据
文章 2019-04-12 来自:开发者社区

基于Spark SQL实现对HDFS操作的实时监控报警

$stringUtil.substring( $!{XssContent1.description},200)...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。