问答 2021-12-09 来自:开发者社区

Flink怎么维护Checkpoint?在HDFS上存储的话会有小文件吗?

Flink怎么维护Checkpoint?在HDFS上存储的话会有小文件吗?

问答 2021-12-08 来自:开发者社区

如何修改checkpoint生成的_metadata文件中的hdfs路径?

由于checkpoint生成的 _metadata中存的hdfs路径是绝对路径,我目前想要迁移到另外一个集群中,想修改这个_metadata文件的数据,请问如何进行修改,有哪些可以参考的?*来自志愿者整理的flink邮件归档

问答 2021-12-02 来自:开发者社区

【checkpoint】请问一下flink 支持把checkpoint 输出到外部的hdfs 吗?

如题所述,辛苦回答下,感谢!*来自志愿者整理的flink邮件归档

问答 2020-05-15 来自:开发者社区

我在本地运行demo,里面的checkpoint是hdfs的,hdfs用names #Flink

我在本地运行demo,里面的checkpoint是hdfs的,hdfs用nameservice,会报找不到unknowhost,我需要怎么做做才能在我本地idea里面不报这个错呢? #Flink

问答 2019-12-23 来自:开发者社区

checkpoint为啥不放hdfs上?

checkpoint为啥不放hdfs上? 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

问答 2019-03-28 来自:开发者社区

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

问答 2019-01-30 来自:开发者社区

使用spark 2.3 structed streaming 时 checkpoint 频繁在HDFS写小文件,块数到达百万级别 ,这个怎么优化下

请教各位大神们: 使用spark 2.3 structed streaming 时 checkpoint 频繁在HDFS写小文件,块数到达千万级别 ,这个怎么优化下

问答 2019-01-22 来自:开发者社区

flinkstream的checkpoint是要同步到hdfs中的,如果没有hdfs是不是会导致无法checkpoint?

转自钉钉群21789141:flinkstream的checkpoint是要同步到hdfs中的,如果没有hdfs是不是会导致无法checkpoint?

问答 2018-11-09 来自:开发者社区

flink将checkpoint写入到hdfs中七天之后token过期

使用flink进行实时计算的时候 将checkpoint写入到hdfs中,只要是超过七天之后token自动过期 checkpoint执行不成功,但是程序正常运行,数据没有报错,就是token正常过期 我们在yarn里面配置了自动续期,但是不生效,有遇到这种问题的?请赐教;报错信息如下:2018-11-09 14:06:31,421 WARN org.apache.hadoop.ipc.Clie.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注