问答 2018-11-19 来自:开发者社区

flink state.backend是rocksdb,存储在hdfs上,经常遇到checkpoint执行不成功的情况 checkpoint超时过期的原因(设置checkpoint超时为60s)

flink程序在yarn上执行 kafka source topic分区为20 设置程序并行度为10,-yn 2 -ys 5 -ytm 26600 -yjm 5120,我看到网上有说是因为程序并行度太高导致打开的文件数太多,从而导致的在hdfs创建文件不成功,但是我的并行度设置的并不高啊,有知道原因的吗?请赐教 具体报错如下:AsynchronousException{java.lang.Exc....

问答 2018-11-09 来自:开发者社区

flink将checkpoint写入到hdfs中七天之后token过期

使用flink进行实时计算的时候 将checkpoint写入到hdfs中,只要是超过七天之后token自动过期 checkpoint执行不成功,但是程序正常运行,数据没有报错,就是token正常过期 我们在yarn里面配置了自动续期,但是不生效,有遇到这种问题的?请赐教;报错信息如下:2018-11-09 14:06:31,421 WARN org.apache.hadoop.ipc.Clie.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注