flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存怎么处理?
最近刚刚尝试使用flink 1.9.1 的RocksDB做增量checkpoints; 在程序种设置: val backend = new RocksDBStateBackend("hdfs://xx/", true) backend.setPredefinedOptions(PredefinedOptions.SPINNING_DISK_OPTIMIZED_HIGH_MEM) 并用Map...
flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存
这面还想多请教一下: 我程序中每来一条数据都会去读MapState然后覆盖写入新的时间戳,刚刚发现某一条数据读出了两条一样的时间戳,我推断是第一个线程读出来后还没等覆盖掉,第二个线程又读了一遍,导致出现两条一样的时间戳; 所以想请问flink中MapState是线程安全的吗? *来自志愿者整理的flink邮件归档
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。