问答 2023-01-16 来自:开发者社区

Flink为啥chk会影响写入hive的啊,不应该是事件时间和水印在影响吗?

Flink的chk是每秒产生的,因为我的需求是kafka实时写入hive,需要chk调整为1秒,不然达不到实时了, 有时候我就在好奇为啥chk会影响写入hive的啊,不应该是事件时间和水印在影响吗

问答 2022-02-15 来自:开发者社区

flink-1.11 DDL 设置chk目录问题

目前我只会设置streameEnv.setStateBackend(new FsStateBackend(checkpointPath)); 但是DDL时候应该如何设置呢? tableEnv.getConfig().getConfiguration().set( ExecutionCheckpointingOptions.CHECKPOINTING_MODE, CheckpointingM...

问答 2021-12-07 来自:开发者社区

flink 1.11.0 chk超时

http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20201105165123.jpg http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20201105165200.jpg chk的历史如图,第三个subtask....

问答 2021-12-03 来自:开发者社区

flink CheckPoint 状态下,每次chk的数据保存在哪里了?

我写了一个带状态的function 采用了如下cp配置: env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConfig().setMinPauseBetweenCheckpoints(100L); env.getCheckpointConfig().setCheckpointTime....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注