问答 2025-04-11 来自:开发者社区

flink中checkpoint、io_tmp、rocksdb目录下会产生非常多的hardlink

1.flink中checkpoint、io_tmp、rocksdb目录下会产生非常多的hardlink引用,会有什么影响吗?2.io_tmp文件占用空间随时间越久会越占越大,有自动清理文件释放空间的机制吗?

问答 2024-08-12 来自:开发者社区

在Flink CDC中,这个flink老是会产生,这个目录下的日志文件没滚动删除,咋个配置目录转移?

在Flink CDC中,这个flink老是会产生,这个目录下的日志文件没滚动删除,咋个配置目录转移?

问答 2024-07-15 来自:开发者社区

Flink报错:是不是必须要指向HDFS的目录?

Flink报错:The "yarn.provided.lib.dirs" should only contain dirs accessible from all worker nodes, while the "file:/etlApp/etl-dw-flink/lib/*" is local,是不是必须要指向HDFS的目录

问答 2024-07-15 来自:开发者社区

Flink任务的jar包打的是最小包,如何指定这个本地磁盘lib目录,能有效加载这些依赖包呢?

Flink任务的jar包打的是最小包,maven依赖的其他包在本地磁盘lib目录,flink启动脚本,在yarn上运行,如何指定这个本地磁盘lib目录,能有效加载这些依赖包呢?

文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之如何避免任务取消之后,检查点目录直接被删除

问题一:我用flinkcdc做update和delete的时候目标库要等10分钟左右才变更,为什么会这么慢? 我用flinkcdc做update和delete的时候目标库要等10分钟左右才会变更,为什么会这么慢啊?跟checkpoint有关系吗? 参考答案: 看看是业务延迟了吗,如果不是,看下checkpoint多久一次,多久一次才做成功。配Oracl...

实时计算 Flink版产品使用问题之如何避免任务取消之后,检查点目录直接被删除
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之把hdfs集群里的core-site.xml hdfs.xml两个文件放到flink/conf/目录下,启动集群说找不到hdfs,该如何解决

问题一:有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗? 有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗? 参考答案: 可以,没影响 关于本问题的更多回答可点击进行查看: https://developer.aliyun....

文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之独立集群与hdfs集群不在一起,何配置checkpoint目录为hdfs

问题一:Flink独立集群与hdfs集群不在一起,flink如何配置checkpoint目录为hdfs? Flink独立集群与hdfs集群不在一起,flink如何配置checkpoint目录为hdfs? 参考答案: state.checkpoints.dir: hdfs://namenode-host:port/path/to/checkpoints ...

实时计算 Flink版产品使用问题之独立集群与hdfs集群不在一起,何配置checkpoint目录为hdfs
问答 2024-06-12 来自:开发者社区

在Flink CDC中这里有检查点的目录,为啥Linux 服务器上没有这个日志?

在Flink CDC中这里有检查点的目录,为啥Linux 服务器上没有这个日志?请参考图片:

问答 2024-05-14 来自:开发者社区

用flinkSQL请问这是不是在flink/lib目录下缺少了相关的mysql连接包?

用flinkSQL创建MySQL外表时报了个错,请问这是不是在flink/lib目录下缺少了相关的mysql连接包?想问下具体是咋解决这样的问题呢?

问答 2024-04-22 来自:开发者社区

flink cdc这个配置 io.tmp.dirs 的目录怎么越来越大,怎么设置它的大小啊?

flink cdc这个配置 io.tmp.dirs 的目录怎么越来越大,直接把目录占满了,怎么设置下他的大小或者清理策略啊?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注