问答 2022-11-27 来自:开发者社区

flink刚启动时通过sql创建任务时数据能复制到es,然后mongo里的数据就没了,再添加es也不

flink刚启动时通过sql创建任务时数据能复制到es,然后mongo里的数据就没了,再添加es也不同步cdc模拟一个mongo节点,是不是应该通过rs.status能查以呢?我查着还是一个主节点,没有子节点,是不是监听有问题啊

问答 2022-11-22 来自:开发者社区

flink任务每次重启的时候会丢失一些数据,请问大家有遇到过吗?设置了exactly - once,

flink任务每次重启的时候会丢失一些数据,请问大家有遇到过吗?设置了exactly - once,跟我杀死job的时候和重启没有用savepoint,有关系吗?

问答 2022-11-22 来自:开发者社区

请教大家个问题,flink 增量checkpoint, 如果是yarn per-job模式起任务,任

请教大家个问题,flink 增量checkpoint, 如果是yarn per-job模式起任务,任务挂掉了,后面手动指定上一次checkpoint启动任务 ,state是完整的吗?我理解的是增量 checkpoint 仅包含上次 checkpoint 和本次 checkpoint 之间状态的差异,手动指定的只是这个差异部分,并不是完整的checkpoint,是吗?

问答 2022-11-20 来自:开发者社区

flink任务每次重启的时候会丢失一些数据,请问大家有遇到过吗?

flink任务每次重启的时候会丢失一些数据,请问大家有遇到过吗?

文章 2022-11-18 来自:开发者社区

flink实时计算任务一段时间后没有数据

问题背景任务开始运行符合预期,任务运行1.5天后无法在结果表找到后续的数据分析过程1.查看日志确定任务堆栈无异常打印2.使用print表进行测试数据是未进入flink还是在flink中丢失,异常发生时print表的日志正常打印,结果表无数据3.任务数据丢失的时间都很规律,都是运行到一个固定时间后续的数据丢失,调整ttl时间确定是否时ttl时间到导致状态被清楚4.调大后发现确实同丢失的数据确实是t....

flink实时计算任务一段时间后没有数据
问答 2022-11-13 来自:开发者社区

flink cdc(mysql) -> elasticsearch7, 任务每次持续跑了一段时间之后

flink cdc(mysql) -> elasticsearch7, 任务每次持续跑了一段时间之后(elasticsearch connection reset by peer),就自动结束了,请问一下是啥原因呀?2022-11-10 01:04:53,976 ERROR org....

问答 2022-11-13 来自:开发者社区

有人知道,这个在任务提交到flink集群的时候怎么做么?

有人知道,这个在任务提交到flink集群的时候怎么做么?

问答 2022-11-10 来自:开发者社区

提交flink任务的机器上是时间是UTC时间 为啥提交jar包之后 在flink web ui 显

提交flink任务的机器上是时间是UTC时间 为啥提交jar包之后 在flink web ui 显示的是北京时间呢?有大佬能说下原因吗?

问答 2022-10-30 来自:开发者社区

你们公司项目中flink任务取消检查点也是使用这个策略吗?

是使用delete还是retain呢

问答 2022-10-27 来自:开发者社区

flink任务取消产生的hdfs中间状态文件怎么解决呢?哪位大佬知道啊?任务取消计算结果落到hdfs

flink任务取消产生的hdfs中间状态文件怎么解决呢?哪位大佬知道啊?任务取消计算结果落到hdfs,但检查点没有滚动完成,这样就会有一些最后的中间状态文件,这些中间状态文件里面还存在有效数据,这怎么解决呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注