问答 2018-11-28 来自:开发者社区

Apache Flink:运营商状态检查点

"我想使用Operator State APIin No-Keyed Stream来保存count下面示例中的状态。我该怎么办? public static class MapFunction implements MapFunction,CheckpointedFunction{ int count = 0; @Override public String map(String value) ....

问答 2018-11-28 来自:开发者社区

" 清除DataStream中的Flink水印状态"

"是否可以清除DataStream中的当前水印?一个月长水印的示例输入,没有允许延迟:[ {timestamp:'10 / 2018'}, {时间戳:'11 / 2018'}, {timestamp:'11 / 2018',clearState:true}, {timestamp:'9/2018'}]通常情况下,'9/2018'记录会因为迟到而被抛弃。有没有办法在看到clearState...

问答 2018-11-23 来自:开发者社区

我发现flink会先取到之前计算的状态,然后计算新的状态, 但是之前的结果状态同样会进sink函数插一次库, 怎样才能避免中间状态的入库啊

我发现flink会先取到之前计算的状态,然后计算新的状态, 但是之前的结果状态同样会进sink函数插一次库, 怎样才能避免中间状态的入库啊

问答 2018-11-15 来自:开发者社区

【Flink】DataHub中Shard在只读状态下可以被读取数据么?

问题场景DataHub中Shard在只读状态下可以被读取数据么?

文章 2018-11-14 来自:开发者社区

Flink状态管理和容错机制介绍

本文主要内容如下: 有状态的流数据处理; Flink中的状态接口; 状态管理和容错机制实现; 阿里相关工作介绍; 一.有状态的流数据处理# 1.1.什么是有状态的计算# 计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。 比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的...

问答 2018-10-30 来自:开发者社区

flink sql 从savepoint启动恢复程序状态

flink sql 从savepoint启动恢复程序状态,反序列化后,程序的数据有问题,flink sql写的程序如何从savepoint 启动

问答 2018-10-24 来自:开发者社区

请问下各位大佬,在Flink里面频繁出现Checkpoint expired before completing的错误,状态本身并不大,看了一下Checkpoint确认的进度56/64 (88%),还有几个不知道什么原因迟迟收不到Acknowledge。请问下出现这种现象是什么原因?

转自钉钉群21789141:请问下各位大佬,在Flink里面频繁出现Checkpoint expired before completing的错误,状态本身并不大,看了一下Checkpoint确认的进度56/64 (88%),还有几个不知道什么原因迟迟收不到Acknowledge。请问下出现这种现象是什么原因?

文章 2017-10-19 来自:开发者社区

Flink原理与实现:详解Flink中的状态管理

Flink原理与实现系列文章 : Flink 原理与实现:架构和拓扑概览Flink 原理与实现:如何生成 StreamGraphFlink 原理与实现:如何生成 JobGraphFlink原理与实现:如何生成ExecutionGraph及物理执行图Flink原理与实现:Operator Chain原理 上面Flink原理与实现的文章中,有引用word count的例子,但是都没有包含状态管理。也....

Flink原理与实现:详解Flink中的状态管理

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注