问答 2019-02-14 来自:开发者社区

flink 有timewindow 还有 countwindow 是否可以自定义实现 countTimeWindow 如果先满足count 就出发 不然就出发时间window

转自钉钉群21789141:flink 有timewindow 还有 countwindow 是否可以自定义实现 countTimeWindow 如果先满足count 就出发 不然就出发时间window

问答 2018-12-14 来自:开发者社区

Apache Flink:自定义触发器意外行为

Apache Flink:自定义触发器意外行为我有一个DataStream,它由一个事件组成,该事件具有一个表示一批生成元素的属性。该属性,我们称之为'batchNumber',在我从同一生产批次中摄取的每个事件中都是恒定的。我每批收到多个事件。 我想在'batchNumber'更改时分析批处理中的机器性能。我的方法是使用全局流并使用'batchNumber'作为密钥对其进行分区。我希望这会将全....

问答 2018-12-06 来自:开发者社区

在AWS EMR中部署Flink自定义JAR文件时出错

基本上我想将Flink自定义JAR文件部署到新的AWS EMR集群。以下是我所做的总结。我创建了一个新的AWS EMR集群。第1步:软件和步骤更改 -使用flink作为服务创建AWS EMR集群。(EMR发布版本 - 5.17.0)并单击Flink 1.5.2作为软件配置。输入配置JSON: -[{“Classification”:“flink-conf”,“Properties”:{“jobm....

问答 2018-11-28 来自:开发者社区

在Apache Flink中将自定义类写入HDFS

"在开始使用Spark之后,我试图熟悉Flink的语义。我想DataSet[IndexNode]在HDFS中写一个持久存储,以便以后可以通过另一个进程读取它。Spark有一个ObjectFile提供这种功能的简单API,但我在Flink中找不到类似的选项。case class IndexNode(vec: Vector[IndexNode], id: Int) e...

问答 2018-11-22 来自:开发者社区

Flink的State使用时。如果应用在更新时,修改了POJO类,或者算子之间传递的POJO发生变更,需要怎样去迁移呢?只能通过自定义其他的序列化方式么?

Flink的State使用时。如果应用在更新时,修改了POJO类,或者算子之间传递的POJO发生变更,需要怎样去迁移呢?只能通过自定义其他的序列化方式么?

问答 2018-10-10 来自:开发者社区

我们想把业务处理做成插件,然后每个job的main都是一个,通过动态load业务自定义jar,但flink这种结构做起来很麻烦,我不得不写了个重新打包的功能,你们blink是怎么实现这个功能的?

转自钉钉群21789141:我们想把业务处理做成插件,然后每个job的main都是一个,通过动态load业务自定义jar,但flink这种结构做起来很麻烦,我不得不写了个重新打包的功能,你们blink是怎么实现这个功能的?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注