Flink / Scala - java.lang.NumberFormatException: Not a version: 9
一.引言Flink V1.13.1 + Scala 2.11.8 提交任务后，报错 Caused by: org.apache.flink.shaded.guava18.com.google.common.util.concurrent.UncheckedExecutionException: java.lang.NumberFormatException: Not a versio....
Flink / Scala - 使用 CountWindow 实现按条数触发窗口
一.引言CountWindow 数量窗口分为滑动窗口与滚动窗口，类似于之前 TimeWindow 的滚动时间与滑动时间，这里滚动窗口不存在元素重复而滑动窗口存在元素重复的情况，下面 demo 场景为非重复场景，所以将采用滚动窗口。二.CountWindow 简介编辑这里最关键的一句话是: A Window that represents a count window. For each coun....
Flink - 读取 Parquet 文件 By Scala / Java
一.引言parquet 文件常见与 Flink、Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面介绍 Flink 场景下如何读取 Parquet。Parquet 相关知识可以参考：Spark - 一文搞懂 parquet。编辑二.Parquet Read By Scala1.依赖准备与环境初始化import ....
Flink / Scala - 使用 RedisSink 存储数据
一.引言现在有一批流数据想要存储到 Redis 中，离线可以使用 Spark + foreach 搞定，由于是多流 join 且带状态，所以 SparkStreaming + foreach 也无法实现，而 Flink 不支持 foreach 操作触发 execute，这里采用 RedisSink 代替实现 foreach 逻辑。二.RedisSink 简介1.源码浅析编辑RedisSink 和....
flink 1.12使用state process api，keyBy 一个scala元组，在sna
flink 1.12使用state process api，keyBy 一个scala元组，在snapshot时key的序列化器为ScalaCaseClassSerializer，读的时候就用kryo作为key的Serializer，这个怎么绕过去呢？flink这算不算一个bug哦
Apache Flink中的flink-table-api-scala-bridge是什么？
Apache Flink中的flink-table-api-scala-bridge是什么？
flink 1.13.2 在 Java/Scala 程序中调用 Python UDF函数，通过yar
HI! 我现在使用flink 1.13.2，通过java table api开发应用，其中要使用python udf函数，最终通过yarn-application方式提交；那我需要在yarn集群的机器上都安装pyflink?还是有其他方案？*来自志愿者整理的flink邮件归档
flink源码编译可以不编译scala代码吗
Hi,All: 我再尝试编译flink 1.7的源码时，遇到如下错误，本人对scala不是很了解，不知道是不是版本问题引起，另外可以去掉sacla模块编译吗： 本机scala版本：2.13.0 JDK 版本： 1.8.0_91 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:com....
flink sql提交读取hive的批作业出现 异常“scala MatchError : MAP”
作业SQL是这样的： create view 111 as select * from table1 where event_id = '0103002' and day='2020-05-13' and hour='13'; create view view_1 as select day, a.rtime as itime, a.uid as uid, trim(BOTH a.event......
flink sql 使用自定义函数 返回嵌套行，查询报错 scala.MatchError，为什么？
目前无法通过t.* 将嵌套的字段查询出来。 val schema = tEnv.executeSql( """ | SELECT t.* FROM ( | SELECT EvtParser(request) as t FROM parsed_nginx_log | ) |""".stripMargin).getTableSchema 其中自定义函数 EvtParser 定义如下。 @Data...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
开发与运维
集结各类场景实战经验，助你开发运维畅行无忧
+关注