问答 2022-06-09 来自:开发者社区

flink1.14,perjob模式提交任务运行正常,application模式提交任务运行就报这个

flink1.14,perjob模式提交任务运行正常,application模式提交任务运行就报这个错,有大佬知道什么原因吗?

文章 2022-06-09 来自:开发者社区

Flink 任务 Jackson 解析 JSON 使用不当引发的反压问题

背景最近业务方反馈线上一个 topic 的数据延迟比较大,然后我查看了这个 topic 的数据是由一个 Flink 任务产生的,于是就找到了这个任务开始排查问题,发现这个任务是一个非常简单的任务,大致的逻辑是 kafka source -> flatmap -> filter -> map -> sink kafka.中间没有复杂的操作,我在本地写了一个简单的程序模拟线上....

Flink 任务 Jackson 解析 JSON 使用不当引发的反压问题
文章 2022-06-07 来自:开发者社区

Flink on zeppelin从checkpoint&savepoint自动恢复任务​

在上一篇的文章中介绍了Flink on zeppelin怎么配置checkpoint,并且从指定的checkpoint恢复任务,但是这个过程还是相对复杂,对用户来说不是很友好,在最新的版本中,zeppelin支持了自动从checkpoint&savepoint恢复任务,只需要添加几个参数即可,下面就来介绍一下如何使用.1.checkpoint自动恢复1.1 指定checkpoint恢复先....

Flink on zeppelin从checkpoint&savepoint自动恢复任务​
文章 2022-05-29 来自:开发者社区

基于 Flink 实现解决数据库分库分表任务拆分

1、场景描述例如订单库进行了分库分表,其示例如下图所示:现在的需求是希望创建一个任务就将数据同步到MQ集群,而不是为每一个数据库实例单独创建一个任务,将其数据导入到MQ集群,因为同步任务除了库不同之外,表的结构、数据映射规则都是一致的。2、flinkx 的解决方案详解2.1 fink Stream API 开发基本流程使用 Flink Stream API 编程的通用步骤如下图所示:温馨提示:有....

基于 Flink 实现解决数据库分库分表任务拆分
问答 2022-05-10 来自:开发者社区

flink过程中,出现报错,直接任务挂了,能自动配置重启吗?

flink过程中,出现报错,直接任务挂了,能自动配置重启吗?

问答 2022-05-10 来自:开发者社区

Flink企业版还利用了智能化的技术帮助用户做自动化的任务调优有什么作用?

Flink企业版还利用了智能化的技术帮助用户做自动化的任务调优有什么作用?

文章 2022-04-01 来自:开发者社区

IDEA上运行Flink任务

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos关于本篇IDEA是常用的IDE,我们编写的flink任务代码如果能直接在IDEA运行,会给学习和开发带来很大便利,例如改完代码立即运行不用部署、断点、单步调试等;环境信息电脑:2019版13寸MacBook Pro,2.3 GHz 四核Intel Core....

IDEA上运行Flink任务
文章 2022-03-31 来自:开发者社区

Flink on Yarn三部曲之三:提交Flink任务

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本篇概览本文是《Flink on Yarn三部曲》系列的终篇,先简单回顾前面的内容:《Flink on Yarn三部曲之一:准备工作》:准备好机器、脚本、安装包;《Flink on Yarn三部曲之二:部署和设置》:完成CDH和Flink部署,并在管理页面....

Flink on Yarn三部曲之三:提交Flink任务
问答 2022-02-15 来自:开发者社区

Flink SQL 怎么为每一个任务分配不同的内存配置

Flink 作业在提交时可以通过参数指定JobManager 和TaskManager的内存配置,但是SQL执行时怎么为每一个任务指定其内存配置,是不是都是读同一个flink-conf.yaml中的配置?  https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#memory-conf...

文章 2022-02-10 来自:开发者社区

如何使用实时计算提交和管理 Flink 任务|学习笔记

开发者学堂课程【《实时计算 Flink 版中级课程》:如何使用实时计算提交和管理 Flink 任务】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/806/detail/13882如何使用实时计算提交和管理 Flink 任务目录1.VVP 基本概念 2.JAR 任务提交3.SQL 任务提交4.Met....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注