阿里云文档 2024-04-16

如何配置Flink实时任务的State过期时间

State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。本文将为您介绍如何配置Flink实时任务的State过期时间。

阿里云文档 2024-04-16

Flink_SQL任务开发方式有哪些

Dataphin的Flink_SQL任务支持多种开发方式,包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发,且不同开发方式所创建的表支持任意混用,包括镜像表。不同开发方式的使用方法、使用场景以及优缺点不同。本文将为您介绍各开发方式帮助您更好的完成Flink_SQL任务开发。

问答 2023-08-16 来自:开发者社区

Flink CDC中程序执行可以正常写数据到mongo,但是打flink提交任务报这个异常什么原因?

Flink CDC中程序执行可以正常写数据到mongo,但是打flink提交任务报这个异常,也可以正常写数据,有遇到这种情况的吗?java写的,是用的table api

问答 2023-08-16 来自:开发者社区

flink cdc使用savepoint停止任务新的表会按照那种模式进行消费呢?

flink cdc使用savepoint停止任务,再用savepoint启动时,新加了一张表,并更改了消费方式,比如从binlog头部消费改为了全量转增量,那接下来新的表会按照那种模式进行消费呢?

问答 2023-08-16 来自:开发者社区

Flink CDC中请问第一个任务正常启动, 第二个任务一直报AM资源不足 , 是为什么 ?

Flink CDC中请问一下yarn-application模式启动多个flink任务 , 第一个任务正常启动, 第二个任务一直报AM资源不足 , 是为什么 ? (hadoop是单机安装的 , 云服务器8核32G)

问答 2023-08-16 来自:开发者社区

flink cdc采集mysql 数据库中间的代理都断掉但任务没报错还在正常running,怎么办?

flink cdc采集mysql 数据库中间的代理都断掉了但是任务却没有报错还在正常running,也不采集数据,啥原因导致的?

问答 2023-08-16 来自:开发者社区

这个问题应该怎么去排查?flink cdc sink到hudi里,任务之前是正常的。

"这个问题应该怎么去排查,flink cdc sink到hudi里,任务之前是正常的。"

问答 2023-08-15 来自:开发者社区

Flink CDC中我上传的任务日志打印的都在stdout里,不在logs里 这是为啥?

Flink CDC中我上传的任务日志打印的都在stdout里,不在logs里 这是为啥?

问答 2023-08-15 来自:开发者社区

Flink停止前选择了创建一次快照 但是检查点失效啦 此时会使创建快照失败任务频繁重启么?

Flink停止前选择了创建一次快照 但是检查点失效啦 此时会使创建快照失败任务频繁重启么?我看了下日志原因是检查点失效。

问答 2023-08-09 来自:开发者社区

大佬们,请教个Flink问题,使用flink cep模式,然后开了个全天的窗口进行统计,任务

问题1:大佬们,请教个Flink问题,使用flink cep模式,然后开了个全天的窗口进行统计,任务卡在cepoperator环节,数据越积越多。有啥调优方式吗?问题2:除了调高并行度,有其他方式吗?我现在是用docker容器跑的,估计能给的并行度也不高?并行度可能是我最后没办法的情况下需要考虑的方式了

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注