文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控

问题一:flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,这是不是会导致内存浪费? flink1.14的网络缓存消胀机制,如果只是逻辑减少buffer的大小,并物理的大小不变,这是不是会导致内存浪费?它是会改变所有的subtask的buffer大小吗?还是只有某个subtask? 参考答案: Flink 1.14的网络缓存消胀机...

实时计算 Flink版产品使用问题之在Flink on Yarn模式下,如何对job作业进行指标监控
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之如何提高Flink从MySQL读取数据的速度并减少延迟

问题一:Flink读取mysql比较慢,导致延迟比较大 有啥提速方式呀? Flink读取mysql比较慢,导致延迟比较大 有啥提速方式呀? 参考答案: Flink读取MySQL数据速度慢,可以通过以下几种方式来尝试提速: 优化作业配置: 增加JobManager和TaskManager的资源分配。例如,...

实时计算 Flink版产品使用问题之如何提高Flink从MySQL读取数据的速度并减少延迟
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之在DolphinScheduler调度Flink批作业时,遇到作业提交后状态立即变为成功,但实际上作业还在后台运行的情况,如何解决

问题一:flink哪个版本对于背压下的ck有优化了呀? flink哪个版本对于背压下的ck有优化了呀?现在1.12版本在背压下ck很慢,ck timeout时间延长到1个半小时还是很大概率超时? 参考答案: 你把这个开启试试 ...

实时计算 Flink版产品使用问题之在DolphinScheduler调度Flink批作业时,遇到作业提交后状态立即变为成功,但实际上作业还在后台运行的情况,如何解决
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之在 flink-conf.yaml 中定义的配置在某些情况下未被正确应用到 K8s 上运行的任务管理器(JobManager)和任务管理节点(TaskManager),是什么导致的

问题一:Flink Cdc的文档网站是不是挂了? Flink Cdc的文档网站是不是挂了? 参考答案: 先用这个 https://apache.github.io/flink-cdc/master/content/overview/index.html 关于本问题的更多回答可点击进行查看: https://d...

实时计算 Flink版产品使用问题之在 flink-conf.yaml 中定义的配置在某些情况下未被正确应用到 K8s 上运行的任务管理器(JobManager)和任务管理节点(TaskManager),是什么导致的
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之通过flink同步kafka数据进到doris,decimal数值类型的在kafka是正常显示数值,但是同步到doris表之后数据就变成了整数,该如何处理

问题一:Flink如果sink表建表字段过短,有数据不能插入,有啥策略配置能丢弃这些不合格的数据吗? Flink如果sink表建表字段过短,有数据不能插入,有啥策略配置能丢弃这些不合格的数据吗? configuration.set(ExecutionConfigOptions.TABLE_EXEC_SINK_TYPE_LENGTH_ENFORCER, ExecutionConfi...

实时计算 Flink版产品使用问题之通过flink同步kafka数据进到doris,decimal数值类型的在kafka是正常显示数值,但是同步到doris表之后数据就变成了整数,该如何处理
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之把hdfs集群里的core-site.xml hdfs.xml两个文件放到flink/conf/目录下,启动集群说找不到hdfs,该如何解决

问题一:有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗? 有人在flink中用oss替换hdfs做分布式文件系统替代吗?性能上有没有什么问题,能上生产吗? 参考答案: 可以,没影响 关于本问题的更多回答可点击进行查看: https://developer.aliyun....

文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之如何使用Flink MongoDB Connector连接MongoDB

问题一:flink cdc 在从Oracle拉取数据的时候造成Oracle归档日志暴涨,是什么原因? flink cdc 在从Oracle拉取数据的时候造成Oracle归档日志暴涨,是什么原因? 参考答案: 因为flink cdc会捕获所有数据的操作,比如insert、update、delete等等,这些操作会被记录在Oracle的归档日志中。特别是对...

实时计算 Flink版产品使用问题之如何使用Flink MongoDB Connector连接MongoDB
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之数据库执行的是UPDATE操作,那么Flink监听到的类型是什么

问题一:flink版本17.2 , mysql5.7, flinkcdc 2.4.1?什么原因? flink版本17.2 , mysql5.7, flinkcdc 2.4.1?currentEmitEventTimeLag没有值,但是 currentFetchEventTimeLag是正常显示的。 参考答案: 这个问题可能是由于Flink CDC的bu...

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理

问题一:Flink CDC这个是干啥用的啊? Flink CDC这个是干啥用的啊?org/apache/flink/shaded/guava31/com/google/common/util/concurrent/ThreadFactoryBuilder 参考答案: java工具包 关于本问题的更多回答可点击进行查看: ...

实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之如何在operator里跑flink cdc

问题一:有没有知道哪里有operator里跑flink cdc的示例文档? 有没有大佬知道哪里有operator里跑flink cdc的示例文档? 参考答案: https://github.com/ververica/flink-cdc-connectors/issues/2934 关于本问题的更多回答可点击进行查看: ...

实时计算 Flink版产品使用合集之如何在operator里跑flink cdc

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注