问答 2023-07-19 来自:开发者社区

做了flink CDC时同数据,存量数据太大,导致内存需求增大,这种情况有什么好的解决方案吗?

做了flink CDC时同数据,存量数据太大,导致内存需求增大,这种情况有什么好的解决方案吗?

问答 2023-07-12 来自:开发者社区

flink作业mysql cdc数据源没有数据进入,但是TM内存仍在不停上升,这个有问题吗?

flink作业mysql cdc数据源没有数据进入,但是TM内存仍在不停上升,这个有问题吗,还是是正常情况呢?

问答 2023-05-01 来自:开发者社区

我在用flink cdc的从oracle同步历史数据到doris,请教一下存量数据是先全部拉到内存,

我在用flink cdc的从oracle同步历史数据到doris,请教一下存量数据是先全部拉到内存,拉完后再从内存存入doris吗?小数据量的时候没有问题,当我拉一个大表(2千万数据量,2个G大小)历史数据的时候,跑3-5分钟就报错了,怀疑是不是资源问题。有大佬指点一下吗。

问答 2023-04-28 来自:开发者社区

哪位了解Flink共享状态注册器吗? 发现每次cp会返回一些数据给JM导致JM的内存较大

哪位了解Flink共享状态注册器吗? 发现每次cp会返回一些数据给JM导致JM的内存较大

问答 2023-03-21 来自:开发者社区

flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了“内存不足错误

flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了“内存不足错误:超过GC开销限制 OutOfMemoryError: GC overhead limit exceeded”明明我有32G内存,也不够吗,是不是要设置什么

问答 2023-02-06 来自:开发者社区

如果Flink CDC pgsql库10几分钟更新几千万条数据,如何保证cdc任务不报错,内存不溢出

如果Flink CDC pgsql库10几分钟更新几千万条数据,复制槽一下子从几十M到几千M,这种情况下如何保证cdc任务不报错,内存不溢出

问答 2023-01-09 来自:开发者社区

flink事件流关联 广播流时 为了避免来的时候没有广播的维度数据 我需要现在本地预加载一份内存

flink事件流关联 广播流时 为了避免来的时候没有广播的维度数据 我需要现在本地预加载一份内存 那我是不是可以理解成 我只要维护这一份本地内存就可以了? 是不是可以不需要广播变量了?

问答 2022-08-22 来自:开发者社区

请问大佬们,对flink进行压测,每条数据大小为160B,在1728核和960G内存的资源下,最大吞

请问大佬们,对flink进行压测,每条数据大小为160B,在1728核和960G内存的资源下,最大吞吐量为1800万/S。估算数据量7000万/S,每条数据大小为300B,需要配置的并发度和内存资源,是要用什么方式估算更合理,有这方面的资料吗

问答 2022-08-12 来自:开发者社区

大家好问一下,为啥flink处理数据不大,但是kafka内存爆增呢?

大家好问一下,为啥flink处理数据不大,但是kafka内存爆增呢?

问答 2022-07-21 来自:开发者社区

flink cdc 抽取oracle的数据,会不断的占用oracle的内存吗,最后引发ora-040

flink cdc 抽取oracle的数据,会不断的占用oracle的内存吗,最后引发ora-04030报错,导致抓取失败,ORA-04030: out of process memory when trying to allocate , 每天运行一段时间后 100%复现

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐