问答 2024-06-12 来自:开发者社区

Flink线上存量的作业怎么拉取呢?

Flink线上存量的作业怎么拉取呢?

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之实现存量读取时采用多线程、增量读取时采用单线程如何解决

问题一:Flink CDC同一个流中,如何设置存量读取时采用多线程,增量读取时采用单线程呢? Flink CDC同一个流中,如何设置存量读取时采用多线程,增量读取时采用单线程呢? 参考回答: Flink CDC 支持多线程并发读取存量数据和单线程读取增量数据。具体来说,可以通过设置不同的并行度来实现。 对于存量数据的读取,可以设置较高的并行度来...

实时计算 Flink版产品使用合集之实现存量读取时采用多线程、增量读取时采用单线程如何解决

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
320 人已学 |
免费

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
950 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
515 人已学 |
免费
开发者课程背景图
问答 2024-05-20 来自:开发者社区

Flink CDC里使用initial模式, 转增量之后,存量数据会丢吗?

Flink CDC里我使用cdc作为flink的流表。使用initial模式, 转增量之后,存量数据会在内存里丢掉吗。 我window统计, 转增量后统计数据变少了

文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之可以使用高并发大内存的方式读取存量数据吗

问题一:Flink CDC是不是可以用外表或者其他工具先把全量灌进去? Flink CDC是不是可以用外表或者其他工具先把全量灌进去? 参考回答: 是的,除了使用 Flink CDC 直接从源头读取全量数据外,也可以先使用其他工具将全量数据灌入数据库,然后再通过 Flink CDC 接收增量数据。 常见的工具包括 Apache Kafka、My...

实时计算 Flink版产品使用合集之可以使用高并发大内存的方式读取存量数据吗
问答 2024-01-10 来自:开发者社区

实时计算flink存量用户什么时候能免费开通prometheus呢?

实时计算flink存量用户什么时候能免费开通prometheus呢?

问答 2024-01-01 来自:开发者社区

Flink-CDC-tidb在读取存量数据时是将数据直接全量的读取吗?

Flink-CDC-tidb在读取存量数据时是将数据直接全量的读取吗?自测发现Flink-CDC-tdib读取存量数据的时候都是需要不亚于存量数据大小的内存,也没做检查点,有大佬知道原因吗?Flink-CDC-2.3.0

问答 2023-12-01 来自:开发者社区

Flink CDC同一个流中,如何设置存量读取时采用多线程,增量读取时采用单线程呢?

Flink CDC同一个流中,如何设置存量读取时采用多线程,增量读取时采用单线程呢?

问答 2023-11-06 来自:开发者社区

oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?

oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?datax做存量同步,同时cdc做增量同步,这个方案是不是也可以,近实时性要求

问答 2023-11-01 来自:开发者社区

在Flink目前存量用户可以使用免费的普罗米修斯没?之前说计划11月,现在有进展吗?

在Flink目前存量用户可以使用免费的普罗米修斯没?之前说计划11月,现在有进展吗?

问答 2023-10-23 来自:开发者社区

有小伙伴用Flink CDC复制存量数据有20亿数据量大小的表吗?

有小伙伴用Flink CDC复制存量数据有20亿数据量大小的表吗?可能有100G那么大,每次读取都会把内存撑爆,有什么通用的解决反感吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注