问答 2024-06-19 来自:开发者社区

在Flink大概什么样的场景会需要用到流批一体?一边处理实时流,一边批处理历史数据

在Flink大概什么样的场景会需要用到流批一体?一边处理实时流,一边批处理历史数据

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之如何实现重启后直接跑最新的任务而不是根据checkpoint跑历史数据

问题一:这种场景阿里云flink引擎有计划吗? flink 去 lookup join 一张实时写入的维表,在join不到情况下,加入缓存,然后delay retry。这种场景阿里云flink引擎有计划吗? 参考答案: 阿里云Flink引擎确实提供了一些功能来支持维表join操作的优化,但关于特定场景下“实时写入的维表在join不到时加入缓存并延迟重试...

实时计算 Flink版产品使用问题之如何实现重启后直接跑最新的任务而不是根据checkpoint跑历史数据

基于阿里云Hologres&Flink实时计算平台搭建数据仓库(实时)

23 课时 |
317 人已学 |
免费

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
946 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
512 人已学 |
免费
开发者课程背景图
文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据

问题一:flink中,join如果不指定窗口,会把join结果一直存储下来吗? flink中,join如果不指定窗口,会把join结果一直存储下来吗? 参考答案: Apache Flink 中,如果不指定窗口进行 join,join 结果不会无限期地存储下来。在无窗口的情况下进行 join,Flink 会根据数据流的到达顺序和关联键进行即时 join。...

实时计算 Flink版产品使用问题之kafka2hive同步数据时,如何回溯历史数据
文章 2024-06-15 来自:开发者社区

实时计算 Flink版产品使用问题之任务在同步过程中新增同步表后选择全量初始化历史数据,是否会阻塞原先其余表的增量同步

问题一:Flink cdc在同步过程中新增同步表后选择全量初始化历史数据,会阻塞原先其余表的增量同步吗? Flink cdc任务在同步过程中新增同步表后选择全量初始化历史数据,会阻塞原先其余表的增量同步么? 参考答案: 新增表不影响其他,有个feature是新增表不断流。增量数据从任务开始就在同步了。历史数据同步及binlog同步在全量阶段是并行执行的...

实时计算 Flink版产品使用问题之任务在同步过程中新增同步表后选择全量初始化历史数据,是否会阻塞原先其余表的增量同步
问答 2024-06-08 来自:开发者社区

Flink写入结果表会清除目标表里面的历史数据吗

Flink写入结果表会清除目标表里面的历史数据吗

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之全量历史数据比较多,全量同步阶段时间长,是否会同时读取binlog进行合并输出

问题一:Flink CDC这个意思是全量阶段也会进行binlog消费吧? Flink CDC这个意思是全量阶段也会进行binlog消费吧? 参考答案: 全量阶段走的jdbc不消费binlog 关于本问题的更多回答可点击进行查看: https://developer.aliyun.com/ask/582302 ...

实时计算 Flink版产品使用合集之全量历史数据比较多,全量同步阶段时间长,是否会同时读取binlog进行合并输出
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之从MySQL同步数据到Doris时,历史数据时间字段显示为null,而增量数据部分的时间类型字段正常显示的原因是什么

问题一:Flink CDC这个案例我是跑不了,不知道问题出在哪里? Flink CDC这个案例我是跑不了,不知道问题出在哪里? ...

实时计算 Flink版产品使用合集之从MySQL同步数据到Doris时,历史数据时间字段显示为null,而增量数据部分的时间类型字段正常显示的原因是什么
问答 2024-05-19 来自:开发者社区

Flink CDC里用的datastream,不知道为什么每次都会消费历史数据?

Flink CDC里用的datastream,不知道为什么每次都会消费历史数据?

问答 2024-05-15 来自:开发者社区

Flink CDC历史数据也可以从timestamp开始同步吗?

Flink CDC刚开始不使用changelog而是通过快照的方式同步历史数据也可以从timestamp开始同步吗?

问答 2024-04-26 来自:开发者社区

Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据,什么时候开始增量?

Flink cdc任务在同步过程中 新增同步表后选择全量初始化历史数据,如果十几个小时才能初始化完成,无锁算法开始增量的时候是从十几个小时前的binlog位点增量还是从当前时间位点增量?(如果是从十几个小时前的binlog位点衔接增量,如果binlog已经归档了,就会报错文件找不到)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注