文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之在oracle cdc2.3 + flink1.7环境下只能初始化同步数据,但后续Oracle的增删改查无法同步出去,是什么导致的

问题一:Flink CDC实时版中,支持flink cdc 采集 sql 是 CDAS语法,没有开源是吗? Flink CDC实时版中,支持flink cdc 采集 sql 是 CDAS语法,支持动态加库和schema 变更,有 including 的配置,但在 flink sql 官方文档中没看到这个配置项,这部分是阿里云产品实现了,没有开源是吗?动态加表 ...

实时计算 Flink版产品使用合集之在oracle cdc2.3 + flink1.7环境下只能初始化同步数据,但后续Oracle的增删改查无法同步出去,是什么导致的
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之Flink CDC 2.3.0和Flink 1.17,无法从MySQL数据库中抽取数据,是什么原因导致的

问题一:Flink CDC在集群里面run一个oracle cdc的job,是不是跟什么配置有关系? Flink CDC在集群里面run一个oracle cdc的job,提示chekpoint保存不了,还没有到启动监听数据源这一步,但用idea调试运行又可以采集,是不是跟什么配置有关系? ...

实时计算 Flink版产品使用合集之Flink CDC 2.3.0和Flink 1.17,无法从MySQL数据库中抽取数据,是什么原因导致的
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之MySQL CDC Connector是否需要在Flink服务器上单独部署

问题一:Flink CDC服务器上要单独部署mysql-cdc 包? Flink CDC服务器上要单独部署mysql-cdc 包? 参考回答: 把胖包放到flink-lib下或者打到程序里都可以. sql方式建议还是放到lib下 关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/57...

文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之flink-cdc-oracle 可以并行读取吗

问题一:Flink CDC中flinksql 中没找到对应的并行度配置, datastream 中倒是有? Flink CDC中flinksql 中没找到对应的并行度配置, datastream 中倒是有? 参考回答: 是的,Flink SQL和DataStream API在处理并行度问题时方式是不同的。 在Flink SQL中,并行度是由Fl...

实时计算 Flink版产品使用合集之flink-cdc-oracle 可以并行读取吗
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之是否可以使用 DataStream API 或 Flink SQL 开发任务

问题一:Flink CDC用DataStream开发任务么? Flink CDC用DataStream开发任务么?Flink SQL模式和DataStream哪种效率高些?sink写的是自定义的吗?全量和增量的并行度是怎么判断修改的呢?我现在也在用flink做数据同步? 参考回答: 生产没用过flink sql不知道。我只是用flink作为同步工具,自...

文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之1.13版本上部署一个flink1.17为什么任务启动一直accepted状态yarn的,有什么排查方向吗资源什么的都是充足的

问题一:yarn上不能部署两个不同版本的flink客户端吗? yarn上不能部署两个不同版本的flink客户端吗? 这个状态一直这样 参考回答: YARN上确实不能同时部署两个不同版本的Fl...

实时计算 Flink版产品使用合集之1.13版本上部署一个flink1.17为什么任务启动一直accepted状态yarn的,有什么排查方向吗资源什么的都是充足的
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之mysql通过flink cdc同步数据,有没有办法所有表共用一个dump线程

问题一:如果编译方式对的话,使用jdk17也是可以用flinkcdc的? 如果编译方式对的话,使用jdk17也是可以用flinkcdc的?jdk8的时候flinkcdc编译不报错 参考回答: 是的,Apache Flink的官方文档明确指出,Flink CDC支持JDK 8、JDK 11和JDK 17。所以,只要你的编译方式正确,你可以使用任何这些版本...

实时计算 Flink版产品使用合集之mysql通过flink cdc同步数据,有没有办法所有表共用一个dump线程
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc有什么区别

问题一:这个flinksqlcdc 也支持checkpoint嘛? 这个flinksqlcdc 也支持checkpoint嘛? 参考回答: 是的,Flink SQL CDC支持Checkpoint。Checkpoint是指Flink定期存储它当前状态的过程。当作业失败时,可以从最近的Checkpoint点重新开始处理,而不是从头开始。这对于容错和状态恢...

实时计算 Flink版产品使用合集之flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc有什么区别
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之用tidb连接器flink-connector-tidb-cdc-2.4.1.jar遇到从已存在的ck启动无效问题,启动后仍然从头开始读取数据

问题一:Flink CDC 是不是得放各自connector的瘦包? Flink CDC mysql sqlserver 共存的采集,是不是得放各自connector的瘦包,然后再放其他的包,比如debezium等,好像只能这样了? 参考回答: 确实,为了采集MySQL和SQLServer的数据并存放到Flink中,你需要使用各自的connector。...

实时计算 Flink版产品使用合集之用tidb连接器flink-connector-tidb-cdc-2.4.1.jar遇到从已存在的ck启动无效问题,启动后仍然从头开始读取数据
文章 2024-05-16 来自:开发者社区

实时计算 Flink版产品使用合集之使用Flink CDC SQL MongoDB Connector时,可以采取什么措施来提升数据消费速率

问题一:请教个问题,我想在flink消费kafka数据时,不对消费的数据进行解压缩操作有什么办法吗? 请教个问题,我想在flink消费kafka数据时,不对消费的数据进行解压缩操作有什么办法吗?我想使用这种方式来测试flink source的最大拉取速度 参考回答: 自己写一个反序列化器,里面不做任何处理,返回null就行 关于本问题...

实时计算 Flink版产品使用合集之使用Flink CDC SQL MongoDB Connector时,可以采取什么措施来提升数据消费速率

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注