Flink CDC sql 版本,mongo connector 如何提升source的消费速率?

Flink CDC sql 版本,mongo connector 如何提升source的消费速率?【业务背景】有一批百亿级别的数据需要同步从mongo同步到doris,存量+增量都要同步,所以想使用CDC同步,但是发现速率太慢,目前QPS 2w,预计300亿要同步20天左右才能跑完。【当前 job ...

flink cdc sql mongo connector 如何提升消费速率

业务背景:有一批百亿级别的数据需要同步从mongo同步到doris,存量+增量都要同步,所以想使用CDC同步,但是发现速率太慢,目前QPS 2w,预计300亿要同步20天左右才能跑完。 UI上看到QPS在2万左右,并且source的并行度一直是1。请问如何提高source的并行度?以及并行度的提升是...

如何在 PolarDB-X 中优化慢 SQL

2 课时 |
113 人已学 |
免费

SQL完全自学手册

61 课时 |
3601 人已学 |
免费

SQL Server on Linux入门教程

14 课时 |
4329 人已学 |
免费
开发者课程背景图

Flink CDC中原来mysql的多表关联的sql结果需要和mongo的一张表去关联查询,现在呢?

Flink CDC中原来mysql的多表关联的sql结果需要和mongo的一张表去关联查询,有什么好的方法吗?

大佬们,我目前的场景是flinkcdc 用sql将mongo数据同步到es,有人做过这样的场景吗?

大佬们,我目前的场景是flinkcdc 用sql将mongo数据同步到es,有人做过这样的场景吗?想问一下,在写es的时候,如何指定_id的值呢?

请问flink sql cdc同步同一个mongo数据源到mysql中数据条目正确,但同步是到dor

请问flink sql cdc同步同一个mongo数据源到mysql中数据条目正确,但同步是到doris中数据存在很多重复数据 是啥原因?

使用flink1.14.0 使用mongo connector 2.3 运行sql语句报错提示,咋办

使用flink1.14.0 使用mongo connector 2.3 运行sql语句报错提示,咋办

flink刚启动时通过sql创建任务时数据能复制到es,然后mongo里的数据就没了,再添加es也不

flink刚启动时通过sql创建任务时数据能复制到es,然后mongo里的数据就没了,再添加es也不同步cdc模拟一个mongo节点,是不是应该通过rs.status能查以呢?我查着还是一个主节点,没有子节点,是不是监听有问题啊

flink sql 同步mongo数据报了个错,大家有人遇到过没

flink sql 同步mongo数据报了个错,大家有人遇到过没

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

数据库
数据库
分享数据库前沿,解构实战干货,推动数据库技术变革
253178+人已加入
加入
相关电子书
更多
PolarDB NL2SQL: 帮助您写出准确、优化的SQL
基于 Flink SQL + Paimon 构建流式湖仓新方
SQL智能诊断优化产品SQLess蚂蚁最佳实践
立即下载 立即下载 立即下载

SQL mongo相关内容