Flink CDC sql 版本,mongo connector 如何提升source的消费速率?

Flink CDC sql 版本,mongo connector 如何提升source的消费速率?【业务背景】有一批百亿级别的数据需要同步从mongo同步到doris,存量+增量都要同步,所以想使用CDC同步,但是发现速率太慢,目前QPS 2w,预计300亿要同步20天左右才能跑完。【当前 job ...

在Flink需要把source里某个字段加工下得到一个字段,sql该如何写?

在Flink需要把source里某个字段加工下得到一个字段,sql该如何写?source里定义了5个字段,sink里定义了6个字段,

如何在 PolarDB-X 中优化慢 SQL

2 课时 |
113 人已学 |
免费

SQL完全自学手册

61 课时 |
3601 人已学 |
免费

SQL Server on Linux入门教程

14 课时 |
4329 人已学 |
免费
开发者课程背景图

OceanBase数据库中使用source命令导入sql会中断是怎么回事?

"OceanBase数据库中使用source命令导入sql会中断是怎么回事?并且中断后必须重启observer才可以,问题出在哪里?就是使用source导入sql 文件,文件大小100多兆,但是导入部分就中段了。"

flink sql mysql cdc 2.4现在支持source合并吗?就像这样?

flink sql mysql cdc 2.4现在支持source合并吗?就像这样?source为同一张表时自动合并,多个 Source 只需要读取一份 binlog 数据

flink sql里面有没有判断不在实时维表中的source数据的好方法?

flink sql里面有没有判断不在实时维表中的source数据的好方法?前提维表与流数据主键一致。正常SQL 一般是在条件里加where not exists (SELECT 1 WHERE A=B),但是看实时维表句法写死了,只能写JOIN tb1 FOR SYSTEM_TIME AS OF t...

问个小白问题:Flink SQL里,source读取kafka数据,然后根据orderId 统计总?

问个小白问题:Flink SQL里,source读取kafka数据,然后根据orderId 统计总量;我使用 SELECT COUNT(orderId) FROM source_table;的方式来计算总数;我的疑问点是,flink是如何处理这些source数据的,比如 kafka推过来 100W条...

我flink1.13.6版本的sql cdc怎么分别设置source和sink并行度 直接写到?

我flink1.13.6版本的sql cdc怎么分别设置source和sink并行度 直接写到with参数里面报错不支持 要解决的问题是数据出现反压 读取速度远远大于写入速度?是sql操作的 写到with参数里报错不支持

请问flink sql 里面table有分流复制的概念吗?还是直接用source表来做不同的逻辑处理

请问flink sql 里面table有分流复制的概念吗?还是直接用source表来做不同的逻辑处理?

Flink CDC中怎么让sink并行度和source不一样?flink sql?

Flink CDC中怎么让sink并行度和source不一样?flink sql?

[帮助文档] 修改SQL除Query、Source和Sink之外的其他限制_实时计算 Flink版(Flink)

本文为您介绍修改SQL除Query、Source和Sink之外的其他限制。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

数据库
数据库
分享数据库前沿,解构实战干货,推动数据库技术变革
253178+人已加入
加入
相关电子书
更多
PolarDB NL2SQL: 帮助您写出准确、优化的SQL
基于 Flink SQL + Paimon 构建流式湖仓新方
SQL智能诊断优化产品SQLess蚂蚁最佳实践
立即下载 立即下载 立即下载

SQL source相关内容