文章 2024-11-25 来自:开发者社区

flink 向doris 数据库写入数据时出现背压如何排查?

确定背压是否存在及程度 通过 Flink Web UI 观察:Flink 提供了 Web UI 来监控任务状态。在 Web UI 中,可以查看各个算子(Operator)的反压状态(Back Pressure Status)。绿色表示没有背压,黄色表示可能有轻微背压,红色表示严重背压。确定哪些算子出现背压,重点关注向 Doris 写入数据相关的算子,如Sink算子。...

问答 2024-08-26 来自:开发者社区

Flink CDC 实时同步 Doris 遇到下面的问题 怎么解决?

想请教各位大佬一个Flink CDC 实时同步 Doris 遇到的问题Flink version:flink-1.19.0Flink CDC version:flink-cdc-3.1.1我目前是使用FlinkCDC Pipeline通过yaml将数据从MYSQL 同步到 Doris,具体如下:可以看到Pipeline提交到了集群,之后我在Flink Web Ui中看到任务都失败了具体报错日志如....

问答 2024-08-26 来自:开发者社区

flink里把的practice数据库中的gxy_school表 同步到Doris中 怎么不对呢?

大佬们 我这样的写法不对嘛 我想要把mysql中的practice数据库中的gxy_school表 同步到Doris中的gxy_streaming库中的gxy_school表,他们数据库名本身不一致,字段顺序也不一致。

问答 2024-08-26 来自:开发者社区

flink sql cdc 同步 oracle到Doris报错提示,怎么解决?

flink sql cdc 同步 oracle到Doris报错提示,flink是1.16,cdc是2.3,oracle是19c, 报错:Caused by: java.sql.SQLException: No suitable driver found for jdbc:oracle:thin:xxxx但是又能同步数据,奇怪的很

文章 2024-08-19 来自:开发者社区

实时计算 Flink版产品使用问题之如何实现MVSOL同步到Doris,并且源库和目标库的库名不同

问题一:在Flink如果cdc任务 关闭再重启 能保证消费位点的准确性么? 在Flink如果cdc任务 关闭再重启 能保证消费位点的准确性么? 参考答案: 关闭前创建快照,就可以了 关于本问题的更多回答可点击进行查看: https://developer.aliyun.com/ask/658100 ...

实时计算 Flink版产品使用问题之如何实现MVSOL同步到Doris,并且源库和目标库的库名不同
问答 2024-08-18 来自:开发者社区

flink cdc3.0写入Doris mysql binlog如何保证有序?

flink cdc3.0写入Doris mysql binlog如何保证有序,有按binlog file和pos 排序吗 ?

问答 2024-08-18 来自:开发者社区

大家有没有使用flink cdc 3版本来全库同步mysql到doris或者sr?

大家有没有使用flink cdc 3版本来全库同步mysql到doris或者sr?

问答 2024-08-14 来自:开发者社区

Flink基于Doris的数仓项目,按照ods,dwd,dws,ads做的数据分层,有人去实践过么?

Flink github:https://github.com/Mrkuhuo/data-warehouse-learninggitee:https://gitee.com/wzylzjtn/data-warehouse-learning基于Doris的数仓项目,按照ods,dwd,dws,ads做的数据分层,有人去实践过么?

问答 2024-08-13 来自:开发者社区

在Flink CDC中,cdc3.1 pipeline同步到doris可以设置tinyint1is?

在Flink CDC中,cdc3.1 pipeline同步到doris可以设置tinyint1isBit=false吗?字段都变成布尔

问答 2024-08-13 来自:开发者社区

在Flink CDC中,该怎么改?hive开启ACID,还是换个doris?

在Flink CDC中,该怎么改?hive开启ACID,还是换个doris?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注