问答 2025-01-21 来自:开发者社区

flink sql 通过doris connector连接doris表时提示读取表数据失败

Caused by: org.apache.doris.flink.exception.DorisException: Load Doris data failed, schema size of fetch data is wrong.请问有人遇到过类似情况吗

问答 2024-07-29 来自:开发者社区

请问 flink 1.19 现在支持 es sql connector吗?

请问 flink 1.19 现在支持 es sql connector吗?

文章 2024-06-07 来自:开发者社区

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(5)

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(4)https://developer.aliyun.com/article/1532339 4.7.3、表函数(Table Functions)        跟标量函数一样,表函数的输入参数也可以是 0个、1个或多个标...

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(5)
文章 2024-06-07 来自:开发者社区

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(4)

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(3)https://developer.aliyun.com/article/1532337 4.5、输出表 表的创建和查询,就对应着流处理中的读取数据源(Source)和转换(Transform);而最后一个步骤Sink,也就是将结果数据输出到外部系统,就对应着...

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(4)
文章 2024-06-07 来自:开发者社区

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(3)

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(2)https://developer.aliyun.com/article/1532335 我们可以看到,即使是插入一条数据,hive 也是转换为一个 MapReduce 作业,所以很慢。 不对劲,是完全卡死了,估计是 flink 和 hive 同时占用 yar...

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(3)
文章 2024-06-07 来自:开发者社区

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(2)

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(1)https://developer.aliyun.com/article/1532333 2、sql-client 使用 savepoint 1)提交一个insert作业,可以给作业设置名称 ...

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(2)
文章 2024-06-07 来自:开发者社区

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(1)

前言       今天一天争取搞完最后这一部分,学完赶紧把 Kafka 和 Flume 学完,就要开始做实时数仓了。据说是应届生得把实时数仓搞个 80%~90% 才能差不多找个工作,太牛马了。 1、常用 Connector 读写        之前我们已经用过了一些简单的内置连接器,比如 'data...

Flink(十五)【Flink SQL Connector、savepoint、CateLog、Table API】(1)
文章 2024-05-16 来自:开发者社区

实时计算 Flink版产品使用合集之使用Flink CDC SQL MongoDB Connector时,可以采取什么措施来提升数据消费速率

问题一:请教个问题,我想在flink消费kafka数据时,不对消费的数据进行解压缩操作有什么办法吗? 请教个问题,我想在flink消费kafka数据时,不对消费的数据进行解压缩操作有什么办法吗?我想使用这种方式来测试flink source的最大拉取速度 参考回答: 自己写一个反序列化器,里面不做任何处理,返回null就行 关于本问题...

实时计算 Flink版产品使用合集之使用Flink CDC SQL MongoDB Connector时,可以采取什么措施来提升数据消费速率
问答 2023-12-05 来自:开发者社区

Flink CDC sql 版本,mongo connector 如何提升source的消费速率?

Flink CDC sql 版本,mongo connector 如何提升source的消费速率?【业务背景】有一批百亿级别的数据需要同步从mongo同步到doris,存量+增量都要同步,所以想使用CDC同步,但是发现速率太慢,目前QPS 2w,预计300亿要同步20天左右才能跑完。【当前 job 现状】UI上看到QPS在2万左右,并且source的并行度一直是1。请问如何提高source的并行....

问答 2023-12-03 来自:开发者社区

Flink sql通过jdbc connector写入mysql,怎么保证数据的一致性呢?

Flink sql通过jdbc connector写入mysql,怎么保证数据的一致性呢?jdbc connector有实现两阶段提交嘛?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注