问答 2023-08-16 来自:开发者社区

Flink CDC使用flink写入阿里云的oss直接配置为什么获取不到呢?

Flink CDC使用flink写入阿里云的oss,官网上说在flink-conf.yaml中配置fs.oss.endpoint等,由于本地IDEA中运行测试,直接在configuration中配置啦,但是获取不到呢,java.lang.IllegalArgumentException: Aliyun OSS endpoint should not be null or empty. Pleas....

问答 2023-08-09 来自:开发者社区

Flink CDC中请问怎么配置checkpoint状态存储方式存储到oss?

Flink CDC中请问怎么配置checkpoint状态存储方式存储到oss,是实现CheckpointStorage吗?

高性能

Flink CDC 实现企业级实时数据同步

传统的数据集成通常由全量和增量同步两套系统构成,在全量同步完成后,还需要进一步将增量表和全量表进行合并操作,这种架构的组件构成较为复杂,系统维护困难。本方案提供 Flink CDC 技术实现了统一的增量和全量数据的实时集成。
技术解决方案背景图
问答 2023-08-08 来自:开发者社区

Flink Maxcomputer的数据冷备到oss大佬们有文档学习下么?

Flink Maxcomputer的数据冷备到oss大佬们有文档学习下么?

问答 2023-08-08 来自:开发者社区

Flink中,java我用什么方法打印的日志,能够上传到我配置的oss?

Flink中,java我用什么方法打印的日志,能够上传到我配置的oss?

文章 2023-08-07 来自:开发者社区

阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)

1. 上游数据准备上游数据以mysql为例作为hudi入湖的上游应用表,详细的建表、插入及更新语句如下droptable if exists `sunyf_db`.`flink_test_02_hudi`;createtable if not EXISTS `sunyf_db`.`flink_test_02_hudi`( id BIGINTnotnull PRIMARY KEY ,`name...

阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
问答 2023-08-02 来自:开发者社区

Flink CDC中有没有ck到oss 的文档?

Flink CDC中有没有ck到oss 的文档?

问答 2023-07-25 来自:开发者社区

Flink里打包好的jar包上传运行,checkpoint在代码里可以设置oss-hdfs的地址么?

Flink里打包好的 jar 包上传运行,checkpoint 在代码里可以设置到 oss-hdfs 的地址么?

问答 2023-07-08 来自:开发者社区

我用机器学习PAI alink的 从oss读取文件,提交到flink集群执行,报错,请问该如何解决?

我用机器学习PAI alink的 从oss读取文件,本地执行没问题,提交到flink集群执行,报错,提示找不到:org.apache.flink.fs.osshadoop.OSSFileSystemFactory 我已经按要求把flink-oss-fs-hadoop-1.13.0.jar 文件放到flink/plugins/oss-fs-hadoop 下面了,依然找不到该class。ali...

问答 2023-06-13 来自:开发者社区

flink配置作业输出到oss,这几个参数,在哪个地方有介绍吗?

flink配置作业输出到oss,这几个参数,在哪个地方有介绍吗?

问答 2023-05-29 来自:开发者社区

群里有大佬用过阿里的oss么 flink 1.13.6 想把之前的hdfs存放savepoint?

群里有大佬用过阿里的oss么 flink 1.13.6 想把之前的hdfs存放savepoint和checkpoint切换到oss,但是一直报错?2023-05-24 06:35:07,571 INFO org.apache.flink.fs.osshadoop.shaded.com.aliyun.oss [] - [Server]Unable to execute HTTP...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注