问答 2021-12-02 来自:开发者社区

Flink1.13.1自定义Catalog问题出错怎么解决?

Flink1.13.1在Catalog方面修改比较大,特别是一些方法的实现上 如 JdbcCatalogFactory implements CatalogFactory中: 核心三个方法全部过期: public Map requiredContext()  public List supportedProperties()  public Catalog createCata...

问答 2021-12-02 来自:开发者社区

Flink kafka自定义metrics在influxdb上解析失败怎么办?

大家好,Flink版本1.13.1。 我在FlinkKafkaProducer的invork方法中,创建了一个counter,它采用sinkTableName+_receive_count作为最终的metric 表名,并且采用influxDB作为上报终端,其中,sinkTableName是从catalog信息里拿到的,我从构造中一层层传递进去。 但是发现一个奇怪的问题:当我采用简单的形如ins.....

问答 2021-12-02 来自:开发者社区

Flink是否支持自定义的限流功能?

Flink从Kafka读取数据时,是否支持用户自定义的限流策略。 例如根据消息中的某个字段的名称,设置流控规则。 请问是否支持呢?还是需要自己借助第三方组件(例如sentinel)来实现?*来自志愿者整理的flink邮件归档

问答 2021-12-02 来自:开发者社区

flink自定义connector相关报错怎么办?

请教下,在自定义connector,IDEA上直接运demo时报了以下的错误: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSinkFactory' in ....

问答 2021-12-02 来自:开发者社区

在一个app应用程序中,如果我用flink自定义source读hbase里面的表,处理完之后再通过s

有没有可能从source里面来的数据是已经处理过的数据。还有一种情况是第一个程序走完一套逻辑将数据更新到hbase中,同时另外一套程序从这张表中自定义source将数据再更新到该表中,会不会出现冲突呢。*来自志愿者整理的flink邮件归档

问答 2021-01-24 来自:开发者社区

flink sql有办法自定义taskName吗?使用prometheus监控,task#Flink

flink sql有办法自定义taskName吗?使用prometheus监控,taskname太长了#Flink

问答 2021-01-24 来自:开发者社区

flink cdc stream api想自定义schema解析,有定义接口吗?#Flink

flink cdc stream api想自定义schema解析,有定义接口吗?#Flink

文章 2020-09-02 来自:开发者社区

Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据

Flink 1.11 最重要的 Feature —— Hive Streaming 之前已经和大家分享过了,今天就和大家来聊一聊另一个特别重要的功能 —— CDC。 CDC概述 何为CDC?Change Data Capture,将数据库中的’增’、’改’、’删’操作记录下来。在很早之前是通过触发器来完成记录,现在通过 binlog+同步中间件来实现。常用的 binlog 同步中间件有很多,比如....

Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据
问答 2020-08-21 来自:开发者社区

在flink程序运行过程中加载自定义jar执行其中的function,请问各位大神这个怎#Flink

在flink程序运行过程中加载自定义jar执行其中的function,请问各位大神这个怎么实现 #Flink

文章 2020-08-21 来自:开发者社区

Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略

作者:LittleMagic 之前笔者在介绍 Flink 1.11 Hive Streaming 新特性时提到过,Flink SQL 的 FileSystem Connector 为了与 Flink-Hive 集成的大环境适配,做了很多改进,而其中最为明显的就是分区提交(partition commit)机制。 本文先通过源码简单过一下分区提交机制的两个要素——即触发(trigger)和策略(p....

Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注