问答 2021-12-06 来自:开发者社区

flink 同时sink hbase和hive,hbase少记录

flink订阅kafka消息,同时sink到hbase和hive中, 当向kafka发送42条记录,然后停止producer发消息,去hive中查可以精准地查到42条,但是在hbase中却只查到30条 query: streamTableEnv.executeSql( """ | |CREATE TABLE hbase_table ( | rowkey VARCHAR, | cf ROW(se.....

问答 2021-12-06 来自:开发者社区

求助如何用flink1.11.2 on yarn集成CDH的hbase2.0版本

根据官方提供的方法,用HADOOP_CLASSPATH=hadoop classpath集成hadoop成功。 因为flink on yarn是用的cdh6集群,所以我想利用现有的classpath中的包含的hbase库,使用 export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hbase/lib/*:$HADOOP_CLASSPATH .....

问答 2021-12-06 来自:开发者社区

flink1.11.2 一直不入hbase问题

我这边测试flink入hbase发现一直入不了hbase,也没有报错。我的具体环境如下: Hbase版本1.1.2with hdp2.6.5 Hadoop版本2.7.3 Flink版本1.11.2 Hbasesink: create table f_volteics_gm_all_h_hbase ( msisdn string, INFO ROW , PRIMARY ...

问答 2021-12-04 来自:开发者社区

本地测试 flink 1.10 hbase sql create table 在反序列化byte之后

job graph 阶段 HBaseRowInputFormat.java this.conf = {Configuration@4841} "Configuration: core-default.xml, core-site.xml, hbase-default.xml, hbase-site.xml" quietmode = true allowNullValueProperties = ....

问答 2021-12-03 来自:开发者社区

关于flink实时写入hbase用flush方法频繁报操作超时问题

我用flink实时写入hbase,继承RichSinkFunction后用的hbase的BufferedMutator,每当写入一定量的数据后,就用flush的方法,类似这样: http://apache-flink.147419.n8.nabble.com/file/t802/%E6%8D%95%E8%8E%B71.png 但是我的任务会频繁报出如下错误: http://apache-flin....

问答 2021-12-03 来自:开发者社区

flink 创建hbase出错

Hi 大家好 有个问题要问问大家,我现在用flink1.9版本创建hbase表 sql: create table hbase_dimention_table( id varchar, info ROW(xxx) )with( 'connector.type' = 'hbase', 'connector.version' = '1.4.3', 'connector.table-name' = '....

问答 2021-12-02 来自:开发者社区

hbase 列设置TTL过期后,flink不能再写入数据

Flink:1.12.1 Flink-connector: 2.2 Hbase: 2.1.0 + CDH6.3.2 现象:如果hbase列族设置了TTL,当某一rowkey写入数据,到达过期时间,列族会被hbase标记为删除。 后续如果有相同key的数据过来,flink无法将数据写入到hbase中,查询hbase中列族一直为空。 执行的过程大致如下: 创建Hbase表,test, 两...

问答 2021-12-02 来自:开发者社区

Flink SQL将group聚合的数据写入到HBase表报primary keys问题

各位好,  最近在研究Flink Hbase连接器,测试实验是将聚合的数据写入到hbase报错。希望能得到各位的帮助。代码 如下:  /**  @Author: ellis.guan  @Description: HBase测试类  @Date: 2020/3/6 15:41  @Version: 1.0  */  p...

问答 2021-12-02 来自:开发者社区

flink1.12支持hbase1.2吗

如题所述,辛苦回答下,感谢!*来自志愿者整理的flink邮件归档

问答 2021-12-02 来自:开发者社区

flink时态表:两个Hbase左关联有报错情况

您好,有关flinkSQL时态表左关联时遇到了问题。 具体场景: 两个Hbase表做时态表关联,左表定义了处理时间,右表原本不变(rowkey,cf),FLINK版本1.13.0,报错情况如下,麻烦问一下大家又遇到类似问题嘛,该怎么处理! 2021-07-14 09:22:20.592 WARN org.apache.flink.runtime.taskmanager.Task --- 2...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注