问答 2023-11-08 来自:开发者社区

有没有Hudi on Flink动态同步元数据变化的方法,即读取的kafka数据新增了字段?

有没有Hudi on Flink动态同步元数据变化的方法,即读取的kafka数据新增了字段,需要hudi表也动态新增该字段(这个变化发生在不同天,同一天数据元数据是一致的)。

问答 2023-08-20 来自:开发者社区

DataWorks同步kafka数据时,指定时间 这个配置对应的是 kafka数据中的 __?

DataWorks同步kafka数据时,指定时间 这个配置对应的是 kafka数据中的 timestamp 字段对吗? 这个 timestamp 是数据写入kafka的时间吗?

问答 2023-07-13 来自:开发者社区

Flink CDC中怎么拿到kafka以debezium-json格式 op字段数据?

问题1:Flink CDC中怎么拿到kafka以debezium-json格式 op字段数据?问题2:不能用debezium-json格式拿op字段数据吗

问答 2023-05-30 来自:开发者社区

大佬们 flink cdc 读取MySQL数据写入Kafka,里面的金额字段,这个该如何解决?

问题1:大佬们 flink cdc 读取MySQL数据写入Kafka,里面的金额字段(MySQL decemial()类型)数据和MySQL的不一致,这个该如何解决? 我也纳闷怎么到了Kafka 就变成了字符串 问题2:utf8

问答 2023-05-29 来自:开发者社区

大佬 flink cdc 读取MySQL数据写入Kafka,里面的金额字段数据和MySQL的不一致?

大佬 flink cdc 读取MySQL数据写入Kafka,里面的金额字段(MySQL decemial()类型)数据和MySQL的不一致,这个该如何解决? debezium的参数配置

问答 2023-05-14 来自:开发者社区

flink 消费kafka josn数据,当数据更新的时候只更新部分字段,导致写入目标的时候导致目?

flink 消费kafka josn数据,当数据更新的时候只更新部分字段,导致写入目标的时候导致目标数据库原来未更新的数据被置为空,这个问题怎么解决?

问答 2023-05-08 来自:开发者社区

1.1.1版本kafka取出的json数据 缺少data字段 什么原因

1.1.1版本 kafka 取json数据,本地测试有data字段data:[{name:"abc"}],canal连接linux上的数据库后 就没有data这个字段了 什么原因啊 是不是 只有delete和update语句才有 data字段 ,为什么insert没有呢 linux mysql为5.6版本 win为5.5 原提问者GitHub用户CodeLulu318

问答 2023-05-08 来自:开发者社区

从kafka读出来的数据 ,里面的es字段和ts字段分别是什么意思

从kafka读出来的数据 ,里面的es字段和ts字段分别是什么意思{"data":[{"id":"1006405527991816192","title":"统计1","db_type":"hive", "db_config":"{"user":null,"password":null,"jdbcUrl":null,"driver":"org.apache.hive.jdbc.HiveDrive....

问答 2023-05-04 来自:开发者社区

canal+kafka,采集到的UPDATE消息,没有old节点,data里只有被更新的字段

canal+kafka,采集到的UPDATE消息,正常情况下,推送的节点里,old里面是本次更新前的值,data里是包含所有字段的最新数据,但发现有个instance采集后没有old节点,data里只有被更新的字段,无法根据主键条件进行下一步处理,请问这个问题有遇见过吗? 采集到的信息: { "data": [ { "update_time": "2019-05-22 18:20:25" } ]....

问答 2023-05-04 来自:开发者社区

Canal+kafka,'data': [{...],所有字段均成String类型?

在kafka上监控CANAL写入的数据,其中data部分,所有字段的值均变成String,如 'RENTAL_INCOME_I1': '0.0', 'RENTAL_INCOME_I2':'0.0', 'RECE_PRINCIPAL': '0',在MYSQL中均是decimal类型,请问是为什么出现这现象呢? 原提问者GitHub用户windtalkerbj

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

消息队列

消息队列是构建分布式互联网应用的基础设施,通过消息队列实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的优秀设计方案。

+关注