云消息队列 Kafka 版方案的相关内容

文章 2021-12-31 来自：开发者社区

【kafka】kafka的服务复用与隔离设计方案

之前在写多版本并行开发测试解决方案的时候占了个坑,今天来补上;这篇文章主要讲一下 kafka的服务复用与隔离;主要解决的问题是,在多个迭代环境下; 让消息的提供者和消费者都能正确的发出和消费;这个比dubbo的服务路由与隔离更复杂一点1.问题描述概念说明:稳定版本: ABC 属于全局共用的一套稳定服务;迭代版本: A1 C1 C2 属于他们对应系统的迭代版本, 比如针对A系统进行需求改动,....

文章 2021-12-28 来自：开发者社区

【kafka异常】kafka 常见异常处理方案(持续更新! 建议收藏)

提示：本文可能已过期,请点击原文查看：【kafka异常】kafka 常见异常处理方案(持续更新! )文章目录1. Leader的epoch过时2. 修改Broker.id出现异常3. 文件加锁失败 Failed to acquire lock on file .lock in4. 发送消息报错 UNKNOWN_TOPIC_OR_PARTITION5. Error while reading ch....

文章 2020-06-12 来自：开发者社区

Kafka零数据丢失的配置方案

这两年大数据行业发展前景较好，行业工程师薪资高、人才少、竞争压力小，很多人也因此想要转型成为大数据工程师，但也正是因为行业新、人才少，很多技术解决方案也是缺少很优质的答案。今天，我给大家详细剖析一个大数据工程师面试中的高频面试题——Kafka是如何保证数据零丢失的？如果要想保证Kafka数据不丢，要从Kafka的三个地方入手：生产者、服务端和消费者。生产者 01 / API使用在生产中K.....

问答 2019-04-19 来自：开发者社区

各位好，咨询一个PostgreSQL的架构问题。我希望写入PostgreSQL的动作可以被捕获并写入到指定Kafka队列中，随后异步更新到Elastic数据库。打算采用 https://debezium.io/docs/connectors/postgresql 方案，读取数据库日志流的模式，这样可以避免在程序代码层既写PostgreSQL又写Kafka带来的分布式事务问题。在本地部署模式下这个架构没问题，但是如果采用阿里云RDS的PostgreSQL还能支持这种架构方案吗？

各位好，咨询一个PostgreSQL的架构问题。我希望写入PostgreSQL的动作可以被捕获并写入到指定Kafka队列中，随后异步更新到Elastic数据库。打算采用 https://debezium.io/docs/connectors/postgresql 方案，读取数据库日志流的模式，这样可以避免在程序代码层既写PostgreSQL又写Kafka带来的分布式事务问题。在本地部署模式下....