Flume+Kafka+Storm实战：一、Kakfa与Storm整合（下）
d. KafkaWordCountBoltpackage com.shaonaiyi.kafka; import org.apache.storm.task.OutputCollector; import org.apache.storm.task.TopologyContext; import o...
Flume+Kafka+Storm实战：一、Kakfa与Storm整合（上）
0x00 文章内容Kafka准备Storm准备校验结果0x01 Kafka准备1. 启动Kafkaa. 后台启动Kafka（三台都要启动）nohup ~/bigdata/kafka_2.11-1.0.0/bin/kafka-server-start.sh ~/bigdata/kafka_2.11-1...
【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！
文章目录一、前言二、项目准备2.1 添加Kafka的pom依赖2.2 启动zookeeper集群2.3 启动kafka集群2.4 创建topic2.5 向topic中生产数据三、KafkaUtils.createDstream3.1 原理3.2 实战四、KafkaUtils.createDirect...
【FlinkSQL实战系列】Flink SQL CDC 实时同步 Mysql 的 Binlog 数据到 kafka
什么是 CDC ?CDC,Change Data Capture,变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等.要解决什么问题 ?使用 flink sql 进行数据同步,可以将数...
Springboot最简单的实战介绍 整合kafka-生产者与消费者（消息推送与订阅获取）
我们开始整合：首先，先往pom.xml文件添加Kafka的依赖，<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifac...
Kafka性能调优实战：同等资源配置性能提升20几倍的秘诀
1、抛出问题笔者最近在折腾数据异构体系，在实现MySQL增量数据同步到MQ(Kafka、RocketMQ),本文的故事就从这里开始。众所周知，为了提高写入端的并发性能，通常会采用多线程并发机制，提高写入端的性能，接下来基于MySQL增量同步到Kafka为例，阐述一下第一版的架构方案。真实的数据同步架...
从实战中认识Kafka消费组
本文属于学习的第二阶段：[从运维实战的角度学习Kafka]，本文重点介绍kafka-consumer-groups运维命令的使用，从运维、使用驱动对消费组的了解。1、Kafka 消费组运维实战接下来对一些要点做一个简单的说明与举例。1.1 --members 显示消费组成员在使用--describe...
记一次 Kafka Producer 性能调优实战
最近，遇到某个集群的生产端发送延迟特别高，而且吞吐量上不去，检查集群负载却很低，且集群机器配置非常好，网络带宽也很大，于是使用 Kafka 压测脚本进行了压测。昨天凌晨，在生产环境进行实战调优，经过不断参数改动，现将生产者相关参数设置为以下配置：linger...
Flink的sink实战之二：kafka
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos版本和环境准备本次实战的环境和版本如下：JDK：1.8.0_211Flink：1.9.2Maven：3.6.0操作系统：macOS Catalina 10.1...
【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
文章目录前提所有异常情况1. TargetBroker若不在线,迁移脚本执行会失败情景演示2. TargetBroker在开始迁移过程中宕机，导致迁移任务一直在进行中情景演示解决方法3. 被迁移副本没有找到Leader,导致TargetReplica一直不能同步副本情景演示解决方案4. 限流导致重分...
更新时间 2023-01-16 23:22:26
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
