【夯实Kafka实战性能调优技能】消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
内存问题本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。bin目录下的kafka-run-class.sh中须要配置的参数kafka是由...
Kafka技术专题之「问题分析篇」消息队列服务端出现内存溢出OOM以及相关实战分析系列
主旨内容本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。broker端配置文件须要配置的参数message.max.bytes : ka...
kafka学习线路指导入门：包括理论、部署、实战知识汇总整理
1.什么是kafka，kafka基础理论知识对于kafka，如果接触过，我们知道他是用来传输数据的。里面的一些概念也还是懂得的。这里简单说下个人的一些认识，如有错误，欢迎指正交流。在大数据里面，分区【partition】，很多人其实还是不理解的。我个人理解，分区其实就是对数据的一个分类...
kafka实战】分区重分配可能出现的问题和排查问题思路
推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源LogiKM一站式Kafka监控与管控平台 这篇文章源自于,一位群友的问题,然后就写下了这篇文章 进群加V :jjdlmn_先定义一下名词: 迁移前的Broker： OriginBroker 、 迁移后的副本 TargetBroke...
Elastic实战：logstash将kafka数据同步到es时，如何将字符串型时间字段转换为时间戳
0. 引言今天群里有同学问如何将字符串型的时间字段转换为long类型的时间戳。特记录下供后续参考。原问题：我接收数据方传过来的数据，其中有个时间类型是字符串类型，格式为:yyyy-MM-dd hh:mm:ss，我需要转成时间戳保存，我按照网上的方法试了好多种都无法成功转换。数据方把数据发到kafka...
docker安装zk和kafka实战笔记
备注操作环境： centos7 ，docker环境安装zookeeperhttps://blog.csdn.net/qq_40977118/article/details/123848055docker pull zookeeper:3.7.0 docker run --name zookeeper...
FlinkSQL 实时采集Kafka内容到MySQL（实战记录）
01 引言最近在做实时采集Kafka发布的内容到MySQL，本文记录一下关键的点，细节不再描述，希望能帮助到大家。02 实现2.1 添加依赖在工程，除了添加基础的Flink环境依赖，还需要添加flink-connector-kafka的依赖：<dependency> <groupI...
呕心沥血20万字《Kafka运维与实战宝典》免费开放下载了
大家好，我是 「石臻臻」应广大读者朋友要求我把Kafka运维相关系列文章整理成了《Kafka运维与实战宝典》 PDF手册啦这份手册包含 运维和开发人员必备知识点和运维命令 还有很多 常见的异常问题及其解决方案 我会一直更新这么一份手册的, 希望它能够成为开发和运维同学的一份必备宝典~手册目录领取方式...
Flink消费kafka消息实战
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本次实战的内容是开发Flink应用，消费来自kafka的消息，进行实时计算；环境情况本次实战用到了三台机器，它们的IP地址和身份如下表所示：IP地址身份备注1...
Flume+Kafka+Storm实战：二、Flume与Kafka整合
0x00 文章内容Flume准备Kafka准备校验结果PS：请自行准备好Flume、Kafka的环境。由于本教程是属于整合教程，所以，我们可以直接在原来的基础上进行升级即可。过程是将教程：Flume入门案例之NetCat-Souces里的Sink修改为Kafka，而这里的Kafka用的其实是教程：F...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
