大家好，业务场景是这样的，从kafka拉来的数据需要对原始日志进行备份，使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS，不同的文件写入不同的目录，有性能问题吗，每个新到的文件就新new一个BucketingSink，
转自钉钉群21789141：大家好，业务场景是这样的，从kafka拉来的数据需要对原始日志进行备份，使用BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS，不同的文件写入不同的目录，有性能问题吗，每个新到的文件就新new一个BucketingSink
kafka 0.11x 启动30秒后自动停止，报【另一个程序正在使用此文件，进程无法访问】
环境：kafka_2.11-1.1.0，win7_64，java8 现象： 启动30秒后自动停止，报【另一个程序正在使用此文件，进程无法访问】 [2018-06-06 14:32:46,784] INFO [Log partition=myTopic-0, dir=D:\kafka_2.11-1.1.0\kafka-logs] Scheduling log segment [bas eOf...
kafka的topic和分区策略——log entry和消息id索引文件
Topic在逻辑上可以被认为是一个在的queue，每条消费都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。 为了使得Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对应一个文件夹，该文件 夹下存储这个partition的所有消息和索引文件。 每个日志文件都是“log entries”序列，每一个l.....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
云消息队列 Kafka 版更多文件相关
云消息队列 Kafka 版您可能感兴趣
- 云消息队列 Kafka 版高性能
- 云消息队列 Kafka 版架构
- 云消息队列 Kafka 版优劣势
- 云消息队列 Kafka 版rabbitmq
- 云消息队列 Kafka 版rocketmq
- 云消息队列 Kafka 版原理
- 云消息队列 Kafka 版副本机制
- 云消息队列 Kafka 版分区
- 云消息队列 Kafka 版拷贝
- 云消息队列 Kafka 版高可用性
- 云消息队列 Kafka 版flink
- 云消息队列 Kafka 版数据
- 云消息队列 Kafka 版cdc
- 云消息队列 Kafka 版集群
- 云消息队列 Kafka 版报错
- 云消息队列 Kafka 版topic
- 云消息队列 Kafka 版配置
- 云消息队列 Kafka 版消息队列
- 云消息队列 Kafka 版同步
- 云消息队列 Kafka 版消费
- 云消息队列 Kafka 版mysql
- 云消息队列 Kafka 版apache
- 云消息队列 Kafka 版安装
- 云消息队列 Kafka 版消费者
- 云消息队列 Kafka 版消息
- 云消息队列 Kafka 版日志
- 云消息队列 Kafka 版sql
- 云消息队列 Kafka 版生产者
- 云消息队列 Kafka 版连接
- 云消息队列 Kafka 版解析
云消息队列
涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系，全系产品 Serverless 化。RocketMQ 一站式学习：https://rocketmq.io/
+关注