平台云消息队列 Kafka 版的相关内容

文章 2024-08-26 来自：开发者社区

联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作

问题一：如何通过监控来定位和处理Flink作业中的反压问题？如何通过监控来定位和处理Flink作业中的反压问题？参考回答：通过监控算子input channel的使用率来定位每个算子产生的反压。例如，当发现某个算子的input channel使用率持续高位时，说明该算子产生了反压，需要进一步定位到具体算子并排查原因，以保证系统的低延迟运行。 ...

问答 2024-07-29 来自：开发者社区

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置（2）

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置（1）+https://developer.aliyun.com/article/1557824 3、kafka搭建使用kafka来收集日志的原因：收集nginx的日志，将nginx日志提取关键字段进行分析，将日志分析清洗后的数据再存入mysql数据库。可以方便业务解耦，流量。...

文章 2024-07-03 来自：开发者社区

日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置（1）

1、环境准备 1.1 准备好三台虚拟机搭建nginx和kafka集群。 1.2 配置好静态ip地址（尽量使用NAT模式）为了统一，我的使用的是桥接模式。 1、先准备三台虚拟机： ...

阿里云文档 2023-05-25

如何基于云HBase和Spark构建一体化的数据处理平台

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云Kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。

文章 2022-08-12 来自：开发者社区

【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统

万事具备之巧借东风预备知识Linux系统命令使用、了解如何安装Python库、安装kafka。熟悉Linux基本操作、Pycharm的安装、Spark安装，Kafka安装环境搭建Spark安装至于如何安装好spark，我这里就不详细介绍了，请点击标题，即可跳转到文章详情页，里面有spark的安装资料和教程。Kafka安装点击此处下载，下载kafka_2.11-2.4.0.tgz。此安装包内已经附....

文章 2022-04-02 来自：开发者社区

数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka

在今天的文章中，我们将着重探讨如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成，但其能够实现大量不同系统设计。除了纯粹的批量或者流处理机制之外，我们亦可借此实现复杂的Lambda以及Kappa架构。在本文开始阐述之前，让我们首先立足于已有生产项目经验从设计与示例入手进行说明。综述 • ...

文章 2022-02-17 来自：开发者社区

通过流处理平台Kafka与云原生数据仓库PostgreSQL做实时数据交互

一、概述 Apache Kafka是一种开源流数据处理平台，因为其部署简单、性能良好的特性得到广泛应用。本文介绍基于Apache Kafka平台将按约定格式与云原生数据仓库PostgreSQL版做实时数据交互，同步数据至云原生数据仓库PostgreSQL版（以下简称ADBPG）的链路。本文内容安排如下：第二章“背景知识”会介绍本链路中组件的基础知识以及一些名词解释，第三章“原理与架构”会介绍链路....

文章 2022-02-16 来自：开发者社区

ELK实时日志分析平台(elk+kafka+metricbeat)-KAFKA(二)

一、kafka搭建建立elk目录：mkdir /usr/loca/elk 安装zookeeper： 192.168.30.121： 192.168.30.122： 192.168.30.123： 3. kafka安装： a. 192.168.30.121 &nbs...

文章 2022-02-16 来自：开发者社区

ELK实时日志分析平台(elk+kafka+metricbeat)-搭建说明(一)

数据流向： metricbeat->kafka->logstash->elasticsearch->kibana. 应用分布：主机应用备注 192.168.30.121 java version "1.8.0_144" zookeeper-3.4.10.tar.gz kafka_2.12-0.11.0.0.tgz ela...