云消息队列 Kafka 版实时的相关内容

阿里云文档 2024-06-04

使用Kafka Indexing Service实时消费Kafka数据

本文介绍如何在E-MapReduce中使用Apache Druid Kafka Indexing Service实时消费Kafka数据。

文章 2022-10-19 来自：开发者社区

Flume+Kafka+Spark Streaming+MySQL实时日志分析

项目背景网络发展迅速的时代，越来越多人通过网络获取跟多的信息或通过网络作一番自己的事业，当投身于搭建属于自己的网站、APP或小程序时会发现，经过一段时间经营和维护发现浏览量和用户数量的增长速度始终没有提升。在对其进行设计改造时无从下手，当在不了解用户的浏览喜欢和个用户群体的喜好。虽然服务器日志中明确的记载了用户访浏览的喜好但是通过普通方式很难从大量的日志中及时有效的筛选出优质信息。Spark S....

文章 2022-10-11 来自：开发者社区

FlinkSQL 实时采集Kafka内容到MySQL（实战记录）

01 引言最近在做实时采集Kafka发布的内容到MySQL，本文记录一下关键的点，细节不再描述，希望能帮助到大家。02 实现2.1 添加依赖在工程，除了添加基础的Flink环境依赖，还需要添加flink-connector-kafka的依赖：<dependency> <groupId>org.apache.flink</groupId> <...

文章 2022-09-10 来自：开发者社区

（3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示

（1）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示，我们先看下整体方案架构：（2）方案说明：1）我们通过kafka与各个业务系统的数据对接，将各系统中的数据实时接到kafka；2）通过sparkstreaming接入kafka数据流，定义时间窗口和计算窗口大小，业务计算逻辑处理；3）将结果数据写入到mysql；4）通过可视化平台接入mysql数据库，这里使用的是N....

文章 2022-07-07 来自：开发者社区

【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统

万事具备之巧借东风预备知识Linux系统命令使用、了解如何安装Python库、安装kafka。熟悉Linux基本操作、Pycharm的安装、Spark安装，Kafka安装环境搭建Spark安装至于如何安装好spark，我这里就不详细介绍了，请点击标题，即可跳转到文章详情页，里面有spark的安装资料和教程。Kafka安装点击此处下载，下载kafka_2.11-2.4.0.tgz。此安装包内已经附....

文章 2022-06-10 来自：开发者社区

Flink on yarn 实时日志收集到 kafka 打造日志检索系统

点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取 grafana 监控 Flink 最新的模板背景在 Flink on yarn 的模式下,程序运行的日志会分散的存储在不同的 DN 上,当 Flink 任务发生异常的时候,我们需要查看日志来定位问题,一般我们会选择通过 Flink UI 上面的 logs 来查看日志,或者登录到对应的服务器上去....

文章 2022-05-30 来自：开发者社区

Kafka中数据通过SpringBoot-WebSocket进行实时数据可视化

最近需要做一个网络流量的实时可视化，决定采用Kafka+WebSocket的方式实现。一、WebSocket简介WebSocket网上很多教程，这里不详细描述。简单来说：WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。二、SpringBoot实现WebSocketmaven依赖如下 ...

问答 2021-12-07 来自：开发者社区

Kafka流实时用例怎么理解？

问答 2021-12-06 来自：开发者社区

消费kafka时，是如何实时查看kafka topic的挤压量的？

如题，消费kafka时，是如何实时查看kafka topic的挤压量的？ *来自志愿者整理的flink邮件归档

文章 2020-11-02 来自：开发者社区

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战：背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用问题 & 改进直播回放：https://developer.aliyun.com/live/2894 一、背景介绍（一）流平台通用框架目前流平台通用的架构一般来...