AI 助理
文档备案控制台
文章 2023-10-09 来自：开发者社区

没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现

前言大家好，我是明哥！在前段时间的一篇博文中，笔者分析了 flink standalone 模式且不能使用 hdfs 场景下的各种问题及其应对方案，当时明确指出，在只能使用本地文件系统的情况下，flink job manager 是没有办法做到 HA 高可用的，因为没有一个分布式共享存储来提供多个job manager需要共享的状态信息，如已经提交的作业的JobGraph等信息。michaell....

文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——使用KafkaSInk将Flume收集到的数据输出到Kafka

Flume配置文件a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.bind = hadoop a1.sources.r1.port = 44444 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.si....

文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——实战之黑名单过滤

思路源代码窗口函数 代码实现object Black extends App { import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} val sparkConf = new SparkConf().setMaster("local[2]")....

Spark Streaming实时流处理项目实战笔记——实战之黑名单过滤
文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——将统计结果写入到MySQL数据库中

思路两种方式，一种可优化（foreachRDD后，直接创建连接Mysql），一种在（foreachRDD后通过foreachPartition，通过分区获取）代码实现import java.sql.DriverManager import Spark.UpdateStateByKey.workds import Spark.WordCount.ssc import org.apache.spar....

Spark Streaming实时流处理项目实战笔记——将统计结果写入到MySQL数据库中
文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——Kafka Consumer Java API编程

1、在控制台创建发送者kafka-console-producer.sh --broker-list hadoop2:9092 --topic zz >hello world2、消费者APIimport java.util.Arrays; import java.util.Properties; import org.apache.kafka.clients.consumer.Consum....

文章 2022-06-13 来自：开发者社区

Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何选择流处理框架

如今，有许多可用的开源流框架。有趣的是，几乎所有它们都是相当新的，仅在最近几年才开发出来。因此，对于新手来说，很容易混淆流框架之间的理解和区分。在本文中，我将首先大致讨论流处理的类型和方面，然后比较最受欢迎的开源流框架：Flink，SparkStreaming，Storm，KafkaStream。我将尝试（简要地）解释它们的工作原理，它们的用例，优势，局限性，异同。什么是流/流处理：流处理的最优....

Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何选择流处理框架
问答 2019-12-18 来自：开发者社区

问个问题： 在 SQL 和 流处理 方面，Flink 和 Spark 是 不分伯仲的。 在 图计算

问个问题： 在 SQL 和 流处理 方面，Flink 和 Spark 是 不分伯仲的。 在 图计算 和 机器学习 方面，Spark 有 GraphX 和 MLlib，Flink 有相应的模块 吗？ Spark 玩腻了，想换换口味。 望 路过的大佬 回答，小白 请 绕道，谢谢~ 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

文章 2019-05-19 来自：开发者社区

Airbnb 是如何通过 balanced Kafka reader 来扩展 Spark streaming 实时流处理能力的

Airbnb 日志事件获取 日志事件从客户端（例如移动应用程序和 Web 浏览器）和在线服务发出，其中包含行为或操作的关键信息。每个事件都有一个特定的信息。例如，当客人在 Airbnb.com 上搜索马里布的海滨别墅时，将生成包含位置，登记和结账日期等的搜索事件。 在 Airbnb，事件记录对于我们理解客人和房东，然后为他们提供更好的体验至关重要。它为业务决策提供信息，并推动工程功能（如搜索，实....

文章 2018-09-02 来自：开发者社区

02. Spark Streaming实时流处理学习——分布式日志收集框架Flume

2. 分布式日志收集框架Flume 2.1 业务现状分析 如上图，大量的系统和各种服务的日志数据持续生成。用户有了很好的商业创意想要充分利用这些系统日志信息。比如用户行为分析，轨迹跟踪等等。如何将日志上传到Hadoop集群上？对比方案存在什么问题，以及有什么优势？ 方案1: 容错，负载均衡，高延时等问题如何消除？ 方案2: Flume框架 2.2 Flume概述 flume官网 http...

02. Spark Streaming实时流处理学习——分布式日志收集框架Flume
文章 2018-09-02 来自：开发者社区

01. Spark Streaming实时流处理学习——初识实时流处理

1. 初识实时流处理 1.1. 业务现状分析 统计主站每个（指定）课程访问的客户、地域信息分布地域：ip转换客户端：useragent获取如上两个操作：采用离线（Spark/MapReduce）的方式进行统计 实现步骤课程编号、IP信息、useragent进行相应的统计分析操作：MapReduce/Spark 项目架构日志收集：Flume离线分析：MapReduce/Spark统计结果图形化展示....

01. Spark Streaming实时流处理学习——初识实时流处理

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注