apache spark streaming数据的相关内容

文章 2022-02-17 来自：开发者社区

通过Spark Streaming作业处理Kafka数据

本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群，并运行Spark Streaming作业消费Kafka数据。前提条件已注册阿里云账号，详情请参见注册云账号。已开通E-MapReduce服务。已完成云账号的授权，详情请参见角色授权。背景信息在开发过程中，通常会遇到消费Kafka数据的场景。在阿里云E-MapReduce中，您可通过运行Spark S...

文章 2022-02-17 来自：开发者社区

通过EMR Spark Streaming实时读取Tablestore数据

本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。场景设计随着互联网的发展，企业中积累的数据越来越多，数据的背后隐藏着巨大的价值，在双十一这样的节日中，电子商务企业都会在大屏幕上实时显示订单总量，由于订单总量巨大，不可能每隔一秒就到数据库中进行一次SQL统计，此时就需要用到流计算，而传统的方法都是需要借助Kafka消息队列来做流式计算，数据订单需要写入数据库....

文章 2022-02-16 来自：开发者社区

Spark Streaming 实现数据实时统计案例

Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux环境下的spark环境本例用的centOS 6.5x64 因为需要使用TCP协议传输数据，所以需要安装一个nc插件。安装方式: yum install ncxxx 或者挂载光盘安...

文章 2022-02-15 来自：开发者社区

【Spark Summit East 2017】使用Kafka Connect和Spark Streaming构建实时数据管道

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。本讲义出自Ewen Cheslack Postava在Spark Summit East 2017上的演讲，主要介绍了面对使用Spark Strea.....

问答 2022-02-15 来自：开发者社区

Spark streaming / Flink 通过通道服务拿到实时数据变化，聚合，将统计结果写回到

Spark streaming / Flink 通过通道服务拿到实时数据变化，聚合，将统计结果写回到Tablestore 中sink 表中的架构图是什么样的？

问答 2022-02-15 来自：开发者社区

Spark Streaming异步或同步接收数据？

1、Spark Streaming在接收实时数据的时候，采用同步方式接收？还是异步方式接收? 2、同步方式的好处和不足是什么？异步方式的好处和不足是什么？

问答 2022-02-15 来自：开发者社区

Spark Streaming中的数据实时采集是什么？

问答 2022-02-15 来自：开发者社区

spark streaming读取loghub数据报错LogHubClientWorkerException: consumer group is not agreed, AlreadyExistedConsumerGroup，是什么情况

com.aliyun.openservices.loghub.client.exceptions.LogHubClientWorkerException: consumer group is not agreed, AlreadyExistedConsumerGroup: {"consumeInOrder": false, "timeoutInMillSecond": 60}

问答 2022-02-15 来自：开发者社区