通过Spark Streaming作业处理Kafka数据
本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群，并运行Spark Streaming作业消费Kafka数据。 前提条件 已注册阿里云账号，详情请参见注册云账号。 已开通E-MapReduce服务。 已完成云账号的授权，详情请参见角色授权。 背景信息 在开发过程中，通...
Spark Streaming kafka实现数据零丢失的几种方式
在使用Spark streaming消费kafka数据时，程序异常中断的情况下发现会有数据丢失的风险，本文简单介绍如何解决这些问题。 在问题开始之前先解释下流处理中的几种可靠性语义： 1、At most once - 每条数据最多被处理一次（0次或1次），这种语义下会出现数据丢失的问题；...
更新时间 2023-05-19 15:06:39
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
