AI 助理
文档备案控制台
阿里云文档 2024-12-02

通过SparkStreaming作业处理Kafka数据

本文介绍在阿里云E-MapReduce创建的包含kafka服务的DataFlow集群中，如何使用Spark Streaming作业从Kafka中实时消费数据。

阿里云文档 2024-07-02

如何使用Spark通过ENI网络访问消息队列Kafka版

本文介绍如何使用云原生数据仓库 AnalyticDB MySQL 版Spark通过ENI网络访问消息队列Kafka版。

文章 2023-12-20 来自：开发者社区

【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）

Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume主要由3个重要的组件构成：1）Source：完成对日志数据的收集，分成transtion 和 event 打入到channel之中。2）Cha....

【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
阿里云文档 2023-09-13

如何处理Kafka集群的数据_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何在E-MapReduce的Hadoop集群运行Spark Streaming作业，处理Kafka集群的数据。

阿里云文档 2023-05-25

如何基于云HBase和Spark构建一体化的数据处理平台

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云Kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。

问答 2020-06-14 来自：开发者社区

spark2.1+kafka_2.11-0.9.0.1 的安装配置失败了：报错

sh spark-submit --class  org.apache.spark.examples.streaming.JavaKafkaWordCount  --master local[3]   /data/spark/bin/zx.jar    192...

问答 2020-06-02 来自：开发者社区

spark2.1+kafka_2.11-0.9.0.1 的安装配置失败 - 配置报错

sh spark-submit --class  org.apache.spark.examples.streaming.JavaKafkaWordCount  --master local[3]   /data/spark/bin/zx.jar    192...

问答 2020-05-31 来自：开发者社区

spark2.1+kafka_2.11-0.9.0.1 的安装配置失败了-服务报错

" $str = '中国'; preg_match_all($pattern,$str,$out); //这个这则匹配汉字，很艰难 $pattern_1 = '/[[\x80-\xff]]/'; $pattern_2 = '/[\x4e00-\x9fa5]/'; print_r($out);  //汉字部分都是乱码 编码格式是gbk，还是utf-8,都测试都无效.   &nbs...

文章 2016-12-06 来自：开发者社区

java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,kafka,storm,redis,flume,git 安装详解

    顶部 ---------------------------------------------------------------------------------------------------------------------------------- 0.关闭防火墙 1.修改hosts 2.检查每台机器的 hostname 3.安装jdk 4.网络、ho...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache sparkkafka相关内容

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注