AI 助理
备案控制台
文章 2023-03-16 来自：开发者社区

JAVA面试——Spark

26.1.1. 概念Spark 提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。26.1.2. 核心架构Spark Core包含 Spark 的基本功能；尤其是定义 RDD 的 API、操作以及这两者上的动作。其他 Spark 的库都是构建在 RDD 和 Spark Core 之上的Spark SQL提供通过....

JAVA面试——Spark
文章 2022-12-29 来自：开发者社区

Spark Streaming实时流处理项目实战笔记——Kafka Consumer Java API编程

1、在控制台创建发送者kafka-console-producer.sh --broker-list hadoop2:9092 --topic zz >hello world2、消费者APIimport java.util.Arrays; import java.util.Properties; import org.apache.kafka.clients.consumer.Consum....

文章 2022-08-19 来自：开发者社区

spark实战之：分析维基百科网站统计数据(java版)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos在《寻找海量数据集用于大数据开发实战(维基百科网站统计数据)》一文中，我们获取到维基百科网站的网页点击统计数据，也介绍了数据的格式和内容，今天就用这些数据来练习基本的spark开发，开发语言是Java；实战环境信息为了快速搭建spark集群环境，我是在do....

spark实战之：分析维基百科网站统计数据(java版)
问答 2022-08-15 来自：开发者社区

用Scala写Spark这种工具比用Java写有什么优点啊？

用Scala写Spark这种工具比用Java写有什么优点啊？

问答 2022-08-12 来自：开发者社区

我提交了一个 spark 任务，spark 里面用了 odps 的 java SDK，这时候 SDK

我提交了一个 spark 任务，spark 里面用了 odps 的 java SDK，这时候 SDK 的 endpoint 写什么呢？endpoint 用阿里云经典网络连接 吗？

文章 2022-08-12 来自：开发者社区

第一个spark应用开发详解(java版)

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demosWordCount是大数据学习最好的入门demo，今天就一起开发java版本的WordCount，然后提交到Spark2.3.2环境运行；版本信息操作系统：CentOS7；JDK：1.8.0_191；Spark：2.3.3；Scala：2.11.12；Ha....

第一个spark应用开发详解(java版)
问答 2022-07-20 来自：开发者社区

spark 在 yarn cluster 模式下的 driver 节点，是不是也没有这个 Java

spark 在 yarn cluster 模式下的 driver 节点，是不是也没有这个 Java 沙箱限制？

文章 2022-06-13 来自：开发者社区

spark needsUnsafeRowConversion java.util.NoSuchElementException: None.get

spark版本 3.0.1在spark 中存在一个bug，该bug的详细信息如下：None.get java.util.NoSuchElementException: None.get scala.None$.get(Option.scala:529) scala.None$.get(Option.scala:527) org.apache.spark.sql.execution.FileSou....

文章 2022-05-15 来自：开发者社区

基于Spark对某移动APP流量访问日志分析（Java版）

需求分析我们来根据移动设备唯一标识deviceID来计算来自客户端用户访问日志请求和响应的上行流量、下行流量的记录。上行流量：指的是手机app向服务器发送的请求数据的流量下行流量：指的是服务器端给手机app返回的数据(比如说图片、文字、json)的流量1.计算每个设备(deviceID)总上行流量之和与下行流量之和（取时间戳取最小的deviceID）eg: 时间戳 设备号 上行流量 下行...

基于Spark对某移动APP流量访问日志分析（Java版）
问答 2022-04-15 来自：开发者社区

再emapreduce中使用spark访问java.lang.IllegalStateException: Did not find registered driver with class com.mysql.jdbc.Driver

16/04/28 16:46:19 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, emr-worker-1.cluster-18938): java.lang.IllegalStateException: Did not find registered driver with class com.mysql.j....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache sparkjava相关内容

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注