apache spark java 的相关内容

文章 2023-12-20 来自：开发者社区

【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战（超详细附源码）

需要源码请点赞关注收藏后评论区留言私信~~~一、HDFS的Shell介绍Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。常用命令如下二、案例-Shel....

问答 2023-12-10 来自：开发者社区

请问大数据计算MaxCompute提交spark任务为什么突然遇到java.这个报错？

请问大数据计算MaxCompute提交spark任务为什么突然遇到java.net.UnknownHostException这个报错？这个任务之前还能正常运行的

文章 2023-10-26 来自：开发者社区

Spark 启动时，报JAVA_HOME is not set

1、报错内容Spark启动时报错：hadoop104: JAVA_HOME is not set2、解决方式解决方式：打开启动配置文件cd /opt/module/spark-standalone/sbin/ vim spark-config.sh配置Java的环境变量#JAVA_HOME export JAVA_HOME=/usr/local/java/jdk1.8.0_181 expor...

问答 2023-10-23 来自：开发者社区

大数据计算MaxCompute spark Java任务里为什么在生产环境下报这个错误的？

大数据计算MaxCompute spark Java任务里为什么在生产环境下报这个错误的？而在本地运行，冒烟测试都是没问题的，这个怎么解决的？ERROR org.apache.spark.deploy.yarn.ApplicationMaster - User class threw exception: java.lang.Exception: com.aliy...

问答 2023-10-22 来自：开发者社区

DataWorks中spark Java任务里为什么在生产环境下报这个错误的？

DataWorks中spark Java任务里为什么在生产环境下报这个错误的？而在本地运行，冒烟测试都是没问题的，怎么解决？ERROR org.apache.spark.deploy.yarn.ApplicationMaster - User class threw exception: java.lang.Exception: com.aliyun.odps.cu...

文章 2023-06-08 来自：开发者社区

Spark——成功解决java.util.concurrent.TimeoutException: Futures timed out after [600 seconds]

前言最近真是和 Spark 任务杠上了，业务团队说是线上有个Spark调度任务出现了广播超时问题，根据经验来看应该比较好解决。定位问题接着就是定位问题了，先给大家看下抛出异常的任务日志信息：ERROR exchange.BroadcastExchangeExec: Could not execute broadcast in 600 secs. java.util.concurrent.Time....

文章 2023-05-18 来自：开发者社区

ALS算法 java spark rdd简单实现

import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.m....

文章 2023-05-18 来自：开发者社区

JAVA Spark rdd使用Spark编程实现:统计出每个省份广告被点击次数的TOP3

假设这些信息都存存储在一个文件里时间数省份城市用户广告如下所示:（中间字段使用空格隔开）import java.util.ArrayList; import java.util.Arrays; import java.util.Collections; import java.util.List; import org.apache.spark.SparkConf; import org....

文章 2023-05-18 来自：开发者社区

求TOP3广告点击次数，java spark rdd pairrdd 键值对转化

import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.....