apache spark java 的相关内容

文章 2017-11-12 来自：开发者社区

spark基本操作 java 版

1.map算子 private static void map() { //创建SparkConf SparkConf conf = new SparkConf() .setAppName("map") .setMaster("local"); //创建Javas...

文章 2017-07-12 来自：开发者社区

IDEA运行spark程序报错Exception in thread "main" java.net.BindException: Cannot

错误提示如下： Exception in thread “main” java.net.BindException: Cannot assign requested address: Service ‘sparkDriver’ failed after 16 retries (starting from 0)! Consider explicitly setting the appropria.....

文章 2017-06-02 来自：开发者社区

Spark 2.0.0 支持 Java 8 Lambda

Spark是一个微型的Java Web框架，它的灵感来自于Sinatra，它的目的是让你以最小的代价创建出一个Java Web应用。最近更新到2.0.0，支持Java 8 ，支持Lambda，Demo代码看起来非常有吸引力最新版本已经可以通过maven center仓库依赖进来 <dependency> <groupId>com.sparkjava<...

文章 2017-05-28 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkTC.scala（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的SparkTC.scala /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed ...

文章 2017-02-26 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaSparkPi.java（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的JavaSparkPi.java /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with...

文章 2017-02-26 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaPageRank.java（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的JavaPageRank.java /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with...

文章 2017-02-13 来自：开发者社区

【Spark Summit EU 2016】使用Java Agent扩展Spark

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。本讲义出自Jaroslav Bachorik与Adrian Popescu在Spark Summit EU上的演讲，主要介绍了Spark缓存中出现的关....

文章 2017-01-14 来自：开发者社区

09【在线日志分析】之基于Spark Streaming Direct方式的WordCount最详细案例(java版)

1.前提 a. flume 收集--》flume 聚合--》kafka ，启动进程和启动kafka manager监控 08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster b.window7 安装jdk1.7 或者1.8(本次环境是1.8)c.window7 安装IDEA开发工具(以下仅供参考)使用Intell...

文章 2016-12-21 来自：开发者社区

Spark机器学习1·编程入门(scala/java/python)

Spark安装目录 /Users/erichan/Garden/spark-1.4.0-bin-hadoop2.6 基本测试 ./bin/run-example org.apache.spark.examples.SparkPi MASTER=local[20] ./bin/run-example org.apache.spark.examples.SparkPi scala import or....

文章 2016-11-27 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaTC.java（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的JavaTC.java /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed wi...