AI 助理
文档备案控制台
文章 2022-02-16 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaSparkPi.java（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的JavaSparkPi.java /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with...

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaSparkPi.java（图文详解）
文章 2022-02-16 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkTC.scala（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的SparkTC.scala     /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed ...

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkTC.scala（图文详解）
文章 2022-02-16 来自：开发者社区

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPageRank.scala（图文详解）

spark-1.6.1-bin-hadoop2.6里Basic包下的SparkPageRank.scala                                         /* * L...

spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPageRank.scala（图文详解）
文章 2022-02-15 来自：开发者社区

自定义Spark Partitioner提升es-hadoop Bulk效率

前言 之前写过一篇文章，如何提高ElasticSearch 索引速度。除了对ES本身的优化以外，我现在大体思路是尽量将逻辑外移到Spark上,Spark的分布式计算能力强，cpu密集型的很适合。这篇文章涉及的调整也是对SparkES 多维分析引擎设计 中提及的一个重要概念“shard to partition ,partition to shard ” 的实现。不过目前只涉及到构建索引那块。 问....

问答 2022-02-15 来自：开发者社区

Spark中ark.hadoop.odps.input.split.size参数是啥作用呢?

Spark中ark.hadoop.odps.input.split.size参数是啥作用呢?

问答 2022-02-15 来自：开发者社区

Spark中ark.hadoop.odps.cupid.resources参数是啥作用呢?

Spark中ark.hadoop.odps.cupid.resources参数是啥作用呢?

问答 2022-02-15 来自：开发者社区

spark-shell 找不到hadoop so问题解决

spark-shell 找不到hadoop so问题解决 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

问答 2022-02-15 来自：开发者社区

Spark Meets Smart Meters——Hadoop powering Australia’s energy transformation

在Hadhoop summit 2016上，Michael Plazzer分享了题为《Spark Meets Smart Meters——Hadoop powering Australia’s energy transformation》，就澳大利亚的能源转型，大数据在能源方面的应用，能量时间序列数据等方面的内容做了深入的分析。 https://yq.aliyun.com/download/...

问答 2022-02-15 来自：开发者社区

spark读取parquet 找不到 org/apache/hadoop/fs/FSDataInputStream

在spark-env里加上了export SPARK_DIST_CLASSPATH=$(hadoop classpath)也没用 有人遇到过吗

问答 2022-02-11 来自：开发者社区

spark2.4.8最高支持Hadoop那个版本？

之前的代码是spark2.4的，现在要升级Hadoop，想越高越好，但是要兼容spark2.4.8，官方spark支持Hadoop都是2.7的，可以升级到Hadoop3的那个版本并且兼容spark2.4.8

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多hadoop相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注