AI 助理
文档备案控制台
问答 2019-08-19 来自：开发者社区

本地代码如何调用spark服务端的jar包方法？

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

文章 2019-07-08 来自：开发者社区

Spark 通用的性能配置方法：内存和CPU的配置

前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU（Vcore）来提升Spark性能的方法。通过配置内存和CPU（Vcore）是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍，数据工作台的详细介绍请参考：数据工作台。 提交Spark任务的参数 提交Spark任务时需要提供如下的参数。 --class org.apache.spark.exam....

问答 2019-05-30 来自：开发者社区

我有个问题想请教一下， 对于spark处理小文件，有没有什么优化方法

我有个问题想请教一下， 对于spark处理小文件，有没有什么优化方法

问答 2018-12-29 来自：开发者社区

更换Spark样品方法的原理是什么？

更换Spark样品方法的原理是什么？我正在研究Spark，我有一个关于sample（）方法的问题。你可能知道，sample（）有三个参数sample( withReplacement : boolean, Fraction : Double, seed : Long )fraction当withReplacement为True时，我无法理解第二个。在Document中，它表示每个元素的替换提取的....

文章 2018-02-04 来自：开发者社区

Spark求统计量的两种方法

打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：https://yq.aliyun.com/u/thinkgamer博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer Spark对于统计量中的最大值，最小值，平均值和方差（均值）的计算都提供了封装，这里小编知道两种计算方法，整理一下分享给大家 ....

问答 2017-06-13 来自：开发者社区

spark运行出现方法找不到

本地运行Spark没有问题。但是代码打成Jar包后在阿里云上运行出现如下问题。求大神指导 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.createDataFrame(Lorg/apache/spark/rdd/RDD;Ljava/lang/Class;)Lorg/.....

文章 2017-05-02 来自：开发者社区

Apache Spark机器学习3.2　整体视图的方法

3.2　整体视图的方法 正如上一节讨论的，本节我们将选择分析的方法或模型（方程）来完成从商业实例到机器学习方法的映射。 要评估影响销售团队成功的不同因素，我们有很多方法可以使用。作为例子，我们选择易于解释和在Spark上易于实现的三个模型：（a）回归模型，（b）结构方程模型和 （c）决策树。 选择好分析方法或模型后，我们需要准备因变量和编程。后续几节将详细介绍。 3.2.1　回归模型 为了在S.....

文章 2017-02-20 来自：开发者社区

【Spark Summit East 2017】加速云上Spark基因测序的数据驱动方法以及案例研究

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Lucy Lu与Eric Kaczmarek在Spark Summit East 2017上的演讲，主要介绍了正在研发中的基于Spark...

文章 2017-02-13 来自：开发者社区

【Spark Summit EU 2016】寻找流式数据中的异常：一种有趣的可伸缩方法

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Casey Stella在Spark Summit EU上的演讲，主要介绍了流数据分析和其优缺点以及异常数据分析的方法，还介绍了在分布式计算....

文章 2015-10-28 来自：开发者社区

Spark修炼之道（高级篇）——Spark源码阅读：第七节 resourceOffers方法与launchTasks方法解析

在上一节中，我们提到Task提交通过makeOffers提交到Executor上 // Make fake resource offers on just one executor private def makeOffers(executorId: String) { // Filter out executors under killing if...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多方法相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注