AI 助理
文档备案控制台
问答 2018-12-13 来自：开发者社区

Spark UDF找不到参数num的隐含值：Numeric [Nothing]

我正在尝试编写泛型add方法，可以采用任何参数类型并返回该类型的结果 def addExactUDFT(implicit num: Numeric[T]): T = { import num._ x + y } def addExact(value1: Column, value2: Column, dataType: String): Column = dataType match { c...

问答 2018-12-12 来自：开发者社区

Apache Spark to_json选项参数

我正在做这样的事情： Dataset formattedReader = reader .withColumn("id", lit(id)) .withColumn("timestamp", lit(timestamp)) .withColumn("data", to_json(struct("record_count"))); ......我得到了这个结果： { "id": "ABC123".....

文章 2018-07-17 来自：开发者社区

spark submit参数及调优

spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式: ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] ...

文章 2018-01-07 来自：开发者社区

spark能传递外部命名参数给main函数吗？

查了资料好像都没有办法。只能通过： def main(args: Array[String]): Unit = { // 读取参数 var city = args(0) var input = args(1) var date = args(2) 下标来获取。不过不确定，去stackoverflow发帖问下。 https://stackoverflow.com...

问答 2017-10-30 来自：开发者社区

E-MapReduce Spark参数说明是什么?

Spark 代码中可使用如下参数配置： 属性名默认值说明spark.hadoop.fs.oss.accessKeyId无访问 OSS 所需的 AccessKey ID（可选）spark.hadoop.fs.oss.accessKeySecret无访问 OSS 所需的 AccessKey Secret（可选）spark.hadoop.fs.oss.securityToken无访问 OSS 所需的 ....

文章 2017-02-20 来自：开发者社区

【Spark Summit East 2017】将Apache Spark MLlib扩展至十亿级别的参数

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Yanbo Liang在Spark Summit East 2017上的演讲，主要介绍了为了应对像广告点击率预测和神经网络这样的应用程序...

文章 2017-02-14 来自：开发者社区

【Spark Summit EU 2016】Glint: Spark的异步参数服务器

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Rolf Jagerman在Spark Summit EU 2016上的演讲，主要介绍了Spark的异步参数服务器Glint，随着机器学习的....

文章 2017-02-14 来自：开发者社区

【Spark Summit EU 2016】使用参数服务器在Spark上扩展因式分解机

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。 本讲义出自Nick Pentreath在Spark Summit EU 2016上的演讲，主要介绍了什么是因式分解机（Factorization Ma....

文章 2016-11-14 来自：开发者社区

Spark性能测试报告与调优参数

1、代码中尽量避免group by函数，如果需要数据聚合，group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0）,x)).countByKey();或进行reduceByKey,效率会提高3倍。 2....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多参数相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注