AI 助理
备案控制台
问答 2019-08-15 来自：开发者社区

sparkpipe与pyspark都能实现利用spark的集群做分布式计算么？有什么区别？

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

问答 2019-08-12 来自：开发者社区

通过spark写入phoenix，同时构建索引，之后有节点掉，还有死掉的core，是因为集群问题?

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

文章 2019-06-06 来自：开发者社区

使用EMR Spark Relational Cache跨集群同步数据 | 6月6号云栖夜读

点击订阅云栖夜读日刊，专业的技术干货，不容错过！ 阿里专家原创好文 1.使用EMR Spark Relational Cache跨集群同步数据 Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如....

文章 2019-06-05 来自：开发者社区

使用EMR Spark Relational Cache跨集群同步数据

Relational Cache相关文章链接： 使用Relational Cache加速EMR Spark数据分析 背景Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relationa....

文章 2019-06-01 来自：开发者社区

搭建Spark集群服务器

tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。 在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图： 下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2....

文章 2019-05-16 来自：开发者社区

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业？？？

MaxCompute Spark 是什么？ 阿里云的用户大部分应该都听说过MaxCompute，但是MaxCompute Spark是什么？我尝试用几个问题来回答这个问题。 公司准备把Spark的业务和作业上阿里云，从以前的经验来看，运维Spark+Hadoop集群可是个重头活，存不存在这种提供Spark服务的PaaS产品？ 公司的部分业务以及作业顺利迁移至MaxCompute了，Spark作.....

文章 2019-04-11 来自：开发者社区

Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s

Spark可以以分布式集群架构模式运行，如果我们不熟Spark Cluster，这个时候需要集群管理器帮助我们管理Spark 集群。 集群管理器根据需要为所有工作节点提供资源，操作所有节点。负责管理和协调集群节点的程序一般叫做：Cluster Manager，集群管理器。目前搭建Spark 集群，可以的选择包括Standalone，YARN，Mesos，K8s，这么多工具，在部署Spark集群时....

问答 2019-03-18 来自：开发者社区

在集群上为什么启动另一个spark任务会kill掉前一个spark任务

在集群上为什么启动另一个spark任务会kill掉前一个spark任务

问答 2019-01-30 来自：开发者社区

spark streaming 和 kafka ，打成jar包后((相关第三方依赖也在里面))，放到集群上总是报StringDecoder 找不到class,但我确定是存在的，就算换成另一种--jars提交了相关kafka的依赖包，spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到，kafka是0.8.2.1，spark'是1.6.0-cdh5.8.0的，大家遇到过这种问题吗

spark streaming 和 kafka ，打成jar包后((相关第三方依赖也在里面))，放到集群上总是报StringDecoder 找不到class,但我确定是存在的，就算换成另一种--jars提交了相关kafka的依赖包，spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到，kafka是0.8.2.1，spark'是1.....

文章 2019-01-21 来自：开发者社区

spark集群使用hanlp进行分布式分词操作说明

本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作以下为全文：   分两步： 第一步：实现hankcs.hanlp/corpus.io.IIOAdapter      1.  public class HadoopFileIoAdapter implements IIOAdapter { ...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark更多集群相关

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注