问答 2021-12-05 来自:开发者社区

hadoop中Spark的standalone的方式启动的操作方法和主要的步骤是什么?

hadoop中Spark的standalone的方式启动的操作方法和主要的步骤是什么?

问答 2021-12-05 来自:开发者社区

Hadoop中Spark组件是什么?

Hadoop中Spark组件是什么?

文章 2020-04-23 来自:开发者社区

工作3年,月薪20k+的大数据开发人员,突然说我不想只做Hadoop、Spark、Flink层面的技术开发

“不管国内或全球“新冠”疫情有多严重、还得持续多久,我只想先保住我的工作,如果降薪,我也能在短时间找到待遇更好的下一个东家”。 ——《大数据就业特训营》23期学员李斌 2014年做大数据培训至今,已有5年之多,可以说大数据技术的发展变化速度之快,用“突飞猛进”来说毫不夸张。就单从计算引擎领域的发展来说,2014年之前,想必都还在使用MapReduce来做离线计算,速度虽然慢,但能处理TB级...

工作3年,月薪20k+的大数据开发人员,突然说我不想只做Hadoop、Spark、Flink层面的技术开发
问答 2019-10-29 来自:开发者社区

hadoop和spark的都是并行计算,那么他们有什么相同和区别

hadoop和spark的都是并行计算,那么他们有什么相同和区别

问答 2019-10-25 来自:开发者社区

简单说一下hadoop和spark的shuffle相同和差异?

简单说一下hadoop和spark的shuffle相同和差异?

文章 2019-04-11 来自:开发者社区

Hadoop大数据平台实战(05):深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s

Spark可以以分布式集群架构模式运行,如果我们不熟Spark Cluster,这个时候需要集群管理器帮助我们管理Spark 集群。 集群管理器根据需要为所有工作节点提供资源,操作所有节点。负责管理和协调集群节点的程序一般叫做:Cluster Manager,集群管理器。目前搭建Spark 集群,可以的选择包括Standalone,YARN,Mesos,K8s,这么多工具,在部署Spark集群时....

文章 2018-11-30 来自:开发者社区

hadoop和spark的区别

学习hadoop已经有很长一段时间了,好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址,因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看(发行版DKhadoop,去大快的网站上应该可以下载到的。)   在学习hadoop的时候查询一些资料的时候经常会看到有比较hadoop和spark的,对于初学者来说难免会有点搞不清楚这二者...

文章 2018-10-16 来自:开发者社区

hadoop,spark,Zookeeper,,, 这些名字都是怎么来的呢?

Apache 首先我们要明白,Apache 是一个 http 服务器,而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。 关于其名字,流传最广的解释是(也是最显而易见的):这个名字来自于一个事实:当Apache在1995年初开发的时候,它是由当时最流行的HTTP服务器NCSA HT....

hadoop,spark,Zookeeper,,, 这些名字都是怎么来的呢?
文章 2018-09-15 来自:开发者社区

Hadoop和Spark集群搭建的大致流程

【Hadoop】 1.首先,准备好Hadoop安装包和JDK的安装与配置2.建立各个机器之间的ssh信任关系,即互信3.修改hadoop配置文件【core、hdfs、yarn、mapred】默认配置文件:core-default.xml、hdfs-default.xml、mapred-default.xml、yarn-default.xml特定配置文件:core-site.xml、hdfs-si....

问答 2018-07-29 来自:开发者社区

FROM SINGLE-TENANT HADOOP TO 3000 TENANTS IN APACHE SPARK

在SPARK SUMMIT 2017上,RUBEN PULIDO 和 BEHAR VELIQI ,IBM WATSON ANALYTICS FOR SOCIAL MEDIA分享了题为《FROM SINGLE-TENANT HADOOP TO 3002 TENANTS IN APACHE SPARK》,就什么是WATSON社交媒体分析,SPARK架构升级等方面的内容做了深入的分析。 https...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注