文章 2020-04-23 来自:开发者社区

工作3年,月薪20k+的大数据开发人员,突然说我不想只做Hadoop、Spark、Flink层面的技术开发

“不管国内或全球“新冠”疫情有多严重、还得持续多久,我只想先保住我的工作,如果降薪,我也能在短时间找到待遇更好的下一个东家”。 ——《大数据就业特训营》23期学员李斌 2014年做大数据培训至今,已有5年之多,可以说大数据技术的发展变化速度之快,用“突飞猛进”来说毫不夸张。就单从计算引擎领域的发展来说,2014年之前,想必都还在使用MapReduce来做离线计算,速度虽然慢,但能处理TB级...

工作3年,月薪20k+的大数据开发人员,突然说我不想只做Hadoop、Spark、Flink层面的技术开发
问答 2019-10-29 来自:开发者社区

简单说一下hadoop和spark的shuffle过程

简单说一下hadoop和spark的shuffle过程

问答 2019-10-29 来自:开发者社区

hadoop和spark的都是并行计算,那么他们有什么相同和区别

hadoop和spark的都是并行计算,那么他们有什么相同和区别

问答 2019-10-29 来自:开发者社区

Hadoop中,Mapreduce操作的mapper和reducer阶段相当于spark中的哪些算子

Hadoop中,Mapreduce操作的mapper和reducer阶段相当于spark中的哪几个算子?

问答 2019-10-25 来自:开发者社区

简单说一下hadoop和spark的shuffle相同和差异?

简单说一下hadoop和spark的shuffle相同和差异?

问答 2019-10-18 来自:开发者社区

请问一下spark-2.3.4-bin-hadoop2.7跟python哪些版本是兼容的?

请问一下spark-2.3.4-bin-hadoop2.7跟python哪些版本是兼容的? 在win10本地idea中开发 pyspark,用的python3.6.1,初始化sparkSession时报一个莫名其妙的乱码,一直卡着不动 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

问答 2019-08-08 来自:开发者社区

对spark2.4来说Hadoop的最佳版本是?

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。

文章 2019-06-19 来自:开发者社区

BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析

分布式数据挖掘为何受到如此热议呢?在互联网发展中发挥着怎么样的作用呢? 大数据挖掘迅速地接纳了来源于其它科技领域的思想观念,涉及最优化方法、进化计算方法、信息论、数字信号处理、数据可视化和文本检索。大数据挖掘的任务包括是关联分析、聚类分析、分类管理、预测分析、时序模式和偏差具体分析。 BR-MLP(波若数据挖掘平台)是基于大数据BR-ODP的分布式数据挖掘平台,基于Hadoop和Spark技术,....

文章 2019-05-01 来自:开发者社区

老司机告诉你大数据开发:学Hadoop好还是Spark好?

相信看这篇文章的你们,都和我一样对Hadoop和Apache Spark的选择有一定的疑惑,今天查了不少资料,我们就来谈谈这两种 平台的比较与选择吧,看看对于工作和发展,到底哪个更好。 一、Hadoop与Spark 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互...

文章 2019-04-29 来自:开发者社区

大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论

首先,我先申明:任何以『做大数据好像挣得多』为名学习数据科学相关的内容都是不谨慎,而且难以有回报的。而且,任何『只要学会一两种工具就能做大数据』的想法也都是盲目的,难有成效的。 从目前我遇到过的面试者和看过的简历来看,凡是没有过大数据项目经验的人,简历写出花来都是扯淡。部署一个集群,装一个Hive,HBase什么的根本就不叫大数据(有的公司甚至部署Hadoop只用HDFS,每天处理5GB数据,这....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注