问答 2024-06-30 来自:开发者社区

DataWorks中mc 跑任务太慢了 还用的是mr , 怎么换到spark 呢?

DataWorks中mc 跑任务太慢了 还用的是mr , 怎么换到spark 呢?

文章 2023-08-31 来自:开发者社区

一口气说完MR、Storm、Spark、SparkStreaming和Flink

这是彭文华的第92篇原创一直想写一篇大数据计算引擎的综述,但是这个话题有点大。今天试试看能不能一口气写完。没想到一口气从7点写到了凌晨2点大数据计算的起点是Hadoop的MapReduce。之前虽然有一些分布式计算的工具,但是公认的大数据计算引擎的始祖仍然是MapReduce,虽然现在已经逐渐被同是批处理的Spark替代了。如同MapReduce一样,Storm开启了流式数据处理的先河,现在也被....

一口气说完MR、Storm、Spark、SparkStreaming和Flink
问答 2022-08-05 来自:开发者社区

maxcompute的底层引擎我用的都是mr,他是可以切换成spark吗?

maxcompute的底层引擎我用的都是mr,他是可以切换成spark吗?

问答 2022-02-15 来自:开发者社区

相对于MR来说,Spark的特点是什么?

相对于MR来说,Spark的特点是什么?

问答 2022-02-15 来自:开发者社区

如何在MR/Spark作业中指定OSS数据源文件路径?

如何在MR/Spark作业中指定OSS数据源文件路径?

阿里云文档 2021-06-25

如何将MapReduce和Spark作业日志配置到JindoFS或OSS上

本文为您介绍如何将MapReduce和Spark作业日志配置到JindoFS或OSS上。

问答 2019-04-26 来自:开发者社区

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注