阿里云文档 2025-04-03

如何通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

Spark是一种通用的大数据计算框架,拥有Hadoop MapReduce所具有的计算优点,能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比,减少了中间数据读取磁盘的过程,进而提高了处理能力。本文介绍如何通过ES-Hadoop实现Hadoop的Spark服务读写阿里云Elasticsearch数据。

问答 2021-12-05 来自:开发者社区

hadoop中spark的启动的操作方法和主要的步骤是什么?

hadoop中spark的启动的操作方法和主要的步骤是什么?

问答 2021-12-05 来自:开发者社区

Hadoop中Spark组件是什么?

Hadoop中Spark组件是什么?

问答 2021-12-05 来自:开发者社区

Hadoop中Spark任务是什么?

Hadoop中Spark任务是什么?

问答 2021-12-05 来自:开发者社区

Hadoop中Spark核心概念是什么?

Hadoop中Spark核心概念是什么?

问答 2021-12-05 来自:开发者社区

Hadoop中Spark整体架构是什么?

Hadoop中Spark整体架构是什么?

问答 2021-12-05 来自:开发者社区

Hadoop中Spark的特点是什么?

Hadoop中Spark的特点是什么?

文章 2021-11-04 来自:开发者社区

与 hadoop 对比,如何看待 spark 技术?

我先说我个人的结论。我的结论必须基于2017年9月初这个时间节点。因为未来,是存在一切可能的变数的。1.Hive 在短期2-3年内,仍然无法被取代。大部分中大型互联网公司的sql类大数据分析job,70%以上都仍旧会跑在hive上。2.presto / impala / sparksql / hive on tez . 我认为presto目前是最有可能胜出的一个。3.spark 的地位有些尴尬。....

文章 2021-05-26 来自:开发者社区

数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速

本期导读 :【OSS 访问加速】第六讲主题:Hadoop/Spark 访问 OSS 加速讲师:流影,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JindoFS SDK 介绍Hadoop 使用 JindoFS SDKSpark 使用 JindoFS SDK演示直播回放链接:(5/6讲)https://developer.aliyun.com/live/246811一、JindoFS SDK ....

数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速
文章 2020-11-18 来自:开发者社区

Hadoop集群伸缩难?DLA Spark助力集群快速加弹性

1. 背景介绍 大数据时代早期,Apache Hadoop 是构建具有海量存储能力数据仓库的首选方案,许多企业用户采用在云上购买ECS,自建Hadoop集群来存储和处理数据。Apache Spark作为一个内存计算框架,具有流处理、批处理,图计算,机器学习,SQL查询等多种能力,社区活跃度高,并且Spark天然支持Hadoop数据源,可以完美的融入Hadoop生态,提供高效的计算能力。Hadoo....

Hadoop集群伸缩难?DLA Spark助力集群快速加弹性

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注