[帮助文档] 如何使用MaxCompute访问外部数据源

MaxCompute Spark目前已支持访问湖仓一体外部数据源,若您想将数据处理作业的环境从Spark更换为MaxCompute,无需再迁移Spark作业数据到MaxCompute,可直接进行访问,从而降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。

[帮助文档] 如何在Windows操作系统下搭建MaxComputeSpark开发环境

本文为您介绍如何在Windows操作系统下搭建MaxCompute Spark开发环境。

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
283 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
248 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
92 人已学 |
免费
开发者课程背景图

大数据计算MaxCompute的Maxcompute Spark 任务,开启动态资源调度,怎么报错?

问题一:大数据计算MaxCompute的Maxcompute Spark 任务,开启动态资源调度,怎么报错? FetchFailed(BlockManagerId(21, workera90f372b-92dd-49f9-9c01-eb3e9ca0e350cupid-11-220-53-239, 4...

[帮助文档] 如何读写MaxCompute数据

现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据,有些线下IDC场景,客户不愿意对公网暴露集群内部信息,需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce(云上Hadoop)方式模拟本地Hadoop集群,为您介绍如何读写MaxCompute...

[帮助文档] SparkonMaxCompute访问云数据库HBase的配置方法

本文为您介绍Spark on MaxCompute访问云数据库HBase的配置方法。

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

作者简介 王海涛,曾经在微软的 SQL Server和大数据平台组工作多年。带领团队建立了微软对内的 Spark 服务,主打 Spark Streaming。去年加入阿里实时计算部门,参与改进阿里基于 Apache Flink 的Blink 平台。 导读: 做大数据绝对躲不过的一个热门话题就是实时流...

Spark比拼Flink:下一代大数据计算引擎之争,谁主沉浮?

下一代大数据计算引擎# 自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始,经过近 10 年的发展,基于 Hadoop 开源生态或者其它相应系统的海量数据...

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

导读: 做大数据绝对躲不过的一个热门话题就是实时流计算,而提到实时流计算,就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行,刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外,还提出了用一个统一的引擎支持批处理、流处理、交互式...

大数据计算架构Hadoop、Spark和Storm 三者技术比较

短短几年时间,大数据这个词便已家喻户晓。但在大数据这个名词被命名之前,人类对数据的搜集与分析已有着悠久的历史。从人工统计分析到电脑/大型机再到今天的分布式计算平台,数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop,Spark和Storm这三种,而Spark和...

1.58元/小时起快速体验 Hadoop & Spark ,为你助力大数据计算

随着全球双11狂欢节的到来,阿里云优惠措施惠及中小企业。除充值返现外,E-MapReduce 同步限时打折。1.58元/小时起,快速体验 Hadoop & Spark 等,阿里云为你助力大数据计算。 E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统。包括...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

Apache Spark 中国技术社区
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
4459+人已加入
加入
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
R AND SPARK
Spark Autotuning
立即下载 立即下载 立即下载

apache spark大数据计算相关内容