阿里云文档 2023-10-19

在TDX实例中基于BigDL PPML构建全链路安全的分布式Spark大数据分析应用

本文介绍在基于Intel® TDX安全特性的g8i实例中,使用BigDL PPML解决方案运行分布式的全链路安全的Spark大数据分析应用。

阿里云文档 2023-05-26

使用PythonSDK操作数据湖分析的Spark作业

本文将演示如何使用Python SDK提交一个计算π的任务,查看任务的状态和日志,超时终止任务, 以及查看虚拟集群的历史状态。

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
391 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
276 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
120 人已学 |
免费
开发者课程背景图
阿里云文档 2022-09-02

时空几何之Spark集成分析的概述

用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos提供了不同级别的数据分析模型,最基础的是Geometr...

文章 2022-02-16 来自:开发者社区

基于Spark和Hive进行的豆瓣电影数据分析

写在前边的话:        算是自己做的一个小课题吧,自己搭建平台,自己爬取数据,自己进行数据清洗和分析,自己进行可视化展示,写这篇博客不为别的,只是记录下自己做这个课题的整个过程,大神们勿喷        环境说明:hadoop2.7集群,包含Hbase,Hive,Spark,Sqoop,Mahout组件 &nbs...

文章 2022-02-15 来自:开发者社区

Spark-1.3.1与Hive整合实现查询分析

在大数据应用场景下,使用过Hive做查询统计分析的应该知道,计算的延迟性非常大,可能一个非常复杂的统计分析需求,需要运行1个小时以上,但是比之于使用MySQL之类关系数据库做分析,执行速度快很多很多。使用HiveQL写类似SQL的查询分析语句,最终经过Hive查询解析器,翻译成Hadoop平台上的MapReduce程序进行运行,这也是MapReduce计算引擎的特点带来的延迟问题:Map中间结果....

阿里云文档 2021-11-24

开源自建Spark和DLASpark在3种测试场景下的测试结果及性能对比分析

本次测试采用3种不同的测试场景,针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。

阿里云文档 2021-08-03

调用ListSparkJob用于翻页提取某个数据湖分析Spark虚拟集群的历史作业详情信息

调用ListSparkJob用于翻页提取某个数据湖分析Spark虚拟集群的历史作业详情信息。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注