文章 2019-07-24 来自:开发者社区

Spark on k8s

前言 Spark 自从2.3版本以来就支持运行在k8s上,本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。 前提条件 1、 已经购买阿里云容器服务-Kubernetes。购买链接:Kubernetes控制台。本例k8s集群类型为:Kubernetes 托管版。2、 Spark镜像已构建。本例构建Spark的镜像的Dokerfile内容为: # 基础镜像 FROM reg...

文章 2019-05-23 来自:开发者社区

TalkingData的Spark On Kubernetes实践 | 5月23日云栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.TalkingData的Spark On Kubernetes实践 本文整理自talkingdata云架构师徐蓓的分享,介绍了Spark On Kubernetes在TalkingData的实践。阅读更多》》 2.IP应用加速技术详解:如何提升动静混合站点的访问速率? 本文讲述:K全站加速(DCDN)-IPA是阿里云自主研发....

文章 2019-05-22 来自:开发者社区

TalkingData的Spark On Kubernetes实践

众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式数据的优势,使批处理更加高效,并有更低的延迟。实际上,Spark已经成为轻量级大数据快速处理的统一平台。Spark作为一个数据计算平台和框架,更多的是关注Spark Applica....

文章 2019-05-16 来自:开发者社区

从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路

2019年5月14日,喜提浙江省科学技术进步一等奖的 MaxCompute 是阿里巴巴自研的 EB 级大数据计算平台。该平台依托阿里云飞天基础架构,是阿里巴巴在10年前做飞天系统的三大件之分布式计算部分。10年后的今天,MaxCompute已经是可以承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台....

文章 2019-05-10 来自:开发者社区

Spark on Kubernetes原生支持浅析

作者简介:无咎,阿里云EMR技术专家。目前专注于大数据开发平台建设。 概述 Kubernetes自推出以来,以其完善的集群配额、均衡、故障恢复能力,成为开源容器管理平台中的佼佼者。从设计思路上,Spark以开放Cluster Manager为理念,Kubernetes则以多语言、容器调度为卖点,二者的结合是顺理成章的。 使用Kubernetes调度Spark的好处: 集中式资源调度:接入k8s.....

文章 2019-04-11 来自:开发者社区

Hadoop大数据平台实战(05):深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s

Spark可以以分布式集群架构模式运行,如果我们不熟Spark Cluster,这个时候需要集群管理器帮助我们管理Spark 集群。 集群管理器根据需要为所有工作节点提供资源,操作所有节点。负责管理和协调集群节点的程序一般叫做:Cluster Manager,集群管理器。目前搭建Spark 集群,可以的选择包括Standalone,YARN,Mesos,K8s,这么多工具,在部署Spark集群时....

文章 2019-04-04 来自:开发者社区

Spark in action on Kubernetes - 存储篇(一)

前言 在上篇文章中,我们分析了Spark Operator内部的机制,今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房,小到外卖打车,都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地协助决策,需要在数据多维度、数据完备性等方面有较高要求。可预知的在未来,数据的量级会越来越大,特别是随着5G时代的到....

Spark in action on Kubernetes - 存储篇(一)
问答 2019-02-22 来自:开发者社区

获得Exec失败:在k8s上提交spark时的HTTP 403

spark版本:v2.4.0eks info:v1.10.11-eks提交后,出现错误信息如下:019-02-21 15:08:44 WARN WatchConnectionManager:185 - 执行失败:HTTP 403,状态:403 - 禁止使用pod:用户“system:anonymous”无法查看名称空间中的pod“spark”java.net.ProtocolException:....

文章 2018-12-17 来自:开发者社区

Kubernetes助力Spark大数据分析

Kubernetes 作为一个广受欢迎的开源容器协调系统, 是Google于2014年酝酿的项目。从Google趋势上看到,Kubernetes自2014年以来热度一路飙升,短短几年时间就已超越了大数据分析领域的长老Hadoop。本公众号之前的文章(Kubernetes核心组件解析)也对Kubernetes的几个组件做了一些详细的剖析,本文就带领大家一起看看Kubernetes和Spark碰到一....

文章 2018-12-16 来自:开发者社区

Spark on k8s 试用步骤

背景:Spark 2.3.0 开始支持使用k8s 作为资源管理原生调度spark。使 用k8s原生调度的spark主要有以下好处: 采用k8s原生调度,不再需要二级调度,直接使用k8s原生的调度模块,实现与其他应用的混布;资源隔离:任务可以提交到指定的namespace,这样可以复用k8s原生的qouta限制,实现任务资源的限制;资源分配:可以指定每个spark任务的指定资源限制,任务之间更加隔....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注