spark分布式集群的相关内容

阿里云文档 2026-03-06

基于库存感知的跨地域多集群弹性调度

ACK One多集群舰队在多地域应用服务部署场景下，针对多地域资源调配的难题设计并实现了基于库存感知的智能调度器。本文介绍库存感知的工作原理以及如何开启和使用库存感知调度能力。

阿里云文档 2025-09-12

单集群应用迁移至舰队并分发到多集群

为解决应用多集群部署时的重复操作，易出错，难同步等问题，可使用AMC命令行工具将应用快速部署到多个集群，并实现后续统一管理和自动同步更新。

阿里云文档 2025-09-12

通过CR对同一K8s集群中多个应用进行泳道流量控制

EDAS升级了微服务治理的新模型，支持在单集群中针对复杂场景下的Java微服务应用，通过CR的方式实现全链路流量控制。EDAS中的全链路流量控制仅需通过三个自定义资源配置即可完成。

阿里云文档 2025-07-16

Spark SQL CLI部署CentOS分布式集群Hadoop上方法

前言配置的虚拟机为Centos6.7系统，hadoop版本为2.6.0版本，先前已经完成搭建CentOS部署Hbase、CentOS6.7搭建Zookeeper和编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装。在此基础上完成了Hive详解以及CentOS下部署Hive和Mysql和Spark框架在CentOS下部署搭建。现在进行Spark的组件Spark SQL的....

文章 2022-10-10 来自：开发者社区

Centos7 搭建单机Spark分布式集群

1. JDK Hadoop Spark安装与配置1.1 解压包官网下载jdk、hadoop、sprak对应的包，注意版本tar -zxvf jdk-8u241-linux-x64.tar.gz tar -zxvf hadoop-3.2.2.tar.gz tar -zxvf spark-3.2.0-bin-hadoop3.2.taz 1.2 配置环境变量添加配置，注意文件路径以及文件名...

文章 2022-04-02 来自：开发者社区

Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象

本文是阅读《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》过程中，抽了局部一些关注点翻译出来的文章，没有将全文都翻译。希望这些碎片化甚至不通顺的记录，可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/.....

文章 2022-02-16 来自：开发者社区

Spark-分布式集群运行

1.简介这篇文章主要是简单的介绍一下Spark应用如何在集群上运行, 更进一步的理解Spark所涉及到的相关主件目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN 2.架构 Spark应用在集群上是独立运行的进程, 通过主程序(main program)的SparkContext进行协调...

文章 2022-02-16 来自：开发者社区

spark1.6分布式集群环境搭建

1. 概述本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。 2. 安装环境本安装说明的示例环境部署如下： IP 外网IP hostname 备注 10.47.110.38 120.27.153.137 iZ237654q6qZ Master、Slaver 10.24.35.51 11...

共有11条

< 1 2 >

跳转至： GO

更新时间 2024-11-25 16:00:54

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

分布式集群相关内容

分布式更多集群相关

分布式您可能感兴趣

产品推荐

阿里云分布式应用服务

企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是应用全生命周期管理和监控的一站式PaaS平台，支持部署于 Kubernetes/ECS，无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理，Java支持Spring Cloud、Apache Dubbo近五年所有版本，多语言应用一键开启Service Mesh。

+关注