阿里云弹性AI服务 -- 基于Docker和EGS一键创建高性能Tensorflow分布式训练
一. 概述 Tensorflow是目前使用最为广泛的深度学习框架之一，但是目前搭建分布式多机多卡训练比较困难，而且Tensorflow原生的分布式的性能很差，特别在云计算虚拟化环境下并行的挑战更大。 为了解决这个问题，我们创建了一个容器镜像：registry.cn-beijing.aliyuncs.com/ai_beijing/deep_learning:vx.x.x，目前包含了Tensorfl....
【阿里云 MVP 月度分享】DRDS分布式数据库的CRUD调优指南
优化的核心原则 由于 DRDS 是一个分布式关系数据库服务，处理的是分布式关系运算。分布式无疑会带来额外的跨库网络开销，而大家都知道，网络通信的延迟比单机内通信的延迟大得多。因此分布式环境中优化更应侧重考虑： 减少网络传输； 减少 DRDS 计算量，尽量将计算下推到下层的数据节点上，让计算在数据所在的机器上执行； 充分发挥下层存储的全部能力。 数据库表创建优化 数据库表的创建优化是最基本的数...
传统应用层逻辑分库DB迁移阿里云DRDS+RDS分布式数据库
随着互联网快速发展，我们的结构化关系数据库在高并发、海量数据的情况下面临单机扩展性问题，首先是单机数据库容量瓶颈，单机数据库在业务高速增长的情况下依赖硬件升级也会到达天花板，并且使用成本变得非常高，而且扩展性的复杂性也是比较高，传统数据库扩容往往意味着服务中断，很难做到业务无感知或者少感知。 通过数据水平切换来现实分库可以帮助提升数据库整体性能、横向扩展性，切...
存储--盘古，阿里云飞天分布式存储系统设计深度解析
本文依据盘古团队的吴洋分享了《盘古：飞天分布式存储系统实践》视频整理而成。 他主要从以下三个方面进行了分享：盘古是什么？盘古是用来解决什么问题的？盘古是怎么解决问题的？他主要介绍了盘古的分布式系统架构和设计理念。 上图列举了目前主流的云计算厂商，我们发现一个很有趣的事情：所有云计算厂商都是“富二代”，它们的分布式存储技术全部采用自研技术，而没有用大家耳熟能详的开源分布式系统。 飞天梦 第一...
阿里云一键部署 Spark 分布式集群
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，可以完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。本文主要目的是为大家提供一种非常简单的方法，在阿里云上部署Spark集群。 通过<阿里云ROS资源编排服务>，将VPC、NAT Gateway、ECS创建，Hadoop和....
阿里云一键部署 Hadoop 分布式集群
Hadoop是一个能够让用户轻松架构和使用的开源分布式计算框架，一种可靠、高效、可伸缩的方式进行数据处理。本文主要目的是为大家提供一种非常简单的方法，在阿里云上部署Hadoop集群。 通过<阿里云ROS资源编排服务>，将VPC、NAT Gateway、ECS创建和Hadoop部署过程自动化，使大家能够非常方便地部署一个Hadoop集群。本文创建的Hadoop集群包含三个节点：mast....
阿里云分布式存储Pangu团队招人啦
阿里云-飞天-盘古 概述 业务 盘古是阿里云自研的分布式存储平台，承接了整个阿里云的存储业务，拥有海量的用户。当前支持的业务方向主要有 超大规模的分布式文件系统（单集群数万台机器，数十亿文件），主要用于阿里云的大数据计算服务（ODPS)。 块存储，支持阿里云的云盘业务，包括全SSD云盘，混合存储云盘，SATA云盘，目前无论是收费用户数、营收、数据量、机器规模 在国内都无出其右。 对象存储，成功.....
解析阿里云分布式调度系统伏羲
云计算并不是无中生有的概念，它是将普通的单台PC的计算能力通过分布式调度的软件连接起来。其最核心的问题是如何把100台、1千台、1万台机器高效的组织起来，灵活的进行任务调度和管理，从而使得可以像使用台式机一样使用云计算。在云计算中，最核心的模块是分布式调度，它好比于云计算的中央处理器。目前，业界已存在多种分布式调度实现方案，如伏羲、Hadoop MR、YARN、Mesos等系统。 阿里云伏羲 伏....
伏羲—阿里云分布式调度系统
今天，大数据已经从概念发展到在很多行业落地生根。广泛用在电商、金融、企业等行业，帮助行业分析数据、挖掘数据的价值。即使在传统的医疗、安全、交通等领域也越来越多的应用大数据的技术。数据、价值二者之间的联系是计算，计算是大数据中最核心的部分。大数据计算就是将原来一台台的服务器通过网络连接起来成为一个整体，对外提供体验一致的计算功能，即分布式计算。 点击查看回顾视频 伏羲系统架构 分布式调度系统需要解....
女娲：阿里云分布式一致性协同服务架构详解
摘要：在11月24日阿里云·云栖社区组织的飞天系列培训上，来自阿里云女娲团队的存储专家朱云锋分享了《女娲：阿里云高性能、高可扩展的分布式一致性协同服务》。 他的演讲内容主要分为四个方面：分布式协同服务背景、女娲服务架构以及技术演进、典型女娲服务应用场景分享、全球化架构下的女娲进化，下面是本次分享内容整理。点击查看回顾视频 分布式协同服务背景 分布式协同服务 在大规模云计算场景中，为保障数据分布式....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
分布式阿里云相关内容
阿里云分布式应用服务
企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是应用全生命周期管理和监控的一站式PaaS平台，支持部署于 Kubernetes/ECS，无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ，Java支持Spring Cloud、Apache Dubbo近五年所有版本，多语言应用一键开启Service Mesh。
+关注