大规模分布式系统架构下调测能力构建之道
天弘基金（余额宝）高级架构师 李鑫在QCon上做了主题为《大规模分布式系统架构下调测能力构建之》的演讲，就分布式环境开发下的调测效率问题，应对之道与总体调测框架实践，分布式环境下调测方法论等进行了深入的分享。 https://yq.aliyun.com/download/904?spm=a2c4e.11154804.0.0.6b386a79hVWRUP
大规模分布式机器学习系统设计和应用经验分享
涂威威在CCTC2017中国云计算技术大会上做了主题为《企业级区块链开发平台》的演讲，就机器学习系统，大规模分布式模型训练框架设计，机器学习实际应用的常见陷阱做了深入分析。 https://yq.aliyun.com/download/337?spm=a2c4e.11154804.0.0.4b706a79vLEzX2
Hinton胶囊网络后最新研究：用“在线蒸馏”训练大规模分布式神经网络
在提出备受瞩目的“胶囊网络”（Capsule networks）之后，深度学习领域的大牛、多伦多大学计算机科学教授Geoffrey Hinton近年在distillation这一想法做了一些前沿工作，包括Distill the Knowledge in a Neural Network等。今天我们介绍的是Hinton作为作者之一，谷歌大脑、DeepMind等的研究人员提交的distillatio....
大规模分布式系统问题集及解决方案(学习)
大规模分布式系统问题集及解决方案 单点一致性更新问题 问题描述：当多个用户同时更新某个数据时，如何保证最终数据的一致性。如用户A,B更新数据D，A->D+1, B->D+1，最终结果D+2。 解决方案：采用数据版本保证所有的更新都基于最新版本的数据。如原始数据(D，n)，A，B均拿到(D，n)，A更新后，数据(D+1，n+1)；此时B版本过时，更新失败，强制刷新数据后，更新数据...
大规模分布式存储系统原理与架构
概述 分布式存储概念 分布式存储系统是大量普通 PC 服务器通过 Internet 互联，对外作为一个整体提供存储服务。 特点 可扩展、低成本、高性能、易用 分布式存储涉及的设计主要来自两个领域：分布式系统以及数据库 数据分布、一致性、容错、负载均衡、事务与并发控制、易用性、压缩 / 解压缩 分布式存储分类 非结构化数据、结构化数据、半结构化数据 分布式存储系统分为四类： 分布式文件系统 ：以对....
大规模数据存储集群数据存放的设计，分布式shardid的生成 - 如何指定范围随机数, 分组随机数
标签 PostgreSQL , 分组ID生成 , 生成哈希映射 , sharding , shard 背景 在一些分布式数据库系统中，通常会有多个数据节点，用户的数据分布策略通常有一致性哈希、按列哈希、随机分布等。 除了随机分布，其他的分布方法数据和数据节点是一对一的关系。 上当节点数变得特别特别多的时候，数据如果依旧按照全局进行哈希分布，可能会带来一个问题，例如节点数到达1万个，一张1亿的...
浅析阿里数据技术架构（下）大规模分布式知识图谱
阿里数据要做的是：把数据真正打通，深度挖掘数据的价值，为业务创新应用提供数据决策基础和依据。 下面具体介绍我们在大规模分布式知识图谱上的技术实践。 为什么需要知识图谱？ 大规模知识图谱抽象也是一种图计算。基于大规模分布式知识图谱做了哪些工作？我们为什么要做这样一件事情？ 阿里巴巴的生态非常丰富，而丰富的业态背后给我们数据工作者带来的困难就是，我们常常需要接入各种数据，并将他们有效地管理和整...
大规模数据的分布式机器学习平台
来自阿里云IDST褚崴为大家带来分布式机器学习平台方面的内容，主要从大数据的特点和潜在价值开始讲起，然后介绍阿里的业务场景中常用到的机器学习算法，以及阿里采用的分布式机器学习框架，最后介绍了PAI算法平台，一起来看下吧。 大数据的特点和潜在价值 我们正在步入大数据的时代，大数据至少具备以下四个特点： 海量样本：数据的规模巨大，特征非常多，每40个月翻一番，数据管理复杂； 内容多样：非...
基于Hadoop集群的大规模分布式深度学习
前言 在过去的十年里，Yahoo一直持续投资建设和扩展Apache Hadoop集群，到目前为止共有超过4万台服务器和600PB数据分布在19个集群上。正如在2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop集群已成为Yahoo大规模机器学习的首选平台。 深度学习（Deep Learning, DL）是雅虎很多产.....
飞天5K实战经验：大规模分布式系统运维实践
2013年，云梯1实现空间优化与跨机房集群扩展，云梯2单集群规模从1500台升级到5000台，同时跨集群扩展的5K项目顺利取得阶段性成果，阿里成为第一个独立研发拥有这类大规模通用计算平台的公司。当时，云梯1、云梯2，再加上已上线的生产集群，阿里整体集群规模已超过万台。迄今为止，全球范围内，只有少数几家公司拥有如此规模的自主知识产权的集群。我们非常幸运，能够运维和管理如此大规模的生产集群。但短时间....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云分布式应用服务
企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是应用全生命周期管理和监控的一站式PaaS平台，支持部署于 Kubernetes/ECS，无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ，Java支持Spring Cloud、Apache Dubbo近五年所有版本，多语言应用一键开启Service Mesh。
+关注