号称史上最晦涩的算法Paxos,如何变得平易近人?

同时又要求在发生城市容灾的时候(同一个城市的多个机房全部不可用),可以完全不丢失任何数据的情况下,将写入点切换到非中心。而经典的multi-paxos并不能满足这些需求。经典理论中,多数派强同步以后即可完成...

老司机的微服务架构实现,照亮你的人生|朱攀

上永久保留,如果需要⼀⽉前甚⾄更久以前的系统⽇志,可以在 DLog 系统选择需要的⽇志范围,DLog 会将符合条件的⽇志从 S3 上下载并重新建⽇志索引。⽇志主要是为监控提供基础源数据,为定位问题提供依据。调用链...

《Hive编程指南》一第1章 基础知识

Hadoop实现了一个特别的计算模型,也就是MapReduce,其可以将计算任务分割成多个处理单元然后分散到一群家用的或服务器级别的硬件机器上,从而降低成本并提供水平可伸缩性。这计算模型的下面是一个被称为Hadoop...

表格存储如何实现高可靠和高可用

冗余可以实现容错,在数据层面一般表现为数据有多个副本,任意一份损坏不会影响数据完整性,在服务层面可以表现为有多个服务节点,任意一个节点宕机可以将服务迁移到另外的节点。服务高可用会依赖于数据高可靠,因为...

美联储加持的小众语言 Julia,能否成为机器学习的明日...

能被轻易部署于云端容器,但与云交互存在着风险:“在云端服务上,用 Julia 在整个簇(cluster)部署多个处理进程,就像 MapReduce 那样,是非常简便、高效的。但如果你需要与 DynamoDB 或 RedShift 这样的特定服务...

为什么大部分NoSQL不提供分布式事务?

像MongoDB,Cassandra,HBase,DynamoDB,和 Riak这些NoSQL缺乏传统的原子事务机制,所谓原子事务机制是可以保证一系列写操作要么全部完成,要么全部不会完成,不会发生只完成一系列中一两写操作;因为数据库不提供这种...

使用开源软件和Tectonic,摆脱云服务供应商的锁定

Operators条件下,Tectonic提供节点的容器操作系统Container Linux和etcd服务,以实现自动化操作。通过自动更新Kubernetes集群的控制平面,worker节点的操作系统和etcd服务实例,Tectonic管理员可以显著提高操作的...

《Amazon Aurora:Design Considerations for ...

一般采用副本选举来解决该问题:例如3副本的情况下,写必须要有2以上(Majority)副本写成功才可以,在读的情况下也必须保证有2: V-Read+V-Write>V-Copy Aruora设计中使用了3 AZ,每AZ 下2 Copy的设置,...

史上最全“大数据”学习资源整理

在一些系统中,多个这样的值映射可以与键相关联,并且这些映射被称为“列族”(具有映射值的键被称为“列”)。另一组也可称为“列式数据库”的技术因其存储数据的方式而有别于前一组,它在磁盘上或在存储器中——而...

Yahoo!Screwdriver:可扩展的持续集成工具

数据存储(Datastore):可插拔的NoSQL存储,用于维护流水线配置数据(DynamoDB、MongoDB、CouchDB、Postgres)。执行引擎和数据存储都使用了可插拔的架构,使得用户可按自身意向选用引擎。现在Yahoo!已开源了该持续...

与微服务一脉相承,Serverless适用何种场景?...

这些应用可以完全基于云的服务进行构建,比如 AWS 的 S3 和 DynamoDB 或者是阿里云的 OSS 和 TableStore。不过,问题在于总是有一些独立的服务器逻辑代码需要运行,传统的部署方法是使用云服务器来进行进程的托管。...

有了Tableau,为什么AWS还要做BI?

种方式在产品初期有很好的效果,但是到产品中后期进入精细化运营的时候,效率就会急速下降。后期,大量的报表冗余,无人使用,却每天消耗服务器资源。在数据平台/数据中心的组织架构下,临时需求的解决流程长、...

存储系统的分类

支持多个数据存储后端,包括BerkeleyDB、Disk、MySQL,还拥有Memcache和Spread集成 http://code.google.com/p/thrudb/ Thrudb is a set of simple services built on top of the Apache Thrift framework that ...

大数据分析平台产品对比之MaxCompute(原ODPS)篇

并且可以通过简单的控件拖拽方式决定多个任务间的依赖关系,不在需要编写复杂的任务调度工具。这的确节省了我大量的时间。一旦任务失败,会有报警短信发给我,不用担心白天由于报表没产出,老板给我脸色看。如果想...

【云栖风向标】VOL.2:1分钟带你了解阿里云2017财报

本期目录 阿里云2017财年营收达66.63亿元 连续8季度超过100%增长 重要通知 Google IO 2017为我们带来了什么 Twitter阿里巴巴“NASA计划”新进展:刷新视觉计算世界纪录 阿里云将增设马来西亚数据中心 纳吉布总理...

2013年全球最具影响力大数据企业排行榜

惠普在2012年获得的大数据营收名列第,总值为6.64亿美元。这家供应商还提供与之相关的硬件、软件以及服务,其最为知名的方案当数Vertica分析平台。3、Teradata Teradata在2012年获得全球第三大大数据厂商头衔,其...

云数据库 MongoDB-DynamoDB协议兼容版-DynamoDB协议兼容版实例支持详情

云数据库MongoDB版对DynamoDB协议提供了支持。本文详细介绍MongoDB对DynamoDB协议的兼容情况。背景信息 Amazon DynamoDB是一种完全托管的NoSQL数据库服务,提供快速而可预测的性能,能够实现无缝扩展。阿里云数据库...

云数据库 MongoDB-DynamoDB协议兼容版-获取DynamoDB协议兼容版实例的连接地址

DynamoDB协议兼容版实例仅提供一个连接地址,本文介绍该连接地址的获取方式。获取DynamoDB协议兼容版实例连接地址 登录MongoDB管理控制台。在页面左上角,选择实例所在的资源组和地域。在左侧导航栏,单击分片集群...

云数据库 MongoDB-DynamoDB协议兼容版-创建DynamoDB协议兼容版实例

Amazon DynamoDB是一种完全托管的NoSQL数据库服务,提供快速而可预测的性能,...说明 关于DynamoDB协议的更信息,请参见DynamoDB协议兼容版实例支持详情。数据库版本 选择MongoDB 4.0。存储引擎 固定为WiredTiger。...

云数据库 MongoDB-快速入门-分片集群快速入门-连接实例-通过程序代码连接DynamoDB协议兼容版实例

本文档通过AWS CLI、Python、Java多个维度,介绍如何连接到DynamoDB协议兼容版实例。前提条件 已创建DynamoDB协议兼容版实例(协议类型选择DynamoDB协议),创建方法请参见创建分片集群实例。准备工作 获取DynamoDB...

数据迁移-第三方云数据库迁移至云数据库MongoDB-使用NimoShake将Amazon DynamoDB迁移至阿里云

Executor线程可以启动多个,默认为4,您可以通过FullDocumentConcurrency参数调整Executor的个数。索引同步:NimoShake会在完成数据同步之后写入索引索引分为自带索引和用户索引两部分: 自带索引:如您有分区键...

数据迁移-第三方云数据库迁移至云数据库MongoDB-使用MongoDB工具将Amazon DynamoDB迁移至阿里云

前提条件 已经创建阿里云MongoDB实例,详情请参见创建副本集实例或创建分片集群实例。 注意事项 该操作为全量数据迁移,暂不支持增量数据迁移。为避免迁移前后数据不一致,在迁移开始前请...

云数据库 MongoDB-用户指南-数据迁移和同步-数据迁移-第三方云数据库迁移至云数据库MongoDB-使用...

NimoFullCheck是阿里云自主研发的用于检验源端DynamoDB和目的端MongoDB数据一致性的工具。本文档介绍如何使用NimoFullCheck进行一致性校验。前提条件 您已通过NimoShake将DynamoDB迁移到阿里云数据库。详情请参见...

云数据库 MongoDB-产品简介-产品优势

分片集群实例是基于多个副本集(每副本集使用三节点主从模式+0~5只读节点)组成,提供Mongos、Shard、ConfigServer三组件,您可以自由地选择Mongos和Shard节点的个数和配置,无限扩展性能及存储空间,组建不同...

云原生模数据库 Lindorm-解决方案-Lindorm for Cassandra,更好的云上Cassandra应用实践依赖

本文介绍如何通过Alibaba Lindorm扩展云数据库Cassandra的性能。Alibaba Lindorm简介 ...更企业特性:Lindorm for Cassandra具备更的企业特性,详情请参见下图。更企业特性请参考Lindorm产品首页。

云数据库 MongoDB-新功能发布记录-2021年

说明 分片集群实例默认最支持32Mongos节点和32Shard节点。如果业务需要32以上的Mongos节点或Shard节点,您可以提交工单申请,提交工单的方法请参见提交工单。2021-09-16 全部 添加Mongos节点 添加Shard节点 ...

云数据库 Cassandra-产品简介-什么是云数据库Cassandra

ApsaraDB for Cassandra是阿里云数据库团队精心构建的云服务,支持同城机房、备份恢复等企业灾备功能。阿里云数据库Cassandra团队,7*24小时保障您数据库的稳定性及安全,会不断改进性能,提供贴合业务的功能,...

云数据库 MongoDB-新功能发布记录-2020年

本文介绍云数据库MongoDB在2020年发布的产品功能和对应的文档动态。2020年12月 功能名称 功能描述 发布时间 ...MongoDB支持资源组设置,方便资源统一管理。2020-08-01 全部 升级数据库版本 2020年05月 ...

云数据库 Cassandra-最佳实践-Lindorm for Cassandra,更好的云上Cassandra应用实践依赖

本文介绍如何通过Alibaba Lindorm扩展云数据库Cassandra的性能。Alibaba Lindorm简介 ...更企业特性:Lindorm for Cassandra具备更的企业特性,详情请参见下图。更企业特性请参考Lindorm产品首页。

云数据库 MongoDB-快速入门-分片集群快速入门-创建分片集群实例

云数据库MongoDB提供的分片集群实例适用于高并发读写的场景。本文介绍云数据库MongoDB分片集群实例的创建方法。前提条件 ...说明 关于DynamoDB协议的更信息,请参见DynamoDB协议兼容版实例支持详情。...

云数据库 MongoDB-用户指南-实例管理-创建实例-创建分片集群实例

云数据库MongoDB提供的分片集群实例适用于高并发读写的场景。本文介绍云数据库MongoDB分片集群实例的创建方法。前提条件 ...说明 关于DynamoDB协议的更信息,请参见DynamoDB协议兼容版实例支持详情。...

云数据库 MongoDB-快速入门-使用前须知

在使用云数据库MongoDB前,您需要了解不同类型云数据库MongoDB实例本身存在的约束信息,使您初步了解不同类型云数据库MongoDB实例的使用限制,以帮助您选择更适合您的业务场景的实例。单节点实例 ...

云数据库 MongoDB-用户指南-数据迁移和同步-数据迁移和同步方案概览

恢复云数据库MongoDB单个或多个数据库 使用限制 单节点实例不支持增量数据迁移与同步。数据迁移方案 您可以通过以下方式迁移MongoDB数据库的数据。注意 单节点实例不支持增量数据迁移。通过数据传输服务DTS实现...

资源编排-资源类型-MongoDB-ALIYUN:MONGODB:ShardingInstance

以半角逗号(,)隔开,不可重复,最支持1000IP。支持格式: 0.0.0.0/0 10.23.12.24(IP) 10.23.12.24/24(CIDR模式,无类域间路由。24表示地址前缀的长度,取值范围:1~32。说明%和0.0.0.0/0表示任何IP地址都...

云数据库 MongoDB-用户指南-管理网络连接-修改连接地址

连接类型为DynamoDB兼容协议:支持修改ConfigServer节点的连接地址。操作步骤 登录MongoDB管理控制台。在页面左上角,选择实例所在的资源组和地域。根据实例类型,在左侧导航栏,单击副本集实例列表或分片集群实例...

云数据库 MongoDB-API参考-创建或克隆实例-CreateShardingDBInstance

调用CreateShardingDBInstance接口创建或者克隆MongoDB分片集群实例。请确保在使用该接口前,已充分了解MongoDB产品的收费方式和价格(中国站价格,国际站价格)。关于云数据库MongoDB实例的规格,请参见实例规格表...

云数据库 MongoDB-快速入门-分片集群快速入门-(可选)申请公网连接地址

说明 DynamoDB协议的分片集群实例不支持经典网络。公网连接地址 由于通过公网连接实例存在一定的安全风险,云数据库MongoDB实例默认提供专有网络连接地址。如果您要使用阿里云以外的设备(例如本地设备)连接云数据...

应用配置管理 ACM-Confd 参考-使用定制版 confd 以无侵入方式使用 ACM 配置

confd 是一款开源轻量配置管理工具,通过将存储于 etcd、Dynamodb、Redis、Vault、Zookeeper 等后端存储系统的数据与配置模板结合起来使用,可实现保持配置处于最新状态的目的。confd 支持的后端存储系统不包括 ACM...

云数据库 MongoDB-快速入门-副本集快速入门-(可选)申请公网连接地址

说明 DynamoDB协议的分片集群实例不支持经典网络。公网连接地址 由于通过公网连接实例存在一定的安全风险,云数据库MongoDB实例默认提供专有网络连接地址。如果您要使用阿里云以外的设备(例如本地设备)连接云数据...

云数据库 MongoDB-API参考-连接管理-DescribeShardingNetworkAddress

调用DescribeShardingNetworkAddress接口查询MongoDB分片集群实例的连接信息。该接口仅支持分片集群实例。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以...

云数据库 MongoDB-API参考-查询实例信息-DescribeDBInstanceAttribute

调用DescribeDBInstanceAttribute接口查询MongoDB实例详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 ...

【飞天存储服务月报】2018年9月刊

全局<em>二级索引</em>是表格存储内核提供的一个新特性(功能上类似 HBase+Phoenix 的全局索引或者 <em>DynamoDB</em> 的<em>二级索引</em>),该功能支持在指定列上建立单列索引或在<em>多</em>列上建立组合索引,生成的索引表中数据按用户指定的索引列...

【独家】一文读懂非关系型数据库(NoSQL)

数据库允许<em>多个</em>并发事务同时对其数据进行读写和修改的能力,隔离性可以防止<em>多个</em>事务并发执行时由于交叉执行而导致数据的不一致。事务隔离分为不同级别,包括读未提交(Read uncommitted)、读提交(read committed)...
< >
跳转至: GO
新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折