引擎简介

Lindorm计算引擎是一款基于 云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务,满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...

计算层高可用

同时对于interactive模式下本身目标在于延迟敏感的分析场景,目前对于计算节点异常宕机的场景,计算引擎会通过查询级别重算,保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务,这类任务计算时间长,计算资源消耗大,如果依然查询级别...

Pandas API支持

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作,本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...

MaxFrame概述

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...

概述

存储节点(Data Node,DN)负责数据的持久化(面向行存数据),基于多数派Paxos协议提供数据高可靠、强一致保障,同时通过MVCC维护分布式事务的可见性,另外提供计算下推能力,以满足分布式计算下推要求(例如Project/Filter/Join/Agg等...

功能特性

计算 MaxCompute向用户提供了多种经典的分布式计算模型,提供TB、PB、EB级数据计算能力,能够更快速的解决用户海量数据计算问题,有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...

支持的云服务

MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力,并支持SQL、MapReduce、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,保障数据安全。更多DataWorks...

什么是MaxCompute

MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求,最大可达EB级别,并且MaxCompute已经在阿里巴巴...

基础概念

功能概览 使用过程中请注意:iGraph Gremlin语法与开源使用差异 其他相关服务 MaxCompute:大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案,提供了完善的数据导入方案以及多种经典的分布式计算模型,...

2019年

您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。2019-11-18 全部区域 JDBC概述 2019-10 功能名称 功能描述 发布时间 发布区域 相关文档 支持一次增加或删除多个分区 MaxCompute的DDL语义升级,支持一次增加或删除多...

网商银行

网商银行之所以能够顺利完成分布式的云计算架构建设,主要依托三方面的优势:承袭了蚂蚁集团的两项核心技术——分布式事务框架 XTS 和 OceanBase 数据库。完善的分布式架构辅助支撑平台。高度互联网化的研发运维体系。这三方面共同构筑了...

产品架构

计算服务(GraphCompute)一站式图计算解决方案,通过高性能的分布式计算引擎,提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累,为全球企业及开发者提供图技术服务

概述

使用说明 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术,为Python数据科学栈加速,包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下:Mars Tensor 接口 和Numpy保持一致,且支持大规模高维数组。示例代码...

数据科学计算概述

Mars则是一个基于张量的统一分布式计算框架,实现了Numpy大约70%的接口,并进行了分布式化,不仅大幅减少了分布式科学计算代码的编写难度,同时在性能上也有大幅提升。Mars核心功能如下:兼容及分布式化(2019年1月正式开源):支持将Numpy...

概述

分布式事务 DTX(Distributed Transaction-eXtended)是蚂蚁集团自主研发的金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的...

中间件产品总览

提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志,还可以通过工作流进行任务...

概述

SOFAStack 提供了一套用于快速构建金融级分布式架构的中间件,是在严苛的金融场景里锤炼出来的最佳实践。要使用 SOFA 中间件,例如微服务或消息队列,推荐使用 SOFABoot 框架进行开发。SOFABoot SOFABoot 是蚂蚁科技基于 Spring Boot 自研...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob、Spring Schedule,K8s Job,支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批,具有高可用、可观测、可运维和低延时等能力。...

分布式序列问题

分布式序列是否全局唯一 单库单表的分布式序列可以保证生成的序列 ID 全局唯一。分库分表的分布式序列仅保证单个分片的序列 ID 唯一,如果需要确保分库分表的分布式序列全局唯一,可以在序列 ID 中拼接分库分表位,以此保证全局唯一。分布...

产品架构

Storage Disaggregation(存储计算分离架构)存储和Shared Storage类似,有一个分布式的共享存储集群,计算层处理数据的模式和Shared Nothing类似,数据是分片的,每个Shard只处理自己所在分片的数据,每个计算节点还可以有本地缓存。...

产品优势

微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构,具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势,并提供丰富的功能来帮助用户简化分布式系统的管理,让业务开发人员可以专注于业务逻辑实现,提升研发...

常见问题

本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟、物理上?可以,SOFAStack 部署支持物理、虚机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK?SOFAStack 部署支持多云异构、目前支持华为云、开源 ...

产品优势

分布式中间件 蚂蚁分布式中间件的产品发展路径,一直秉承引领和拥抱业界先进标准和实践,同时亦能满足传统金融架构的平滑迁移、融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...

组件中心

中间件 分布式链路跟踪 一款实时监控并管理企业应用性能和故障的云服务,其提供数字化性能管理解决方案,帮助企业在分布式架构下快速发现并准确定位应用全生命周期的性能问题。任务调度 提供分布式任务调度框架,实现任务的分布式处理,并...

应用场景

SOFABoot 可帮助用户快速搭建高效、可靠的分布式应用,同时能与 Spring Boot 工程无缝集成,降低用户的迁移成本。快速开发分布式应用 SOFABoot 框架集成了所有 SOFA 中间件,以“依赖即服务”的调用形式实现快速配置,轻松搭建稳定、可靠、...

依赖与配置项

分布式事务不仅支持 SOFABoot 框架,也支持纯 Spring 的应用场景。本文将分别介绍针对不同的服务框架所要预先完成的依赖与配置项操作。无论是事务发起方还是参与者均需要完成本文的依赖与配置项操作。环境要求 必须使用 JDK 1.7 或以上版本...

产品优势

高性能 支持秒级别调度,轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一;专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等,无需额外费用...

参考:渐进式计算

渐进式计算(Progressive Computing)是处于传统的流计算和批处理之间的一种计算方式,具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...

参与者接入模式

使用分布式事务涉及两个核心角色:发起方:指的是开启分布式事务的应用系统。参与者:指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式:TCC 模式、FMT 模式 与 Saga...

金融级云原生全栈解决方案

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于构建金融级云原生分布式应用的技术栈。包含构建金融级云原生架构所需的各个组件,也是在金融场景里锤炼出来的最佳实践,提供分布式中间件、应用运维管理、技术风险...

适用场景

性能表现层面,因为天然支持分布式,抵御业务的超高并发是其强项,配合单机并行计算、多DAG计算,PolarDB-X 1.0 能够覆盖绝大多数在线业务的复杂计算需求。按应用生命周期发展选择 PolarDB-X 1.0 各个拆分模式可无缝平滑打通,全方位覆盖...

可用性与可靠性

主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库,对于所有的分布式系统来说,在通过分布式来增强性能的同时,也带来了节点故障率增高的问题,通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...

强一致分布式事务

如果事务内写入的数据涉及多个分区,PolarDB-X 的计算节点将会使用两阶段提交(Two-phase Commit Protocol,简称2PC)方式提交事务,即便在事务提交过程中发生节点宕机等问题,基于2PC的事务恢复机制也能确保事务原子性。MVCC多版本 以上面...

产品优势

变更管控与保障 针对金融级场景下大规模分布式系统的特点,提供了丰富的发布策略以满足不同的场景,如:分组发布、Beta 发布、灰度发布等,帮助传统架构平滑过渡,适应金融技术风险保障需求,实现大规模金融级运维场景下的容器服务落地。...

什么是企业级分布式应用服务EDAS

企业级分布式应用服务EDAS(Enterprise Distributed Application Service)是一个应用托管和微服务管理的云原生PaaS平台,提供应用开发、部署、监控、运维等全栈式解决方案,同时支持Spring Cloud和Apache Dubbo(以下简称Dubbo)等微服务...

HSF概述

高速服务框架HSF(High-speed Service Framework),是在阿里巴巴广泛使用的分布式RPC服务框架。概述 HSF连通不同的业务系统,解耦系统间的实现依赖。HSF从分布式应用的层面,统一了服务的发布与调用方式,从而帮助用户更加方便、快速地...

什么是 SOFATracer

SOFATracer 是蚂蚁金服基于 OpenTracing 规范开发的分布式链路跟踪系统,其核心理念就是通过一个全局的 TraceId 将分布在各个服务节点上的同一次请求串联起来。通过统一的 TraceId 将调用链路中的各种网络调用情况以日志的方式记录下来,...

PyODPS概述

使用这些接口最终都会翻译成SQL到MaxCompute计算集群做分布式计算,并且本地几乎没有任何的内存消耗,相比于单机有很大的性能提升。以下以一个分词的示例为例,为您对比两种方式的代码区别。示例场景 用户需要通过分析每天产生的日志字符串...

应用场景

多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统,拥有弹性扩容和异地多活的能力,实现技术安全自主可控,突破业务发展瓶颈,并减少开发及运维成本。实现轻型银行,助力业务快速发展和持续创新。异地...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 轻量应用服务器 云服务器 ECS 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用