云原生大数据计算服务 MaxCompute引擎架构的相关内容

阿里云文档 2025-03-19

什么是Delta Table,有哪些基本概念

MaxCompute Delta Table是MaxCompute推出的增量数据表格式。Delta Table支持分钟级数据导入，底层使用AliORC作为文件格式，支持UPSERT语义，并能够提供按照CDC（Change Data Capture）格式读写增量数据。Delta Table依赖于MaxCompute存储服务和元数据服务，自动进行数据管理。本文概要介绍MaxCompute Delta ...

阿里云文档 2025-01-24

基于Delta Table构建近实时增全量一体化链路实践

面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。

阿里云文档 2024-12-26

高并发近实时增量写入场景的架构设计的基本概念

数据流入Delta Table主要存在近实时增量写入和批量写入两种场景，本文为您介绍高并发近实时增量写入场景的架构设计。

文章 2024-12-20 来自：开发者社区

大数据时代的引擎：大数据架构随记

大数据架构通常可以分为以下几层：添加图片注释，不超过 140 字（可选）一、数据采集层添加图片注释，不超过 140 字（可选） ...

文章 2024-10-09 来自：开发者社区

云栖实录 | 开源大数据全面升级：Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展

演讲人：王峰｜阿里云智能集团研究员、开源大数据平台负责人李钰｜阿里云智能集团资深技术专家范振｜阿里云智能集团高级技术专家李劲松｜阿里云智能集团高级技术专家蒋乾｜七猫免费小说数仓负责人活动： 2024 云栖大会 - 开源大数据专场基于向量化的大数据计算技术在近几年呈现爆发趋势，Databricks 推出了向量化 Spark 引擎-Photon，Facebook 开源了 ...

阿里云文档 2024-06-07

EMR Serverless StarRocks产品架构介绍

本文为您介绍EMR Serverless StarRocks的架构。

阿里云文档 2024-06-04

如何在EMR-HBase集群将存算一体架构转换为存算分离架构

本文为您介绍对于EMR-HBase集群，如何将存算一体架构转换为存算分离架构。

文章 2022-02-16 来自：开发者社区

开源大数据引擎：Greenplum 数据库架构分析

Greenplum 数据库是最先进的分布式开源数据库技术，主要用来处理大规模的数据分析任务，包括数据仓库、商务智能(OLAP)和数据挖掘等。自2015年10月正式开源以来，受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。　　一. Greenplum数据库简介大数据是个炙手可热的词，各行各业都在谈。一谈到大数据，好多人认为就是hadoop。实际上Had.....

文章 2022-02-16 来自：开发者社区

详解开源大数据引擎Greenplum的架构和技术特点

Greenplum的MPP架构 Greenplum（以下简称GPDB）是一款开源数据仓库。基于开源的PostgreSQL改造，主要用来处理大规模数据分析任务，相比Hadoop，Greenplum更适合做大数据的存储、计算和分析引擎。 GPDB是典型的Master/Slave架构，在Greenplum集群中，存在一个Master节点和多个Segment节点，其中每个节点上可以运行多个数据库。Gre....

文章 2021-12-31 来自：开发者社区

给 K8s 装上大数据调度引擎：伏羲架构升级 K8s 统一调度

作者 | 冯亦挥引言基于 K8s 的统一调度是阿里集团的核心项目，随着2021年双十一落下帷幕，这个历时一年多，汇集了蚂蚁、电商、搜索、计算平台等几大调度团队的联合项目在生产场景得到了终极验证。作为统一调度项目的核心团队，伏羲成功地将 MaxCompute 弹内几万台机器、数百万核计算资源接入了统一调度系统，全程对业务和用户完全无感，无一故障，无一破线，完美实现了“飞行中更换引擎”的目标。统一调....