文章 2024-06-14 来自:开发者社区

数据仓库与数据湖在大数据架构中的角色与应用

在大数据时代,企业对数据的管理和分析需求日益增长,传统的数据存储和处理方式已难以满足多元化、高时效性的数据分析要求。为此,数据仓库和数据湖作为两种重要的数据管理架构应运而生,它们在大数据生态系统中扮演着不同但互补的角色。本文旨在深入探讨数据仓库与数据湖的核心概念、技术特点、应用场景,并通过示例代码展示其实际应用,...

阿里云文档 2024-06-07

EMR Serverless StarRocks产品架构介绍

本文为您介绍EMR Serverless StarRocks的架构。

SQL调优与架构优化

10 课时 |
61 人已学 |
免费

容器应用的高弹性架构

3 课时 |
32 人已学 |
免费

容器应用的高弹性架构

9 课时 |
349 人已学 |
免费
开发者课程背景图
阿里云文档 2024-05-23

数据查询DQL和数据操作DML的架构设计核心要点

为了方便用户操作Delta Table,MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持,并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍数据查询DQL和数据操作DML的架构设计核心要点。

阿里云文档 2024-05-22

基于Delta Table构建近实时增全量一体化链路实践

面对当前日益复杂且对数据时效性要求极高的近实时业务场景,MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。

阿里云文档 2024-05-22

高并发近实时增量写入场景的架构设计的基本概念

数据流入Delta Table主要存在近实时增量写入和批量写入两种场景,本文为您介绍高并发近实时增量写入场景的架构设计。

阿里云文档 2024-05-22

什么是Delta Table,有哪些基本概念

Delta Table的增量存储和处理架构的特殊设计主要集中在五个模块:数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织,其他部分与MaxCompute通用的架构一致。本文为您介绍Delta Table的核心架构要点。

文章 2022-02-17 来自:开发者社区

数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体

作者 |关涛、李睿博、孙莉莉、张良模、贾扬清(from 阿里云智能计算平台) 黄波、金玉梅、于茜、刘子正(from 新浪微博机器学习研发部) 编者按 随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么,是技术路线之....

数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

金融级分布式架构

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。

+关注