湖仓云原生大数据计算服务 MaxCompute 的相关内容

阿里云文档 2025-12-05

通过MaxCompute与DLF和OSS构建湖仓一体

通过MaxCompute与DLF和OSS的组合，可以实现数据仓库和数据湖的一体化，提供更加灵活和高效的数据处理能力。本文介绍如何通过MaxCompute、DLF和OSS构建湖仓一体，以及湖仓一体项目的管理。

阿里云文档 2025-05-23

由于湖仓一体1.0的外部项目（简称：外部项目1.0）功能及用法不再发展，且会收敛下线，如果继续使用MaxCompute访问联邦数据源，联邦方案需要升级至湖仓一体2.0。本文介绍了使用湖仓一体2.0开启项目级别元数据支持的Schema开关和SQL语法支持的Schema开关后，存量作业的兼容情况，以及将湖仓一体1.0外部项目的存量作业迁移至湖仓一体2.0外部Schema的不同场景的修改方法，以便于您进...

文章 2025-03-03 来自：开发者社区

从湖仓分离到湖仓一体，四川航空基于 SelectDB 的多源数据联邦分析实践

导读：随着川航大规模数据导入需求增长，数据响应频繁出现卡顿，原 Hadoop + Apache Doris 的数据架构存在着涉及组件多、并发性不足、数据导入受限的痛点。经过综合选型对比，川航选择引入 SelectDB 建设湖仓一体大数据分析引擎，取得了数据导入效率提升 3-6 倍，查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。本文转录自吴乐（四川航空信息技术部大数据架构.....

文章 2025-02-21 来自：开发者社区

数据无界、湖仓无界，Apache Doris 湖仓一体典型场景实战指南（下篇）

导读：湖仓一体是将数据湖和数据仓库的优势相结合的数据管理系统。Apache Doris 结合自身特性，提出了【数据无界】和【湖仓无界】核心理念。上篇文章已介绍了 Apache Doris 湖仓一体完整方案，本文将聚焦典型应用场景，进一步深入，帮助读者更好地理解和应用 Apache Doris 湖仓一体。在数据驱动决策的时代，湖仓一体架构以统一存储、统一计算、统一管理的创新形式，补齐了传统数.....

文章 2025-02-19 来自：开发者社区

数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）

在过去的数年间，数据分析技术栈经历了许多重要变革，从最初数据仓库概念的诞生，到数据湖的兴起，进而演进到湖仓一体解决方案。这一技术路线的演进，反映出现代企业在数据分析领域对性能、实时性、一致性、开放性、统一管理方面的需求不断增强。湖仓一体的演进 01 传统数据仓库的出现在企业信息化发展初期、业务流程数字化的不断推进下，积累的数据愈发繁杂。管理层亟需快速整理这些数据，清晰洞察业务状况以精准决策，....

文章 2025-02-19 来自：开发者社区

美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

作者：美的楼宇科技事业部先行研究中心智能技术部美的楼宇科技 IoT 数据平台建设背景美的楼宇科技事业部（以下简称楼宇科技）是美的集团旗下五大板块之一，产品覆盖多联机组、大型冷水机组、单元机、机房空调、扶梯、直梯、货梯以及楼宇自控软件和建筑弱电集成解决方案，远销海内外200多个国家。针对当前设备数据量庞大且持续增长、数据呈现半结构化特点的现状，现有系统仅停留在数据存...

文章 2024-12-31 来自：开发者社区

化整为零：湖仓数据平台一站式迁移

一、湖仓平台迁移概况这个话题相对小众，大家可能觉得数据湖和湖仓以建设为主，为何要做迁移以及迁移过程涉及哪些技术，此处不讲解技术细节，主要阐述做此类小众场景时思路的变化，希望给大家一些启示，今天的分享有三部分。第一是做lakehouse数据湖或数据仓库迁移的现状，第二如何通过新设计实现湖仓迁移效率最大化，第三展示新设计及落地时可供参考的部分。 1.数据湖仓迁移的背景与现...

阿里云文档 2024-12-23

MaxCompute湖仓一体如何进行事务管理

对Delta Table的所有数据修改操作，都会由MetaService统一进行事务管理，满足ACID特性，应用MVCC模型来保障读写快照隔离，采用OCC模型（乐观并发控制协议，Optimistic Concurrency Control）进行乐观事务并发控制。

文章 2024-09-27 来自：开发者社区

快手：从 Clickhouse 到 Apache Doris，实现湖仓分离向湖仓一体架构升级

作者｜快手大数据架构师李振炜、曾斯维、周思闽在当今这个数据洪流的信息时代下，数据已跃升为企业不可或缺的核心资产。深度挖掘并提炼数据内在价值，成为支撑企业战略决策的重要依据。在此背景下，快手建立了 OLAP 系统，该系统在快手应用极为广泛，每天承载近 10 亿的查询请求，为内外多个业务场景提供数据服务。具体场景包括： ToB 系统：商业化报表引擎、商业化 DMP、商业化磁力金牛、电商选品等...

文章 2024-06-10 来自：开发者社区

实时数仓 Hologres产品使用合集之湖仓加速版查询maxcompute外部表，有什么优化途径吗

问题一：Hologres我想问下这么设置系统级的喃,现在设置这个感觉只是临时生效啊？ Hologres我现在用set hg_experimental_functions_use_pg_implementation = 'to_char,to_date,to_timestamp';这个是能解决,但我想问下这么设置系统级的喃,现在设置这个感觉只是临时生效啊参考答...