云原生大数据计算服务 MaxCompute数据湖的相关内容

阿里云文档 2024-11-26

启用Trino语法进行数据湖分析

StarRocks 3.x版本在进行数据湖分析时，支持兼容Trino语法。本文介绍如何在StarRocks中利用Trino语法进行数据湖分析，特别是针对从Trino迁移至StarRocks的用户，旨在实现无缝切换且无需更改原有SQL语句。

阿里云文档 2024-10-24

快速使用数据湖分析实例

数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。本文以创建Hive Catalog为例，为您介绍如何查询Hive上的数据。

阿里云文档 2024-10-15

使用物化视图加速数据湖查询

StarRocks提供了开箱即用的数据湖查询功能，非常适用于对湖中的数据进行探查式查询分析。通过使用异步物化视图，您可以为数据湖中的报表和应用实现更高的并发，以及更好的性能。本文为您介绍如何使用StarRocks的异步物化视图来优化数据湖中的查询性能。

阿里云文档 2024-09-20

在MaxCompute中使用DLF Catalog

本文主要介绍如何在DataWorks环境中整合MaxCompute的计算能力与DLF 2.0 Catalog服务，帮助您实现高效元数据管理及数据操作。

文章 2024-08-26 来自：开发者社区

【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成：解锁企业级数据湖的无限潜能！

随着大数据技术的发展，Apache Spark 成为了处理大规模数据集的首选工具。EMR (Elastic MapReduce) 是亚马逊提供的一项云服务，它简化了设置和运行 Spark 集群的过程。Delta Lake 和 DLF (Data Lake Framework) 是两个重要的开源项目，它们共同提升了数据湖的可靠性和性能。本文将通过具体的案例...

文章 2024-08-16 来自：开发者社区

深入解析大数据核心概念：数据平台、数据中台、数据湖与数据仓库的异同与应用

大数据领域内的诸多概念常常让人困惑，其中数据平台、数据中台、数据湖和数据仓库是最为关键的几个。 1. 数据平台定义：数据平台是一个综合性的技术框架，旨在支持整个数据生命周期的管理和使用。它包含数据采集、存储、处理、分析和可视化等多个环节。特点：全流程支持：从数据的生成、采集、存储、处理到分析和展现，数据平台提供一整套解决方案。高扩...

文章 2024-07-28 来自：开发者社区

阿里巴巴大数据实践之数据建模：构建企业级数据湖

引言随着互联网和移动互联网的快速发展，数据已成为推动业务增长的重要驱动力。阿里巴巴作为全球领先的电子商务公司之一，其大数据平台支撑着整个集团的数据处理需求。本文将重点介绍阿里巴巴在数据建模领域的实践，包括数据湖的概念、数据建模的原则和方法、以及在实际业务场景中的应用案例。一、数据湖概念与重要性1.1 数据湖定义数据湖是一种存储企业所有原始数据的集中式存...

问答 2024-05-13 来自：开发者社区

随着大数据发展，中小企业是否有必要自建从开源Hadoop数据湖架构到云上托管数据入湖等完整的大数据体

随着大数据发展，中小企业是否有必要自建完整的大数据体系？

问答 2024-05-12 来自：开发者社区

数据湖和湖仓一体的架构适用场景是什么

数据湖和湖仓一体的架构适用场景是什么？

文章 2023-12-29 来自：开发者社区

数据仓库、数据湖、湖仓一体，究竟有什么区别？

近几年大数据概念太多了，数据库和数据仓库还没搞清楚，就又出了数据湖，现在又说什么“湖仓一体”。乙方公司拼命造概念，甲方公司不管三七二十一，吭哧吭哧花钱搞数据建设。到头来发现，钱也花了，人力也投入了，但最基本的业务需求都解决不了。这篇就专门来解释一下数据库、数据仓库、数据湖、湖仓一体到底都是什么以及怎么用。什么是数据库？可以把数据库理解为一个虚拟的图书馆，每一本书都代表了一个数据记录...