云原生大数据计算服务 MaxCompute数据湖的相关内容

文章 2024-07-28 来自：开发者社区

阿里巴巴大数据实践之数据建模：构建企业级数据湖

引言随着互联网和移动互联网的快速发展，数据已成为推动业务增长的重要驱动力。阿里巴巴作为全球领先的电子商务公司之一，其大数据平台支撑着整个集团的数据处理需求。本文将重点介绍阿里巴巴在数据建模领域的实践，包括数据湖的概念、数据建模的原则和方法、以及在实际业务场景中的应用案例。一、数据湖概念与重要性1.1 数据湖定义数据湖是一种存储企业所有原始数据的集中式存...

问答 2024-05-13 来自：开发者社区

随着大数据发展，中小企业是否有必要自建从开源Hadoop数据湖架构到云上托管数据入湖等完整的大数据体

随着大数据发展，中小企业是否有必要自建完整的大数据体系？

问答 2024-05-12 来自：开发者社区

数据湖和湖仓一体的架构适用场景是什么

数据湖和湖仓一体的架构适用场景是什么？

文章 2023-12-29 来自：开发者社区

数据仓库、数据湖、湖仓一体，究竟有什么区别？

近几年大数据概念太多了，数据库和数据仓库还没搞清楚，就又出了数据湖，现在又说什么“湖仓一体”。乙方公司拼命造概念，甲方公司不管三七二十一，吭哧吭哧花钱搞数据建设。到头来发现，钱也花了，人力也投入了，但最基本的业务需求都解决不了。这篇就专门来解释一下数据库、数据仓库、数据湖、湖仓一体到底都是什么以及怎么用。什么是数据库？可以把数据库理解为一个虚拟的图书馆，每一本书都代表了一个数据记录...

文章 2023-12-26 来自：开发者社区

第3章核心概念3.1 基本概念3.1.1 时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）\执行的所有操作的时间轴（timeline）\，这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由以下三个部分组成：*1）Instant action：在表上执行的操作类型\Ø COMMITS：一次commit表示将一批数据原子性地写入....

文章 2023-12-26 来自：开发者社区

Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突

解决spark模块依赖冲突修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml在382行的位置，修改如....

文章 2023-12-26 来自：开发者社区

Hudi:数据湖技术引领大数据新风口

Hudi:数据湖技术引领大数据新风口1.1 Hudi简介Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不....

文章 2023-12-26 来自：开发者社区

Hudi数据湖技术引领大数据新风口(二)编译安装

第2章编译安装2.1 编译环境准备本教程的相关组件版本如下：Hadoop3.1.3Hive3.1.2Flink1.13.6，scala-2.12Spark3.2.2，scala-2.12(1）安装Maven（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名tar -zxvf apache-maven-3.6.1-bin.tar.gz....

文章 2023-10-10 来自：开发者社区

数据平台发展史-从数据仓库数据湖到数据湖仓 2

2.3 数据仓库 vs 数据湖经过前面对数据仓库和数据湖的比较，我们可以看到，两者在设计上的根本分歧点是对包括存储系统访问、权限管理、建模要求等方面的把控：数据仓库，更加关注的是数据使用效率、大规模下的数据管理、安全/合规这样的企业级需求；数据仓库中，数据经过统一但开放的服务接口进入数据仓库，数据通常预先定义 schema，用户通过数据服务接口或者计算引擎访问分布式存储系统中的文件；数据仓库中，....

文章 2023-10-10 来自：开发者社区

数据平台发展史-从数据仓库数据湖到数据湖仓 1

数据平台发展史-从数据仓库数据湖到数据湖仓做数据的同学经常听到一些数据相关的术语，常见的包括数据仓库，逻辑数据仓库，数据湖，数据湖仓/湖仓一体，数据网格 data mesh,数据编织 data fabric等.笔者在这里回顾了下数据平台的发展史，也介绍和对比了下常见的概念，主要包括数据仓库，数据湖和数据湖仓，希望大家有所收获。1 数据平台概述所谓「数据平台，主要是指数据分析平台，其消费（分析）内....