问答 2024-08-19 来自:开发者社区

Delta Lake 如何保证湖仓架构的可靠性、安全性和高性能?

Delta Lake 如何保证湖仓架构的可靠性、安全性和高性能?

文章 2024-03-12 来自:开发者社区

Data Lake架构揭秘

1. 引入 为在组织的数据环境中创造最大价值,传统的决策支持系统架构难以满足该需求。需要开发新的架构模式以释放数据的价值。为了充分利用大数据的价值,组织需要拥有灵活的数据架构,并能够从其数据生态系统中获取最大价值。 Data Lake概念已经存在了一段时间。但是,我还是看到很多组织结构很难理解这个概念,因为他们对其的理解仍然禁锢在传统的企业数据仓库范式中。 本文将深入研究...

Data Lake架构揭秘
文章 2022-12-18 来自:开发者社区

谈谈如何从数据湖(Data Lake)架构转向数据网格(Data Mesh)架构

以上思路的主要转变是将域数据产品视为首要关注点,将数据湖工具和管道视为次之关注点。这将当前的架构模式从集中式数据湖转变为可以很好地协同工作的数据产品生态系统,即数据网格。同样的原则也适用于用于业务报告和可视化的数据仓库。它只是网格上的一个节点,并且可能位于网格的面向消费者的边缘上。尽管数据网格实践被应用在有些客户中,但企业规模性的采用仍有很长的路要走。这并不是技术的限制,我们今天使用的所有工具都....

谈谈如何从数据湖(Data Lake)架构转向数据网格(Data Mesh)架构
问答 2022-07-29 来自:开发者社区

什么是基于Delta Lake的架构设计?

什么是基于Delta Lake的架构设计?

问答 2022-07-29 来自:开发者社区

Delta Lake的架构优势是什么?

Delta Lake的架构优势是什么?

问答 2022-07-29 来自:开发者社区

Delta Lake与Databricks开源和Lakehouse架构的关系是什么?

Delta Lake与Databricks开源和Lakehouse架构的关系是什么?

文章 2022-06-14 来自:开发者社区

关于 Data Lake 的概念、架构与应用场景介绍

数据湖(Data Lake)概念介绍什么是数据湖(Data Lake)?数据湖的起源,应该追溯到2010年10月,由 Pentaho 的创始人兼 CTO, James Dixon 所提出,他提出的目的就当时历史背景来看,其实是为了推广自家产品 Pentaho。当时核心要解决的问题是传统数据仓库报表分析面临的两个问题:• 只使用一部分属性,这些数据只能回答预先定义好(pre-determined)....

文章 2022-06-01 来自:开发者社区

关于 Data Lake 的概念、架构与应用场景介绍

数据湖(Data Lake)概念介绍什么是数据湖(Data Lake)?数据湖的起源,应该追溯到2010年10月,由 Pentaho 的创始人兼 CTO, James Dixon 所提出,他提出的目的就当时历史背景来看,其实是为了推广自家产品 Pentaho。当时核心要解决的问题是传统数据仓库报表分析面临的两个问题:只使用一部分属性,这些数据只能回答预先定义好(pre-determined)的问....

关于 Data Lake 的概念、架构与应用场景介绍
文章 2022-02-17 来自:开发者社区

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

作者简介:张宽天,毕业于华中科技大学,先后在华为、阅文集团从事数据开发方面工作,2019年加入流利说,担任数据工程师,负责数据湖相关工作。 背景 流利说目前的离线计算任务中,大部分数据源都是来自于业务 DB,业务DB数据接入的准确性、稳定性和及时性,决定着下游整个离线计算 pipeline 的准确性和及时性。同时,我们还有部分业务需求,需要对 DB 中的数据和 hive 中的数据做近实时的联合查....

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践
文章 2022-02-17 来自:开发者社区

Delta Lake,让你从复杂的Lambda架构中解放出来

作者介绍李潇,现就职于 Databricks,管理两跨国团队,专注于 Apache Spark, Databricks Runtime 和 Koalas 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学,后在佛罗里达大学(University of Florida)获计算机博士学位, 曾就职于 IBM,获发明大师称号(Master Inventor),在数....

Delta Lake,让你从复杂的Lambda架构中解放出来

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

金融级分布式架构

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。

+关注