基于 Apache Hudi + Presto + AWS S3 构建开放Lakehouse
认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。包括诸如文本、图像、音频、视频和其他格式的信息。此外机器学习和人工智能在业务的各个方面变得越来越普遍，它们需要访问数据仓库之外的大量信息。 ...
基于Apache Hudi + MinIO 构建流式数据湖
Apache Hudi 是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。Hudi 不满足于将自己称为 Delta 或 Apache Iceberg 之类的开放文件格式，它提供表、事务、更新/删除、高级索引、流式摄取服务、数据聚簇/压缩优化和并发性。Hudi 于 2016 年推出，牢牢扎根于 Hadoop 生态系统，解释了名称背后的含义：Hadoop Upserts Deletes a....
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber 的全球数据仓库团队使用统一的、 PB 级、集中建模的数据湖使所有 Uber 的数据民主化。数据湖由使用维度数据建模技术[1]开发的基础事实、维度和聚合表组成，工程师和数据科学家可以自助方式访问这些表，为 Uber 的数据工程、数据科学、机器学习和报告提供支持。因此，计算这些表的 ETL（提取、转换、加载）管道对 Uber 的应用程序和服务至关重要，为乘客安全、ETA 预测、欺诈检测等核....
万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践
文章贡献者 Authors • 技术指导: 泰康人寿 数据架构资深专家工程师 王可 • 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公司战略对 Apache Hudi 进行的功能扩展与实施的详...
Apache Hudi在信息服务行业构建流批一体的实践
个人介绍 李昂 高级数据研发工程师 Apache Doris & Hudi Contributor 业务背景 部门成立早期, 为了应对业务的快速增长, 数仓架构采用了最直接的Lambda架构 1. 对数据新鲜度要求不高的数据, 采用离线数仓做维度建模, 采用每小时调度binlog+每日主键归并的方式实现T+1数据更新 2. 对数据时效性要...
降本百万！Notion 基于Apache Hudi构建LakeHouse
这篇博文是由 Notion 数据平台团队的软件工程师 Thomas Chow 和 Nathan Louie 于 2023 年 12 月 13 日发表的题为 Notion's Journey Through Different Stages of Data Scale 的 Hudi 现场活动的简短摘要。下面的视频剪辑给出了Notion 演讲的简短摘要，还可以查看演讲幻灯片[1]或查看完整演讲[2]....
Apache Doris 实时数据仓库的构建与技术选型方案
引言数据仓库想必每个行业从业者都在以各式各样的方式进行实践和应用，在久远一点叫做离线数仓，后来由被称为数据中台等演化名称，再往后，又衍生到现代化实时数据栈这样的概念中，但说到底，终究还是为了解决数据的接、存、管、算、查这五个要义的，无论是多么具有附加价值的其他能力，也都是围绕这五个基本核心功能延展的。那今天我们主要来念叨念叨，在我从业这些年沉淀下来的关于数据仓库方向的一些个人观点和看法，尤其这两....
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连接一个外部数据目录时，我们只能在Database 或 Table 层级进行对接。比如通过 create external table 的方式创建一个外部数据目录中的....
IO流【Java对象的序列化和反序列化、File类在IO中的作用、装饰器模式构建IO流体系、Apache commons-io工具包的使用】(四)-全面详解（学习总结---从入门到深化）
Java对象的序列化和反序列化 序列化和反序列化是什么当两个进程远程通信时，彼此可以发送各种类型的数据。 无论是何 种类型的数据，都会以二进制序列的形式在网络上传送。比如，我 们可以通过http协议发送字符串信息；我们也可以在网络上直接发 送Java对象。发送方需要把这个Java对象转换为字节序列，才能在 网络上传送；接收方则需要把字节序列再恢复为Java对象才能正常 读取。 把Java对象转换....
Apache ZooKeeper - 构建ZooKeeper源码环境及StandAlone模式下的服务端和客户端启动
源码环境搭建有一天大佬问我看过zk的源码吗…？好的好的 谁说不看呢说干就干clone sourcehttps://github.com/apache/zookeeper当然了，我要看 3.5.8这个版本的https://github.com/apache/zookeeper/tree/branch-3.5.8Clone ---- HTTPSIDEA里源码结构启动查找启动类根据经验，从启动脚本中去....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Apache更多构建相关
- Apache doris构建数据
- Apache kafka构建
- Apache paimon构建
- Apache构建lakehouse
- 构建Apache
- Apache构建流程
- Apache kylin构建
- Apache kylin流式构建
- Apache cube构建
- Apache增量cube构建
- Apache hudi构建
- Apache构建数据湖
- Apache构建平台
- Apache构建数据中台
- apachedoris案例集Apache构建
- Apache kylin构建cube
- Apache构建分析
- Apache增量构建
- Apache构建湖仓
- Apache构建实时数据湖
- Apache kylin增量构建
- Apache kylin权威指南构建
- Apache构建方案
- 构建Apache web服务器
- Apache平台构建
- Apache maven构建
- Apache azure构建
- Apache构建流式
Apache您可能感兴趣
- Apache开源
- Apache架构
- Apache学习
- Apache shenyu
- Apache flink
- Apache函数
- Apache实践
- Apache doris
- Apache湖仓
- Apache湖仓一体
- Apache配置
- Apache rocketmq
- Apache安装
- Apache php
- Apache dubbo
- Apache tomcat
- Apache服务器
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache从入门到精通
- Apache kafka
- Apache hudi
- Apache应用
- Apache web
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！
+关注