通过数据湖构建DLF构建一站式数据入湖与分析
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。
基于 Apache Hudi 构建分析型数据湖
为了更好地发展业务，每个组织都在迅速采用分析。在分析过程的帮助下，产品团队正在接收来自用户的反馈，并能够以更快的速度交付新功能。通过分析提供的对用户的更深入了解，营销团队能够调整他们的活动以针对特定受众。只有当我们能够大规模提供分析时，这一切才有可能。 对数据湖的需求 在 NoBrokercom[1]，出于操作目的，事务数据存储在基于 SQL 的数据库中，事件数据存储在 No-S...
基于Apache Hudi + MinIO 构建流式数据湖
Apache Hudi 是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。Hudi 不满足于将自己称为 Delta 或 Apache Iceberg 之类的开放文件格式，它提供表、事务、更新/删除、高级索引、流式摄取服务、数据聚簇/压缩优化和并发性。Hudi 于 2016 年推出，牢牢扎根于 Hadoop 生态系统，解释了名称背后的含义：Hadoop Upserts Deletes a....
Uber基于Apache Hudi增量 ETL 构建大规模数据湖
Uber 的全球数据仓库团队使用统一的、 PB 级、集中建模的数据湖使所有 Uber 的数据民主化。数据湖由使用维度数据建模技术[1]开发的基础事实、维度和聚合表组成，工程师和数据科学家可以自助方式访问这些表，为 Uber 的数据工程、数据科学、机器学习和报告提供支持。因此，计算这些表的 ETL（提取、转换、加载）管道对 Uber 的应用程序和服务至关重要，为乘客安全、ETA 预测、欺诈检测等核....
快速构建轻量级云原生数据湖服务（二）
开发者学习笔记【阿里云云数据库助理工程师（ACA）认证：快速构建轻量级云原生数据湖服务（二）】课程地址：https://edu.aliyun.com/course/3112080/lesson/19071 快速构建轻量级云原生数据湖服务（二）三、 DLA典型应用场景介绍 首先通过外部各种数据源的接入，比如将数据上传到OSS，或者通过T+1的方式，将数据批量导入到OSS，或者是....
快速构建轻量级云原生数据湖服务（一）
开发者学习笔记【阿里云云数据库助理工程师（ACA）认证：快速构建轻量级云原生数据湖服务（一）】课程地址：https://edu.aliyun.com/course/3112080/lesson/19071 快速构建轻量级云原生数据湖服务（一） 课程目标学习完本课程后，你将能够：1、了解数据库的基本概念、云原生数据湖应用场景和业务价值2、掌握阿里阿里云DLA功能特性、基本技术原....
AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
【先打一波小广告】阿里云AnalyticDB MySQL升级为湖仓一体架构，支持高吞吐离线处理和高性能在线分析，可无缝替换CDH/TDH/Databricks/Presto/Spark/Hive等。1.目前湖仓版开放了线上训练营，参加实验免费赢耳机/充电宝/卫衣等好礼，报名链接：https://developer.aliyun.com/trainingcamp/e30b5d96a3e740f5a....
深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析
文/李少锋阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版是基于湖仓一体架构打造的实时湖仓。本文将分享AnalyticDB MySQL Spark助力构建低成本数据湖分析的最佳实践。全文目录：AnalyticDB MySQL介绍AnalyticDB MySQL Serverless Spark核心优化基于AnalyticDB MySQL湖仓版的最佳实践*文章转载自DataFunT....
AnalyticDB MySQL Spark 助力在OSS上构建低成本数据湖
前言随着互联网的发展，数据量的爆炸式增长已经成为明显趋势。在这种情况下，企业、政府等各种机构都面临着如何存储，管理和分析庞大的数据量的问题。阿里云对象存储OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。OSS对象存储采用一系列的索引和存储技术，可以将数据存储在廉价的存储设备上，从而大大降低数据存储成本。对象存储扁平命名空间的特性也让数据....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
