问答 2024-05-13 来自:开发者社区

随着大数据发展,中小企业是否有必要自建从开源Hadoop数据湖架构到云上托管数据入湖等完整的大数据体

随着大数据发展,中小企业是否有必要自建从开源Hadoop数据湖架构到云上托管数据入湖等完整的大数据体系?

阿里云文档 2024-05-10

启用Trino语法进行数据湖分析

StarRocks 3.x版本在进行数据湖分析时,支持兼容Trino语法。本文介绍如何在StarRocks中利用Trino语法进行数据湖分析,特别是针对从Trino迁移至StarRocks的用户,旨在实现无缝切换且无需更改原有SQL语句。

大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析

4 课时 |
138 人已学 |
免费
开发者课程背景图
阿里云文档 2024-05-08

快速使用数据湖分析实例

数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据,并涵盖OSS、OSS-HDFS、HDFS等平台,无需数据迁移即可实现快速的数据湖查询分析,且其性能比Presto高出3到5倍。本文以创建Hive Catalog为例,为您介绍如何查询Hive上的数据。

文章 2023-10-22 来自:开发者社区

大数据Hadoop之——Apache Hudi 数据湖实战操作(Spark,Flink与Hudi整合)

一、概述Hudi(Hadoop Upserts Deletes and Incrementals),简称Hudi,是一个流式数据湖平台,支持对海量数据快速更新,内置表格式,支持事务的存储层、 一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具,它可以以极低的延迟将数据快...

大数据Hadoop之——Apache Hudi 数据湖实战操作(Spark,Flink与Hudi整合)
文章 2023-08-22 来自:开发者社区

大数据技术解析:Hadoop、Spark、Flink和数据湖的对比

随着数字化时代的到来,数据已经成为企业和组织的重要资产之一。为了更好地处理、分析和挖掘海量数据,大数据技术逐渐崭露头角。在本文中,我们将深入探讨大数据处理领域中的一些关键技术,包括 Hadoop、Spark、Flink 和数据湖,分析它们的优势、劣势以及适用场景。 Hadoop Hadoop 是一个开源的分布式计算框架,旨在处理大规模数据。它的核心组件包括分布式文件系统 HDFS 和 M...

大数据技术解析:Hadoop、Spark、Flink和数据湖的对比
阿里云文档 2023-07-20

介绍如何通过数据集成实时入湖

本文以MySQL实时入湖写入至OSS场景为例,为您介绍如何通过数据集成实时入湖。

阿里云文档 2023-06-07

如何使用StarRocks的数据湖分析能力查询阿里云OSS

本文为您介绍如何使用StarRocks的数据湖分析能力查询阿里云OSS。

阿里云文档 2023-01-28

Dataflow集群如何连接DLF,并读取Hudi全量数据

EMR-3.38.3及后续版本的DataFlow集群,可以通过数据湖元数据DLF(Data Lake Formation)作为元数据读取DataLake集群或自定义集群中的数据。本文为您介绍Dataflow集群如何连接DLF,并读取Hudi全量数据。

文章 2022-02-17 来自:开发者社区

JindoFS: 云上大数据的高性能数据湖存储方案

本场视频链接:云上大数据的一种高性能数据湖存储方案 ppt观看:https://www.slidestalk.com/AliSpark/0761944 EMR JindoFS背景 计算存储分离已经成为云计算的一种发展趋势。在计算存储分离之前,普遍采用的是传统的计算存储相互融合的架构(下图左侧),但是这种架构存在一定的问题,比如在集群扩容的时候会面临计算能力和存储能力相互不匹配的问题。用户在某些.....

JindoFS: 云上大数据的高性能数据湖存储方案
文章 2022-02-17 来自:开发者社区

JindoFS解析 - 云上大数据高性能数据湖存储方案

作者:殳鑫鑫,花名辰石,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。 2019 年云栖大会上,EMR Jindo 的技术存储分离方案得到很大的关注,视频直达链接【云上大数据的一种高性能数据湖存储方案】 【EMR打造高效云原生数据分析引擎】 JindoFS背景 计算存储分离是云计算的一种发展趋势,传统的计算存储相互融合的的架构存在一...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐