文章 2024-06-12 来自:开发者社区

使用Apache Spark从MySQL到Kafka再到HDFS的数据转移

使用Apache Spark从MySQL到Kafka再到HDFS的数据转移 在本文中,将介绍如何构建一个实时数据pipeline,从MySQL数据库读取数据,通过Kafka传输数据,最终将数据存储到HDFS中。我们将使用Apache Spark的结构化流处理和流处理功能,以及Kafka和HDFS作为我们的数据传输和存储工具。 1、环境设置: 首先,确保在您的环境中正确安装...

使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
阿里云文档 2023-07-26

如何在文件存储HDFS版上使用ApacheHBase_文件存储HDFS版(HDFS)

本文主要介绍在文件存储 HDFS 版上使用Apache HBase的方法。

Apache RocketMQ:如何从互联网时代演进到云

1 课时 |
266 人已学 |
免费

Apache Flink 入门到实战 - Flink开源社区出品

16 课时 |
1574 人已学 |
免费

Apache Flink 入门

9 课时 |
5066 人已学 |
免费
开发者课程背景图
阿里云文档 2023-07-26

在挂载文件存储HDFS版的Hadoop集群上安装及使用ApacheFlink

本文介绍如何在挂载文件存储 HDFS 版的Hadoop集群上安装及使用Apache Flink。

文章 2023-02-03 来自:开发者社区

《海量数据分布式存储——Apache HDFS之最新进展》电子版地址

《海量数据分布式存储——Apache HDFS之最新进展》海量数据分布式存储——Apache HDFS之最新进展 电子版下载地址: https://developer.aliyun.com/ebook/1401 电子书: </div>

《海量数据分布式存储——Apache HDFS之最新进展》电子版地址
文章 2022-11-19 来自:开发者社区

Apache Flume- 案例-监控采集文件夹变化(sqoopdir、HDFS)|学习笔记

开发者学堂课程【Flume 基础应用实战-企业全场景解决方案:Apache Flume- 案例-监控采集文件夹变化(sqoopdir、HDFS)】学习笔记,与课程紧密联系,让用户快速学习知识。  课程地址:https://developer.aliyun.com/learning/course/715/detai...

Apache Flume- 案例-监控采集文件夹变化(sqoopdir、HDFS)|学习笔记
问答 2021-12-09 来自:开发者社区

Apache Flume的HDFS Sink通过什么来写入?

Apache Flume的HDFS Sink通过什么来写入?

文章 2020-04-29 来自:开发者社区

在文件存储 HDFS 上使用 Apache Flink

镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站 一、准备工作 在文件存储HDFS上使用Apache Flink,需要先完成以下准备工作。 说明 本文档的操作步骤中涉及的安装包版本号、文件夹路径,请根据实际情况进行替换。 开通文件存储HDFS服务并创建文件系统实例和挂载点,详情请参见HDFS快速入门。 在计算节点上安装JDK。版本不能低于1.8。 在计算节点上安装Scala。Scal...

在文件存储 HDFS 上使用 Apache Flink
问答 2020-03-31 来自:开发者社区

如何实现在文件存储HDFS上使用Apache Flink?

如何实现在文件存储HDFS上使用Apache Flink?

问答 2020-03-31 来自:开发者社区

如何实现在文件存储HDFS上使用Apache Spark?

如何实现在文件存储HDFS上使用Apache Spark?

问答 2018-11-28 来自:开发者社区

如何使用Apache Flink读取HDFS中的parquet文件?

我只找到TextInputFormat和CsvInputFormat。那么如何使用Apache Flink在HDFS中读取parquet文件?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。