问答 2024-02-06 来自:开发者社区

flink cdc可以时间监控hdfs的文件变化吗 ?

Flink CDC能否实时监控HDFS上的文件变化?例如,能否快速捕获到HDFS某个文件中某条数据的变动?

问答 2024-01-24 来自:开发者社区

Flink CDC里写数据到hdfs的hudi表,为什么看不到数据文件啊?

Flink CDC里写数据到hdfs的hudi表,为什么看不到数据文件啊?hudi写数据前需要建表吗?算子页面上都是0%,下面字节传输和接受是有值的,这是什么原因啊?

文章 2024-01-18 来自:开发者社区

HDFS如何处理大文件和小文件的存储和访问?

HDFS如何处理大文件和小文件的存储和访问?HDFS(Hadoop分布式文件系统)是一个用于存储和处理大规模数据的分布式文件系统。它通过分块存储和并行读取的策略来处理大文件,通过合并存储和元数据压缩的策略来处理小文件。对于大文件的存储和访问,HDFS采用了分块存储和并行读取的策略。具体来说,大文件在存储到HDFS时,会被分割为多个数据块,并存储在不同的DataNode上。这样可以实现数据的并行写....

问答 2023-11-22 来自:开发者社区

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?

文章 2023-11-01 来自:开发者社区

64 Flume采集文件到HDFS

采集需求:比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs。根据需求,首先定义以下3大要素采集源,即source——监控文件内容更新 : exec ‘tail -F file’下沉目标,即sink——HDFS文件系统 : hdfs sinkSource和sink之间的传递通道——channel,可用file channel 也可以用 内存ch....

问答 2023-10-24 来自:开发者社区

DataWorks中HDFS文件为seq格式,列分隔符为\t,像这种的问题应该怎么解决啊?

DataWorks中HDFS文件为seq格式,列分隔符为\t,但实际数据中有某些列为空字符串,从数据表现上看就是\t\t这种,我将数据同步到MC的时候任务报错,数据源为8列,您在尝试读取第9列,猜测是将两个\t当做1个处理了,像这种的问题应该怎么解决啊,前提是不修改HDFS?

问答 2023-10-22 来自:开发者社区

阿里云E-MapReduce我之前下载oss-hdfs上的文件。请问下,是我配置问题吗?

阿里云E-MapReduce我之前下载oss-hdfs上的文件。八月28号之前上传的文件都没法下载,八月29日以后的文件可以。报错信息只有这条请问下,是我配置问题吗?

文章 2023-10-13 来自:开发者社区

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

HDFS目录与文件的创建删除与查询操作一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试,给出测试效果截图对本次实验工作进行全面的总结。完成实验内容后,实验报告文件名加上学....

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作
文章 2023-10-13 来自:开发者社区

【大数据开发技术】实验04-HDFS文件创建与写入

HDFS文件创建与写入一、实验目标熟练掌握Hadoop操作指令及HDFS命令行接口掌握HDFS原理熟练掌握HDFS的API使用方法掌握单个本地文件写入到HDFS文件的方法掌握多个本地文件批量写入到HDFS文件的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试,给出测试效果截图。对本次实验工作进行全面的总结。完成实验内容后,实验报告文件名显示学号姓名信息。三、实验内容使用F....

【大数据开发技术】实验04-HDFS文件创建与写入
问答 2023-09-20 来自:开发者社区

flink读取 hdfs的parquet文件时,有没有忽略损坏文件的配置?

flink读取 hdfs的parquet文件时,有没有忽略损坏文件的配置。spark里面是有这个参数的?Flink Filesystem connector

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注