问答 2020-05-29 来自:开发者社区

问大家,flink批处理读取多路径hdfs文件有什么好的办法吗?我是每读一个,union#Flink

问大家,flink批处理读取多路径hdfs文件有什么好的办法吗?我是每读一个,union一下,但是处理速度特别慢,同样的资 源和代码,spark8分钟处理完,flink得30分钟,发现flink从hdfs里读取数据特别慢,10多秒,才1M #Flink

问答 2020-05-29 来自:开发者社区

flink 如何读取持续更新的hdfs文件, 比如原来有个文件我已经读了,但后来这个文件#Flink

flink 如何读取持续更新的hdfs文件, 比如原来有个文件我已经读了,但后来这个文件有了更新我就需要重新读,hdfs上的文件每隔一段时间会被重新覆写 #Flink

问答 2020-05-23 来自:开发者社区

Hadoop集群HDFS测试文件上传,小文件可以,大文件DataNode日志警告超出阈值时间

三台服务器,hdsf和yarn都正常启动,几K的小文件正常传输,188M的大文件DataNode日志一直在跑 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror took 1107ms (threshold=300ms) 然后主机完成上传报错 WARN h.....

问答 2020-03-13 来自:开发者社区

flink将kafka中的数据落地到hdfs,在小文件和落地效率方面有什么好的建议?

背景: 现在使用的是spark streaming消费kafka的数据,然后落地到hdfs目录,产生了2个问题: 1、对于数据量较大的topic,且使用压缩存储之后,spark streaming程序会出现延迟。 2、落地的数据文件里有大量的小文件产生,namenode的压力增大 对于问题1,暂时分析是每小时将落地的临时目录的文件移到正式目录引起的,暂时没有找到解决办法 对于问题2,有...

问答 2020-01-05 来自:开发者社区

如何强制将文件从Hdfs复制到linux文件系统?

对于该命令,-copyFromLocal有一个选项可-f用于将数据从本地文件系统强制复制到Hdfs。与-copyToLocal选项类似,我尝试了-f选项,但是没有用。所以,任何人都可以在这方面指导我。 谢谢,

问答 2019-12-02 来自:开发者社区

大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了

大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

问答 2019-11-07 来自:开发者社区

为什么HDFS只适用于大型数据集而不适用于许多小文件?

为什么HDFS只适用于大型数据集而不适用于许多小文件?

问答 2019-11-07 来自:开发者社区

HDFS中文件或目录级别的不同文件权限是什么?

HDFS中文件或目录级别的不同文件权限是什么?

问答 2019-11-07 来自:开发者社区

当两个用户尝试访问HDFS中的同一文件时会发生什么?

当两个用户尝试访问HDFS中的同一文件时会发生什么?

文章 2019-08-13 来自:开发者社区

Dremio案例_HDFS文件数据分析

1.上传数据文件 ## put execl to hdfs hdfs dfs -put test.xlxs /home/bigdata/dremio/ 2.配置HDFS数据源 a).选择 b).配置 c).测试 d).查看数据 3.可视化 a).安装ODBC tableau可视化打开dremio导出的*.tds文件,需要安装ODBC b).连接数据源 c).TOP10

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注