文章 2021-05-19 来自:开发者社区

数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS

本期导读 :【数据迁移】第三讲主题:如何将 HDFS 海量文件归档到 OSS讲师:辰石,阿里巴巴计算平台事业部 EMR 技术专家内容框架:背景介绍具体功能详解使用实例直播回放链接:(3/4讲)https://developer.aliyun.com/live/246750背景简述HDFS 数据迁移用户需要将数据存储在 IDC 机房的 HDFS 的集群内。HDFS 的集群的空间依赖本地磁盘空间,.....

数据湖实操讲解【数据迁移】第三讲:如何将 HDFS 海量文件归档到OSS
文章 2021-05-12 来自:开发者社区

数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS

本期导读 :【数据迁移】第一讲主题:高效迁移 HDFS 海量文件到 OSS讲师:扬礼,阿里巴巴计算平台事业部 EMR 开发工程师主要内容:DistCp 介绍Jindo DistCp 介绍性能优化功能演示直播回放链接:https://developer.aliyun.com/live/246728背景介绍为了让更多开发者了解并使用 JindoFS+OSS,由阿里云JindoFS+OSS 团队打造.....

数据湖实操讲解【数据迁移】第一讲:高效迁移 HDFS 海量文件到 OSS
问答 2021-01-31 来自:开发者社区

我用flink批量读取hdfs里的csv文件然后写到ES总是运行一会就出错,不知道该从哪#Flink

我用flink批量读取hdfs里的csv文件然后写到ES总是运行一会就出错,不知道该从哪里排查#Flink

问答 2020-11-02 来自:开发者社区

Flink保存在hdfs上的submittedJobGraphxxx文件为什么会丢失?

Flink集群设置了高可用,保存在hdfs上的submittedJobGraphxxx文件一段时间后丢失了,使得之后Flink集群出现故障自动重启时会报错找不到submittedJobGraphxxx文件,集群重启失败。

问答 2020-08-26 来自:开发者社区

hbase表删除后hdfs上数据文件已经没了,但是meta表仍然存在region信息

hbase表删除后hdfs上数据文件已经没了,但是meta表仍然存在region信息,导致一直提示表rit,请问有遇到过这个情况的吗?怎么解决的?hbase版本是2.0.0,删除都是用的hbase admin api,标准删除流程,先disabled然后再drop

文章 2020-07-26 来自:开发者社区

必须掌握的分布式文件存储系统—HDFS

HDFS(Hadoop Distributed File System)分布式文件存储系统,主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务,同时HBase、Hive底层存储也依赖于HDFS。HDFS提供一个统一的抽象目录树,客户端可通过路径来访问文件,如hdfs://namenode:port/dir-a/a.data。HDFS集群分为两大角色:Namenode、....

必须掌握的分布式文件存储系统—HDFS
问答 2020-06-12 来自:开发者社区

我用hdfs将冷数据存储起来后 后续想要查询文件中某些数据 应该怎么处理呢?#云原生后端

我用hdfs将冷数据存储起来后 后续想要查询文件中某些数据 应该怎么处理呢?#云原生后端 来源:云原生后端社区https://www.yuque.com/server_mind/answer

问答 2020-06-09 来自:开发者社区

用java读取hdfs的.lzo_deflate文件报错?报错

linux环境没有问题,hadoop环境、配置也没有问题,并且通过hdoop fs -text 指令能正常打开该压缩文件。但是用java读取就报错了,请大神帮忙看看,谢谢 代码如下: public static void main(String[] args) { String uri = "/daas/****/MBLDPI3G.2016081823_10.1471532401822.l...

问答 2020-06-06 来自:开发者社区

Spark中的hadoopFile无法读取HDFS上的文件:报错

SparkConf conf = new SparkConf().setAppName("test");         JavaSparkContext sc = new JavaSparkContext(conf);         JavaPairRDD tempRDD =...

问答 2020-06-01 来自:开发者社区

hadoop求救,说hdfs文件不存在? 400 报错

hadoop求救,说hdfs文件不存在? 400 报错 找了教程,说不存在,可是的确是存在的,为什么还出错?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

+关注