云原生大数据计算服务 MaxCompute技术实验的相关内容

文章 2023-10-13 来自：开发者社区

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

HDFS目录与文件的创建删除与查询操作一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图对本次实验工作进行全面的总结。完成实验内容后，实验报告文件名加上学....

文章 2023-10-13 来自：开发者社区

【大数据开发技术】实验04-HDFS文件创建与写入

HDFS文件创建与写入一、实验目标熟练掌握Hadoop操作指令及HDFS命令行接口掌握HDFS原理熟练掌握HDFS的API使用方法掌握单个本地文件写入到HDFS文件的方法掌握多个本地文件批量写入到HDFS文件的方法二、实验要求给出主要实验步骤成功的效果截图。要求分别在本地和集群测试，给出测试效果截图。对本次实验工作进行全面的总结。完成实验内容后，实验报告文件名显示学号姓名信息。三、实验内容使用F....

文章 2023-10-13 来自：开发者社区

【大数据开发技术】实验03-Hadoop读取文件

Hadoop读取文件一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理掌握HDFS的API使用方法掌握通过URL类读取HDFS上的文件内容的方法掌握FileSystem读取HDFS上文件内容的方法二、实验要求给出每个实验操作步骤成功的效果截图，。对本次实验工作进行全面的总结。完成实验内容后，实验报告文件重命名为：学号姓名实验三。三、实验内容1.使用FileSystem类....

文章 2023-10-13 来自：开发者社区

【大数据开发技术】实验02-HDFS常用shell命令

HDFS常用shell命令一、实验目标掌握hadoop操作指令及HDFS命令行接口掌握HDFS原理二、实验要求给出每个实验操作步骤成功的效果截图，。对本次实验工作进行全面的总结。完成实验内容后，实验报告文件重命名为：学号姓名实验二。三、实验内容1.列出某个目录下的文件2.递归列出某目录及文件3.创建目录，目录名自拟，查看创建的目录及文件4.创建级联目录，递归查看5.在本地新建一个文件，文件名和文....

文章 2023-10-13 来自：开发者社区

【大数据开发技术】实验01-Hadoop安装部署

Hadoop安装部署虚拟机数量：3系统版本：Centos 7.5Hadoop版本： Apache Hadoop 2.7.3主节点信息：操作系统：CentOS7.5软件包位置：/home/zkpk/tgz数据包位置：/home/zkpk/experiment从节点信息：操作系统：CentOS7.5软件包位置：/home/zkpk/tgz数据包位置：/home/zkpk/experiment从节点信....

文章 2022-11-08 来自：开发者社区

大数据技术基础实验十一：Hive实验——Hive分区

一、前言在前面一期Hive实验中我们学习了有关Hive创建表查看表以及删除表的基本操作，本期博客我们将来学习有关创建Hive分区表并将本地文件导入到我们划分好的分区内进行操作。二、实验目的掌握Hive分区的用法，加深对Hive分区概念的理解，了解Hive表在HDFS的存储目录结构。三、实验要求创建一个Hive分区表；根据数据年份创建year=2014和year=2015两个分区；将2015年的数....

文章 2022-11-08 来自：开发者社区

大数据技术基础实验十：Hive实验——新建Hive表

一、前言在前面一期博客中我们完成了Hive的部署任务，本期博客我们将学习有关在Hive中创建表等一些基本操作。二、实验目的学会创建Hive的表显示Hive中的所有表显示Hive中表的列项修改Hive中的表并能够删除Hive中的表三、实验要求要求实验结束时每位学生均能够完成Hive的DDL操作，能够在Hive中新建，显示，修改和删除表等功能。四、实验原理Hive没有专门的数据存储格式，也没有为数据....

文章 2022-11-08 来自：开发者社区

大数据技术基础实验九：Hive实验——部署Hive

一、前言本周我们学习了有关Hive的相关基础知识，紧接着我们就将开始有关Hive的实验，周四开始做实验，我提前开始写，后面我就来试试Hive的创建表操作。二、实验目的理解Hive存在的原因理解Hive的工作原理.理解Hive的体系架构并学会如何进行内嵌模式部署启动Hive，然后将元数据存储在HDFS上三、实验要求完成Hive的内嵌模式部署能够将Hive数据存储在HDFS上待Hive环境搭建好后，....

文章 2022-11-08 来自：开发者社区

大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS

一、前言距离上次大数据编程技术基础实验已经过去二十天了，我们的课程并没有结束，是因为学校服务器关闭了一段时间，所以就一直没有做实验，今天我们就继续进行有关大数据的实验。二、实验目的掌握Flume的安装部署.掌握一个agent中source、sink、channel组件之间的关系加深对Flume结构和概念的理解掌握Flume的编码方法及启动任务方法三、实验要求在一台机器上(本例以master为例)....

文章 2022-11-08 来自：开发者社区

大数据编程技术基础实验七：HBase实验——部署HBase

一、前言本期大数据编程技术基础实验的内容是HBase的部署，内容比较简单，但会用到之前实验的东西，所以大家在学习这些知识前，要懂得如何去部署这些大数据组件，并熟练的掌握linux命令。二、实验目的掌握HBase基础简介及体系架构掌握HBase集群安装部署及HBase Shell的一些常用命令的使用了解HBase和HDFS及Zookeeper之间的关系三、实验要求巩固前面所学实验部署一个主节点，三....