入门学习云原生大数据计算服务 MaxCompute 的相关内容

文章 2022-03-06 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据

2020年3月5日-8日是这一次活动的结尾了。在本次活动中，有了对EMR产品有初步的了解以及如何进行离线大数据分析。让我在后续的工作中打下了坚实的基础。

文章 2022-03-06 来自：开发者社区

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。针对以上主要的4个特征我们需要考虑以下问题：数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文....

文章 2022-03-06 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据

1.基于EMR离线数据分析了解并认识了EMR以及EMR集群，学会了如何登录及EMR集群简单操作；学习如何上传数据到HDFS；学习如何使用hive创建表，并从hadoop文件系统加载数据。2.使用阿里云Elasticsearch快速搭建智能运维系统通过创建登录阿里云Elasticsearch集群，使用Beats采集器收集ECS上的系统数据和Nginx服务数据，配置基础的指标分析看板...

文章 2022-03-06 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据

day1 动手实战-基于EMR离线数据分析1.EMR集群的基本操作，对EMR产品有初步的了解。2.EMR集群的数据传输和hive的简单操作，对如何进行离线大数据分析有初步的掌握。E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。d....

文章 2022-03-06 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据

本周主要是针对大数据的学习。跟着训练营的日程走，让我对阿里云的产品有了更多的了解。特别是使用机器学习PAI平台，可以直接通过模版来搭建一个基于协同过滤算法的商品推荐系统。然后通过2个晚上的直播学习，自己也可以通过阿里云平台搭建一个可以适合我们小企业使用的数据中台。也希望在这5周的学习结束后，阿里云可以推出更多的训练营活动，让我们不仅可以了解阿里云的产品，也可以让我们通过阿里云平台来搭建适合我们自....

文章 2022-03-06 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据

对于这次大数据的学习过程了解到不同的集群特征。从EMR集群进行离线数据分析的步骤。使用Beats采集器收集ECS上的系统数据和Nginx服务数据，配置基础的指标分析看板，简单展示数据采集。搭建一个基于协同过滤算法的商品推荐系统，PAI基于协同过滤算法实现商品推荐。以及从直播中学习大神们的思路，对于产品结构的分析讲解。也再次见识到阿里云平台的历害之处。

文章 2022-03-05 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据学习小结

冬季实战营第五期：轻松入门学习大数据学习小结时光飞逝，冬季实战营第五期已结束，短短5天的学习之旅让我收获了很多。这一期的学习内容是主要是关于大数据的。第一天的实践是基于EMR离线数据分析，我们可以先了解一下EMR的概念，那么什么是EMR？E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickh....

文章 2022-03-05 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据报告

2月28日动手实战-基于EMR离线数据分析创建ECS实例资源，登录EMR集群终端，自建数据上传到HDFS。使用hive创建数据表，并使用hadoop文件系统中的数据加载到hive数据表中，使用hive对数据表进行查询等操作。3月1日动手实战-使用阿里云Elasticsearch快速搭建智能运维系统了解阿里云Elasticsearch集群创建登录的基础操作，学会采集系统数据和Nginx服务数据....

文章 2022-03-05 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据学习总结

冬季实战营第五期：轻松入门学习大数据学习总结这一期的学习内容是关于大数据的，令我印象最深刻的是基于EMR离线数据分析实践，同样的，我们搜先要了解一下新的概念，什么是EMR？E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计....

文章 2022-03-05 来自：开发者社区

冬季实战营第五期：轻松入门学习大数据

上传数据到HDFS本步骤将指导您如何将自建数据上传到HDFS。1. 执行如下命令，创建HDFS目录。说明：在LX终端中，粘贴快捷键为SHIFT+CTRL+V。hdfs dfs -mkdir -p /data/student2. 上传文件到hadoop文件系统。a.执行如下命令，创建u.txt文件。#创建u.txt文件vim u.txtb.按 "i" 键进入编辑模式，通过粘贴快捷键（SHIFT+C....