程序员云原生大数据计算服务 MaxCompute实战的相关内容

阿里云文档 2024-03-27

DataWorks OpenAPI最佳实践

DataWorks提供了丰富的OpenAPI，您可以根据需要使用DataWorks的OpenAPI等开放能力实现各种业务场景，本文为您介绍DataWorks OpenAPI的最佳实践。

文章 2023-10-12 来自：开发者社区

黑马程序员-大数据入门到实战-分布式SQL计算 Hive 语法与概念

1. 数据库操作创建数据库create database if not exists myhive;查看数据库详细信息desc database myhive;数据库本质上就是在HDFS之上的文件夹默认数据库的存放路径是HDFS的：/user/hive/warehouse内创建数据库并指定hdfs存储位置create database myhive2 location '/myhive2';删除....

文章 2023-10-12 来自：开发者社区

黑马程序员-大数据入门到实战-分布式SQL计算 Hive 入门

1. Apache Hive 概述分布式SQL计算定义以分布式的形式，执行SQL语句，进行数据统计分析Apache Hive功能将SQL语句翻译成MapReduce程序，提供用户分布式SQL计算能力2. 模拟实现Hive功能元数据管理SQL解析器3. Hive基础架构元数据管理SQL解析器：完成SQL解析、执行优化、代码提交等功能用户接口：提供用户和Hive交互的功能4. Hive部署4.1 规....

文章 2023-10-12 来自：开发者社区

黑马程序员-大数据入门到实战-HDFS分布式存储

1. 为什么需要分布式存储① 数据量太大，单机存储能力有上限，需要靠数量来解决问题② 数量的提升带来的是网络传输，磁盘读写、CPU、内存等各方面的综合提升，分布式组合在一起可以达到1+1>2的效果2. 分布式的基础架构分析① 去中心化模式：没有明确中心，大家协调工作② 中心化模式：有明确的中心，基于中心节点分配工作（Hadoop）3. HDFS的基础架构NameNode：主角色，管理HDF....

文章 2023-10-12 来自：开发者社区

黑马程序员-大数据入门到实战-MapReduce & YARN入门

1. 分布式计算概述计算与分布式计算计算：对数据进行处理，使用统计分析等手段得到需要的结果分布式计算：多台服务器协同工作，共同完成一个计算任务分布式计算的两种工作模式分散→汇总（MapReduce）中心调度→步骤执行（Spark、Flink）2. MapReduce概述MapReduceHadoop中分布式计算组件分散→汇总模式主要接口map接口：“分散”功能reduce接口：“汇总”功能运行机....

文章 2023-10-12 来自：开发者社区

黑马程序员-大数据入门到实战-前置章节

1. 环境介绍基于VMware构建Linux虚拟机① 是大数据从业者或IT从业者的必备技能之一② 是成本低廉的方案2. VMware准备虚拟机① 设置VMware网段② 下载Centos操作系统③ 在VMware中安装Centos操作系统④ 配置多台Linux虚拟机3. VMware虚拟机系统设置3.1 主机名、IP、SSH免密登录对三台虚拟机完成主机名、固定IP、SSH免密登录等系统设置3.1....

阿里云文档 2023-09-03