云原生大数据计算服务 MaxCompute基本概念的相关内容

文章 2020-03-31 来自：开发者社区

MaxCompute数仓构建流程基本概念

云栖号快速入门：【点击查看更多云产品快速入门】不知道怎么入门？这里分分钟解决新手入门等基础问题，可快速完成产品配置操作！下图为MaxCompute数据仓库构建的整体流程。基本概念在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型，为...

文章 2018-07-11 来自：开发者社区

后端技术杂谈12：捋一捋大数据研发的基本概念

你了解你的数据吗（开篇）转自http://www.mdjs.info/2018/03/05/data-warehouse/concept-of-dw/ 0x00 前言你了解你的数据吗？前几天突然来了点灵感，想梳理一下自己对数据的理解，因此便有了这篇博客或者说这系列博客来聊聊数据。数据从业者有很多，比如说数据开发工程师、数据仓库工程师、数据分析师、数据挖掘工程师、数据产品经理等等，不同岗.....

文章 2017-11-09 来自：开发者社区

Big Data已经是被热炒的一个词汇。外行看热闹，内行开门道。对于这个“热词”，我们没必要认为它是“西洋镜”，理解我们过去对数据的运用，再延伸到当今信息爆炸的时代，应该会更容易理解。对于任何事物（大数据），我们要抓住它的本质，沿着本质这条线寻找出解决之道。依托于所在的行业，环境，走出符合每个行业自身特点的解决方案。也许大家，觉得上述这句话很熟悉。我就是将历史观的方法，借鉴到技术上的。党报媒体....

问答 2017-10-23 来自：开发者社区

MaxCompute用户指南：MapReduce：功能介绍：基本概念

Map/Reduce Map 和 Reduce 分别支持对应的 map/reduce 方法，setup 及 cleanup 方法。setup 方法在 map/reduce 方法之前调用，每个 Worker 调用且仅调用一次。 cleanup 方法在 map/reduce 方法之后调用，每个 Worker 调用且仅调用一次。相关的使用示例请参见示例程序。排序支持将Map 输出...

问答 2017-10-23 来自：开发者社区

MaxCompute产品简介：基本概念：任务实例

在 MaxCompute 中，部分任务（Task）在执行时会被实例化，以 MaxCompute 实例（下文简称为实例或 Instance）的形式存在。实例会经历运行（Running）和结束（Terminated）两个阶段。运行阶段的状态为 Running（运行中），而结束阶段则会有 Success（成功），Failed（失败）或Canceled（被取消）三种状态。您可以根据运行任务时 M.....

问答 2017-10-23 来自：开发者社区

MaxCompute产品简介：基本概念：任务

任务（Task）是 MaxCompute 的基本计算单元。SQL 及 MapReduce 功能都是通过任务完成的。对于您提交的大多数任务，特别是计算型任务，例如： SQL DML 语句， MapReduce 等，MaxCompute 会对其进行解析，得出任务的执行计划。执行计划由具有依赖关系的多个执行阶段（Stage）构成。目前，执行计划逻辑上可以被看做一个有向图，图中的点是执行阶段，各个执....

问答 2017-10-23 来自：开发者社区

MaxCompute产品简介：基本概念：函数

MaxCompute 为您提供了 SQL 计算功能，您可以在 MaxCompute SQL 中使用系统的内建函数完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用 MaxCompute 提供的 Java 编程接口开发自定义函数（User Defined Function，以下简称 UDF）。自定义函数（UDF）可以进一步分为标量值函数（UDF），自定义聚合函数（UDAF...

问答 2017-10-23 来自：开发者社区

MaxCompute产品简介：基本概念：资源

资源（Resource）是 MaxCompute 的特有概念。如果您想使用 MaxCompute 的自定义函数（UDF）或 MapReduce 功能需要依赖资源来完成，如下所示： SQL UDF：您编写 UDF 后，需要将编译好的 Jar 包以资源的形式上传到MaxCompute。运行此 UDF 时，MaxCompute 会自动下载这个 Jar 包，获取您的代码来运行 UDF，无需您干预...

问答 2017-10-23 来自：开发者社区

MaxCompute产品简介：基本概念：数据类型

基本数据类型 MaxCompute2.0 支持的基本数据类型如下表，新增类型有：TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 和 BINARY，MaxCompute 表中的列必须是下列描述的任意一种类型，详情如下：注意：若想使用新数据类型，需在 SQL 语句前加语句：set odps.sql.type.system.odps2=true;...

问答 2017-10-23 来自：开发者社区

MaxCompute产品简介：基本概念：表

表是 MaxCompute 的数据存储单元，它在逻辑上也是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段，一条记录可以包含一个或多个列，各个列的名称和类型构成这张表的 Schema。 MaxCompute 中不同类型计算任务的操作对象（输入、输出）都是表。您可以创建表、删除表以及向表中导入数据。大数据开发套件的数据管理模块可以对 MaxCompute 表进行新建、...