云原生大数据计算服务 MaxCompute脚本的相关内容

文章 2020-03-09 来自：开发者社区

MaxCompute - ODPS重装上阵第九弹 - 脚本模式与参数视图

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxC....

文章 2018-09-08 来自：开发者社区

转载：linux下大数据人工智能自动化脚本定时任务模板

转自： https://mp.weixin.qq.com/s/mXXJmDqtv7PyqglN9ekvNQ 本文针对有初级sql及python人工智能开发基础，需要执行定时任务的初学人员。假设在工作中，要执行一个任务，大致要求如下：一、每月执行一次定时任务； ...

文章 2017-12-29 来自：开发者社区

大数据类型磁盘初始化脚本

近期在初始化大数据类的数据盘时，进行磁盘初始化的时候，发现官方提供的auto_fdisk_ssd.sh这个脚本，由于使用的fdisk进行磁盘分区，还只能格式化2T以内的磁盘，对这个脚本进行了修改，以便适配于大数据类型机器的磁盘自动挂载，对应的磁盘格式为xfs. 脚本见附件，供大家参考。 #/bin/bash ######################################### #.....

文章 2017-11-14 来自：开发者社区

大数据平台一键安装OS【搭建脚本篇】

定制化大数据平台一键安装OS 大数据平台一键安装OS系列大数据平台一键安装OS【定制化OS镜像制作】搭建脚本篇脚本命名随便，只要能看懂就行镜像包说明 os1.1.iso 用于安装服务端和客户端操作系统 hdp.iso 用于安装hdp服务 1.架构图：服务端客户端 2.原理分析安装系统-安装本地yum源-安装http源-安装并配置ntp服务-配置秘钥-...

文章 2017-11-02 来自：开发者社区

用集群脚本功能安装大象医生优化你的大数据作业

dr-elephant是linkedin开源的大数据作业诊断优化工具，可以读取作业的日志信息，给出可视化的问题诊断和优化建议。本文介绍如何在emr集群上安装大象医生，并提供一个优化hive参数的完整示例。大象诊断的详情文档可以看官方文档，后续本博客也会发表一些使用经验。注意：目前大象医生还不支持spark2，社区正在开发，敬请期待。安装大象医生集群脚本功能介绍参照集群脚本功能介绍准备....

文章 2017-10-30 来自：开发者社区

MaxCompute Studio使用心得系列2——编译SQL脚本

开发人员写好代码，对代码进行语法编译是很常见的操作，但是目前常用的MaxCompute sql开发工具（大数据开发套件和console客户端），都没有该功能，必须把sql脚本提交运行后若有语法问题才会通过返回错误日志中获取相关信息。 MaxCompute每次提交job都要少则几秒多则数分钟不等的排队过程，等返回失败信息，也需要等待一定的时间，不仅仅影响开发效率，还浪费计算资源。本次分享通过M....

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 SQL 程序：提交 SQL 脚本

MaxCompute Studio 可直接将 MaxCompute SQL 提交到服务端运行，并显示查询结果，执行计划等详细信息。它在提交前会进行编译，能够有效避免提交到服务端后才发现编译错误。前提条件首先创建 MaxCompute 项目连接，并绑定目标项目。创建 MaxCompute Studio Module。在提交前需根据自身需求进行相关设置。MaxCompute Stud...

问答 2017-10-24 来自：开发者社区

MaxCompute工具及下载：MaxCompute Studio：开发 SQL 程序：编写 SQL 脚本

MaxCompute Studio 模块创建完成后，即可开始编写 MaxCompute SQL 脚本。操作步骤右击 scripts，导航至 New > MaxCompute Script。填写弹出框中的相关内容。 Script Name：脚本名称。Script type：脚本类型。Target Project：目标 MaxCompute 项目。上述窗口中，您也可以选择新建一个 ...

问答 2017-08-08 来自：开发者社区