云原生大数据计算服务 MaxCompute优化的相关内容

文章 2017-11-02 来自：开发者社区

用集群脚本功能安装大象医生优化你的大数据作业

dr-elephant是linkedin开源的大数据作业诊断优化工具，可以读取作业的日志信息，给出可视化的问题诊断和优化建议。本文介绍如何在emr集群上安装大象医生，并提供一个优化hive参数的完整示例。大象诊断的详情文档可以看官方文档，后续本博客也会发表一些使用经验。注意：目前大象医生还不支持spark2，社区正在开发，敬请期待。安装大象医生集群脚本功能介绍参照集群脚本功能介绍准备....

文章 2017-10-25 来自：开发者社区

MaxCompute2.0索引优化实践

摘要：2017云栖大会阿里云大数据计算服务（MaxCompute）专场，阿里云高级专家戴谢宁带来MaxCompute的索引与优化实践分享。本文主要从MaxCompute数据模型开始谈起，接着分享了哈希分片和区域分片，着重分析了索引优化和join优化，并且列出了应用实例，最好作出了简要总结。以下是精彩内容整理： MaxCompute 除了是计算引擎之外，它也是个存储引擎，阿里巴巴99...

问答 2017-10-24 来自：开发者社区

MaxCompute最佳实践：长周期指标的计算优化方案

实验背景电子商务公司（如淘宝）对用户数据分析的角度和思路可谓是应有尽有、层出不穷，所以在电商数据仓库和商业分析场景中，经常需要计算最近 N 天的访客数、购买用户数、老客数等类似的指标。这些指标有一个共同点：都需要根据用户在电商平台上（或网上店铺）一段时间积累的数据进行计算（这里讨论的前提是数据都存储在 MaxCompute 上）。一般情况下，这些指标的计算方式就是从日志明细表中计算就行...

文章 2017-08-22 来自：开发者社区

打造未来就绪的企业，并非以“预测未来”为前提，而是面向未来做好准备。大数据真正的价值即在于为面向未来做好准备，帮助企业规避风险。戴尔提供专门为大数据目标而设计的端到端体系架构，助力企业通过大数据获得商业洞察，面向未来就绪。正如纳特·西尔弗（Nate Silver）在他的畅销书《信号与噪声》（The Signal and the Noise）中写的，预测未来是非常困难的，因为“我们选择性地忽....

文章 2017-08-14 来自：开发者社区

大数据优化 | 预见未来：谁是你的“克里斯”

在《预见未来》这部影片中，尼古拉斯·凯奇饰演的克里斯·约翰森有一个特异功能——能够预见未来2秒钟将要发生的事，这一超能力帮助他多次成功避险。商业世界中，Dell Statistica预测分析软件赋予企业“预见未来”的超能力，未来尽在掌控！今天，越来越多的企业意识到数据的重要性，且数据已经成为绝大多数企业的重要资产，影响着企业的业务命脉。2015年发布的《中国大数据发展调查报告》显示，大部分....

文章 2017-08-09 来自：开发者社区

Teradata天睿公司获评大数据Hadoop优化系统领域的领导者

ZD至顶网CIO与应用频道 06月06日北京消息：全球知名市场分析公司Forrester 的最新报告显示，全球领先的大数据分析服务供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）被评为大数据 Hadoop 优化系统（Big Data Hadoop-Optimized Systems）的三大领导者之一。该报告为《Forrester浪潮™：2016 年第....

文章 2017-08-01 来自：开发者社区

银行业大数据分析：如何用大数据技术优化ATM运营

银行每年都需要巨大投入来维持各项业务的运营，如何有效提高银行运营效率，降低运营成本一直是银行追求的一个重要目标。当前银行很多业务运营还是靠具体负责人凭经验及直觉“拍脑袋”做决策，通过大数据分析可以从数据中发现运营规律，为运营优化提供决策基础。本文将以大数据技术优化ATM运营的几个应用为例来说明大数据如何优化运营效率，降低运营成本。 1. 大数据技术优化ATM运营 1) ATM配置(位置及类型)优....

文章 2017-07-21 来自：开发者社区

从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join, outer join ,semi join) where group by select sum distinct count order by 如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的，那么我们将很容易理解怎么优化SQL写法。接下...

文章 2017-07-12 来自：开发者社区

阿里云大数据利器Maxcompute-使用mapjoin优化查询

大数据计算服务（MaxCompute，原名 ODPS）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。https://help.aliyun.com/document_detail/27800.html?spm=5176.7840267.6.539.po3IvS主要有三种操作数据的方式SQL,UDF,MapReduce，了解hadoop的同学就比较熟悉这些东西了。那么Maxco.....

文章 2017-07-06 来自：开发者社区

以大数据优化为基础构建未来就绪企业

引言打造未来就绪的企业，并非以“预测未来”为前提，而是面向未来做好准备。大数据真正的价值即在于为面向未来做好准备，帮助企业规避风险。戴尔提供专门为大数据目标而设计的端到端体系架构，助力企业通过大数据获得商业洞察，面向未来就绪。正如纳特·西尔弗（Nate Silver）在他的畅销书《信号与噪声》（The Signal and the Noise）中写的，预测未来是非常困难的，因为“我们选择....