云原生大数据计算服务 MaxCompute优化的相关内容

文章 2017-05-07 来自：开发者社区

使用python fabric搭建RHEL 7.2大数据基础环境以及部分优化

1.使用python fabric进行Linux基础配置使用python，可以让任何事情高效起来，包括运维工作，fabric正式这样一套基于python2的类库，它执行本地或远程shell命令提供了操作的基本套件（正常或通过sudo）和上传/下载文件，如提示用户输入运行辅助功能，或中止执行。用Python3开发的部署工具叫fabric3：fabric3，和fabric一样最大特点是不用登...

文章 2017-05-03 来自：开发者社区

“大数据”并不能优化贷款

“大数据”是否能辅助我们做出更好的贷款选择？这是一个实时热点的问题，因为一些由硅谷大公司创投的初创公司正在使用大数据技术，以提供短期小额贷款。这些公司希望能帮到68万被联邦存款保险公司(FDIC) 称为很难获得贷款的美国人。他们之中，要么没有信用记录，要么信用记录很差这些公司会处理各种数据，从Facebook的朋友数量到用户是否定期交话费，甚至用户们花了多长时间去填写贷款申请的数据也不会放过。....

文章 2017-05-02 来自：开发者社区

大数据分析优化保险理赔的六条途径

大数据…大数据…现如今，人们总是在各种地方以各种方式提到这个词。然而，万能的大数据对保险行业究竟有什么用呢？想象一下：你在无边无际的数据中挑拣，搜索并整理你所需要的信息。这些数据可能来自于保险理算员手写的笔记、保险欺诈清单、理赔管理系统以及NICB（National Insurance Crime Bureau，国家保险犯罪局）的庞大的数据库。你真的能够充分利用这些数据吗？在堆积成山的保险理.....

文章 2017-05-02 来自：开发者社区

MySQL 大数据量快速插入方法和语句优化

MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容，接下来我们就来一一介绍，希望能够让您有所收获！一、INSERT语句的速度插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：连接：（3）发送查询给服务器：（2）分析查询：（2）插入记录：（1x记录大小）插入索引：（1x索引）关闭：（1）这不考虑打开表的初始开销，每个并发运行的查询打开。表的...

文章 2017-05-02 来自：开发者社区

《淘宝店铺大数据营销+SEO+爆款打造一册通》一一1.4　淘宝店铺转化率优化

本节书摘来自异步社区出版社《淘宝店铺大数据营销+SEO+爆款打造一册通》一书中的第1章，第1.4节，作者：葛存山 , 耿寿礼，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4　淘宝店铺转化率优化淘宝转化率，就是所有到达淘宝店铺并产生购买行为的人数和所有到达你的店铺的人数的比例。转化率高，就说明每个流量都有更大几率带来更多的成交笔数。如果要提升转化率，无非两个措施：第一，在流量不....

文章 2017-05-02 来自：开发者社区

UPS如何用大数据优化送货路线

快递司机一天中几乎有无数条路线可供选择。对UPS这样的巨头来说，如果每位司机每天少开一英里，公司便能省下5,000万美元。因此它利用大数据分析打造了一个名为Orion的导航系统，可以在约3秒内找出最佳路线。在任何一天中，UPS的司机都有许多条快递路线可以选择。或者换个说法——UPS的司机在任何一天中，可以选择的快递路线的数目都是令人难以想象的。这绝不是夸张。这家快递公司的司机一般每天要送...

文章 2017-02-06 来自：开发者社区

基于MaxCompute的图计算实践分享-常见问题解决及优化指南

免费开通大数据服务：https://www.aliyun.com/product/odps 常见问题FAQ Q：Graph 能支持多少节点的进行计算? A：默认最多1000个节点，通过配置odps.graph.worker.num，可以使用多达3000个节点 Q：Graph 单个节点支持多少内存? A：默认内存范围为[2048, 32768] 单位为M，通过配置odps.graph....

文章 2016-11-23 来自：开发者社区

ODPS任务优化之列裁剪

ODPS任务优化之列裁剪最近因为几个ODPS任务节点扣分严重，计算健康度一度堕落至85分的红线以下，上了一次黑榜，立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化，略作记录。什么是列裁剪以及为什么要做列裁剪列裁剪，即针对OpenMR任务Map阶段的输入，如果只使用了其中的某几列，则裁剪掉不需要使用的列，只指定需要使用的列。这样做的好处也就很明显了，减少网络I/O，提.....

文章 2016-11-17 来自：开发者社区

【大数据技巧】MaxCompute优化去重计算的性能

免费开通大数据服务：https://www.aliyun.com/product/odps 转载自dachuan 随着双十一数据量的暴增，之前用distinct去重可以简单处理的场景，现在消耗的时间成倍增长。如果用了multiple distinct，那就更要警惕，因为多重去重本身会带来数据量的成倍增长，很可能10分钟的任务，在双十一期间会跑上几个小时都没有结果。这里介绍一个小技巧，其实在稳定....

文章 2016-10-26 来自：开发者社区

MaxCompute（原ODPS）任务优化之列裁剪

免费开通大数据服务：https://www.aliyun.com/product/odps 转自kaiding 最近因为几个ODPS任务节点扣分严重，计算健康度一度堕落至85分的红线以下，上了一次黑榜，立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化，略作记录。什么是列裁剪以及为什么要做列裁剪列裁剪，即针对OpenMR任务Map阶段的输入，如果只使用了其中的某几列，则.....