云原生大数据计算服务 MaxCompute引擎的相关内容

文章 2018-03-04 来自：开发者社区

详解大数据采集引擎之Sqoop&采集oracle数据库中的数据

欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！一、Sqoop的简介： Sqoop是一个数据采集引擎/数据交换引擎，采集关系型数据库（RDBMS）中的数据，主要用于在RDBMS与HDFS/Hive/HBase之间进行数据传递，可以通过sqoop import命令将RDBMS中的数据导入到HD.....

文章 2018-03-04 来自：开发者社区

带你看懂大数据采集引擎之Flume&采集目录中的日志

欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！一、Flume的介绍： Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于采集数据；同时，flume提供对数据进行简单处理，并写到各种数据接收.....

文章 2018-01-11 来自：开发者社区

链家大数据多维分析引擎实践

1. OLAP vs OLTP OLAP 翻译成中文叫联机分析处理，OLTP 叫联机事务处理。OLTP 它的核心是事务，实际上就是我们常见的数据库。我们业务数据库就是面向于事务。它的并发量会比较高，但是操作的数据量会比较小。它是实时更新的。数据库的设计会按照 3NF 范式，更高的话可能会按照 BC 范式之类的来做。而 OLAP 的核心是分析，面向应用是分析决策，需要分析的数据级会非常大，可能 T....

文章 2017-11-22 来自：开发者社区

【广州云栖大数据/人工智能会场信息】全新一代人工智能引擎MaxCompute惊艳全场

11月22日在广州举办的2017年云栖大会·广东分会今天拉开序幕，小编已经深深感受到了华南地区小伙伴们的热情，针对大家好奇的问题，如本届广东分会阿里云会有什么亮点？邀请了哪些嘉宾？展台会有什么活动等等问题，小编在这里为大家做个现场报道吧！本次大会名称为广东省大数据开发者大会暨2017云栖大会·广东分会，于2017年11月22日在广州香格里拉酒店举办，届时无法到达现场的小伙伴可以通过线上直播观.....

文章 2017-11-15 来自：开发者社区

蒋步星：轻量级大数据计算引擎

近几年，大数据非常热门，大数据计算的方案也较多，目前，大数据计算机平台有很多，但却越来越沉重，主要是由于这三个方面的原因：并不是任何事物都需要沉重的大数据平台，许多还是需要轻量级计算。轻量级计算需求大数据的技术本质是高性能提高性能的需求无处不在不总是有那么大的数据量低延迟即时响应业务数据量并不不总是适合部署大数据平台即时查询常常有被集成需求临时性数据处理...

文章 2017-09-07 来自：开发者社区

大数据引擎推动国家治理能力现代化

在全球化和信息化的背景下，中国作为一个“巨型国家”的“社会结构性”转型，是21世纪人类文明史上有着全球性影响的重大事件。对中国转型过程众多领域中的“海量信息”或“大数据”的正确解读，不仅对于中国国家治理能力的提高，实现社会的平稳转型产生决定性影响；而且也必将对“世界的合理化”程度和人类文明的进程与走向产生决定性影响。无论你愿意还是不愿意，现代人、组织、国家都处于信息海洋的包围之中，如何在规模巨大....

文章 2017-09-01 来自：开发者社区

城市大数据——如何发动提升城市智慧度的引擎

越来越多的城市不断投入到提升城市智慧化的浪潮中，即建设智慧城市，但如何将城市智慧落到实处，做到利民便民同时提升城市运营管理水平，并不是喊喊口号就能做到的。“城市大数据”的概念近年来被提出，它被视为驱动智慧城市落地与应用的主要技术动力。在中兴通讯总裁助理兼政企事业部副总经理徐明看来，城市大数据作为城市信息化过程中的产物，它是城市智慧化的主引擎之一。虽然没有统一的定义，但显然离不开两个核心内容：城....

文章 2017-08-02 来自：开发者社区

大数据系列之并行计算引擎Spark介绍

Spark： Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS...

文章 2017-07-10 来自：开发者社区

Presto 0.175 发布，Facebook 大数据查询引擎

Presto 0.175 发布了，Presto 是 Facebook 开源的数据查询引擎，可对250PB以上的数据进行快速地交互式分析，查询的速度达到商业数据仓库的级别。据称该引擎的性能是 Hive 的 10 倍以上。 Presto 可以查询包括 Hive、Cassandra 甚至是一些商业的数据存储产品。单个 Presto 查询可合并来自多个数据源的数据进行统一分析。部分更新如下：将 mo....

文章 2017-07-04 来自：开发者社区

大数据时代，科技引擎加速金融创新

纵观2016年金融领域，创新的商业模式备受资本青睐，与此同时，技术创新型的企业也迎来新一轮热潮。站在资本与舆论风口的Fintech称得上是佼佼者，吸睛无数。毫无疑问，“金融科技”越来越多出现在大众的视野，它作为一股潮流，正席卷着各行各业，在互联网+的下半场，科技的重要性愈发凸显。随着大数据、云计算以及区块链等数字技术的发展，运用科技手段变革金融业生产方式成为新趋势，金融与科技的融合加深，技术创....