文章 2019-04-25 来自:开发者社区

Flink大数据计算的机遇与挑战

作者: 王绍翾(大沙) 本文来自于王绍翾在2018年08月11日Flink China Meetup。王绍翾,花名“大沙”,加州大学圣迭戈分校计算机工程的博士,Apache Flink Commiter。目前在阿里负责Flink平台以及生态的一些工作。 本文内容如下: 流计算核心技术 Flink是德国data Artisans创造的,早期Flink主要是做偏批计算的,但是Spark在批处理上已经....

文章 2018-11-14 来自:开发者社区

Spark比拼Flink:下一代大数据计算引擎之争,谁主沉浮?

下一代大数据计算引擎# 自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始,经过近 10 年的发展,基于 Hadoop 开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。 但是,很多机构在开发自己的数据处理系统时都会发现需要面临一系列的问.....

文章 2018-10-15 来自:开发者社区

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

导读: 做大数据绝对躲不过的一个热门话题就是实时流计算,而提到实时流计算,就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行,刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外,还提出了用一个统一的引擎支持批处理、流处理、交互式查询、机器学习等常见的数据处理场景。凭借高性能和全面的场景支持,Spark 早已成为众多大数据开发....

文章 2018-09-12 来自:开发者社区

大数据计算引擎,为什么阿里坚定地选择 Flink?| 直播预告

为什么玛雅人公元前就掌握了斗转星移的规律? 为什么AlphaGo 4比1战胜围棋世界冠军? 为什么城市大脑能有效预测城市运转的规律? 科技文明的每次进步,都离不开计算的力量。随着技术的发展,AI 时代呼之欲出。这一切,无不对计算提出了更高要求:Faster,smarter,and more accurate。 在时代的大背景下,阿里巴巴如何应对挑战? 9月13日晚,锁定阿里技术直播,对话阿里实时....

文章 2018-09-05 来自:开发者社区

Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示

1.大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用来说,则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求,则可以采用在线处理的方式来对数据进行分析,如使用Flink进行处理。比较贴切的一个例子是天猫...

Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示
问答 2018-07-30 来自:开发者社区

Blink:大数据实时计算

本资料为阿里巴巴计算平台事业部高级技术专家大沙在云栖大讲堂数据智能技术论坛上的演讲PPT。 https://yq.aliyun.com/download/2442?spm=a2c4e.11154804.0.0.bc706a79jR3YDQ

文章 2018-06-26 来自:开发者社区

史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spark,Flink,Beam

spark Spark 开发语言及运行模式介绍 Scala安装 下载 Scala 配置到系统环境变量 配置成功 Spark环境搭建及 wordCount 案例实现 下载 spark 解压编译 spark...

文章 2017-08-01 来自:开发者社区

智慧交通对大数据实时计算提出挑战

21世纪是“用数据说话”的时代。大数据改变生活方式,人们的物质世界和精神世界将构建在大数据之上。各种传感器捕获的诸如位置数据、传感数据、卫星图像数据、气象数据等都是大数据的来源。 城市交通产生大数据,城市交通面临的运行效率、安全等方面的问题也对大数据应用有巨大需求。交通面临的这些问题成因复杂,具有高时效性等特点,同时,各种不同类型的用户对交通大数据的需求存在差异,传统的交通数据分析方法已很难有效....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注