文章 2021-06-29 来自:开发者社区

实时大数据计算引擎Apache Flink计算研究(二)

接上文,实时大数据计算引擎Apache Flink计算研究(一)8、Flink DataSetAPI数据源部分不但提供了流处理,还提供了批处理,流处理和批处理分属于不同的api基于文件readTextFile(path)基于集合fromCollection(Collection)算子部分Map:输入一个元素,然后返回一个元素,中间可以做一些清洗转换等操作FlatMap:输入一个元素,可以返回零个....

实时大数据计算引擎Apache Flink计算研究(二)
文章 2021-06-29 来自:开发者社区

实时大数据计算引擎Apache Flink计算研究(一)

1、Flink local模式安装(Linux)1.在官网下载Flink,并解压到 /opt/software/flink-text/tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz2.解压成功后 local模式不需要添加额外配置./bin/start-cluster.sh3.验证是否正常启动输入jps 验证进程是否启动输入网址节点IP加端口号8....

实时大数据计算引擎Apache Flink计算研究(一)
文章 2021-04-19 来自:开发者社区

融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系

本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景,内容包括:湖仓一体的架构Flink/Hudi/Kylin 介绍与融合T3 出行结合湖仓一体的实践这个分享有三个部分,首先探讨湖仓一体的架构,然后交流如何融合三个框架以及 T3 如何实践湖仓一体这个架构。一、湖仓一体的架构数据湖和.....

融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
文章 2021-03-11 来自:开发者社区

免费下载!Apache Flink 系列电子书之开源大数据前瞻与应用实战

大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。作为技术负责人,如何评估接踵而至的新技术?作为一线技术骨干,每天沉在业务里,怎样才能快速和时代接轨,让自己不落伍?作为企业决策者,如何搭建实用的大数据生态体系框架,完善数据基础设施,提升企业内部数据服务能力?埋头苦干的同时,也需要抬头看看最新的技术风向。Flink 社区年度策划的 202....

免费下载!Apache Flink 系列电子书之开源大数据前瞻与应用实战
文章 2020-10-12 来自:开发者社区

百城汇杭州站大数据实时计算实战专场圆满落幕

2020年9月,2020云栖大会正式拉开帷幕。本次云栖大会的主题是数智未来·全速重构,将全新升级,峰会、论坛、发布、榜单、探店、对话数百场更加生动的栏目化制作的直播内容,以更加生动有趣的形式,为开发者们带来一场线上的知识和视觉盛宴。 9月19日下午2:00,来自杭州及周边地区的开发者们齐聚阿里巴巴EFC欧美金融城园区,共同参与百城汇·杭州站:大数据实时计算实战专场,共享数字时代的欢聚。 活动还未....

百城汇杭州站大数据实时计算实战专场圆满落幕
文章 2020-08-11 来自:开发者社区

实时计算 Flink:基于 Apache Flink 构建的大数据计算平台(附白皮书)

Apache Flink:全球领先的开源大数据计算引擎 Apache Flink 是一个开源的分布式大数据处理引擎, 可对有限数据流和无限数据流进行有状态计算。作为 Apache 软件基金会 (ASF) 顶级项目之一,Flink 在流处理方面具有绝对的优势,提供高吞吐、低延时的计算能力, Exactly-once 语义保证数据的准确性,亚秒级别的处理延迟确保业务的快速响应。 作为快速发展的新一代....

实时计算 Flink:基于 Apache Flink 构建的大数据计算平台(附白皮书)
文章 2020-05-13 来自:开发者社区

Kafka 加 Flink 不是终点!下一代大数据平台 Pravega

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。发展到现在,Apache Kafka 无疑是很成功的,Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余,但是实际生产中还有很多不允许丢数据的场景存在。针对这类场....

文章 2020-04-19 来自:开发者社区

【0420 - 0424 直播导视 | PPT 下载】第一期藏经阁电子书发布会来了,带你《深入浅出Kubernetes》!周末相约 Flink Forward 全球在线峰会,Get 最新大数据技术!

*本预告时间仅供参考,最终直播时间以直播间信息为准。*本文提供直播PPT下载,请在对应直播介绍处查看。 本周直播重磅推荐: 本周cio学院将邀请阿里巴巴副总裁为大家讲述从金融智能到区块链:金融科技的五大核心技术与未来,并且还将携手平头哥带大家一同领略云端一体的数字经济之“芯” 本周一还将推出阿里人独创冰箱学习法、压箱经验大放送,教你轻松掌握K8S核心概念的电子书发布会。 还为大家准备了Fli...

文章 2019-12-16 来自:开发者社区

阿里云DataWorks推出Stream Studio:为用户提供大数据实时计算的数据中台

阿里云DataWorks推出Stream Studio,为用户提供大数据的实时计算能力,同时标志着DataWorks成为离线、实时双计算领域的数据中台。 据介绍,Stream Studio基于阿里巴巴Flink实时计算引擎,支持DAG和SQL双模式开发流计算作业,并支持DAG与SQL互转;支持Function Studio在线开发UDF并一键发布;支持线上数据采集与本地调试;支持作业运维和智能诊....

阿里云DataWorks推出Stream Studio:为用户提供大数据实时计算的数据中台
问答 2019-11-21 来自:开发者社区

【精品问答】大数据常见问题之flink五十问第二期

Flink五十问 第二期分为基础篇与进阶篇 持续关注有惊喜~ 基础篇 1.简单介绍一下Flink 2.Flink相比Spark Streaming有什么区别? 3.Flink的组件栈是怎么样的 4.Flink的基础编程模型了解吗? 5.说说Flink架构中的角色和作用? 6,说说Flink中常用的算子?用过哪些? 7.Flink中的分区策略有哪几种? 8.Flink的并行度有了解吗?Flink.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注