文章 2020-03-30 来自:开发者社区

25 亿条/秒消息处理!Flink 又双叒叕被 Apache 官方提名

摘要:Apache Flink 作为公认的新一代开源大数据计算引擎,可以支持流处理、批处理和机器学习等多种计算形态,也是 Apache 软件基金会和 GitHub 社区最为活跃的项目之一。 3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在...

文章 2020-03-13 来自:开发者社区

Apache Flink 进阶(八):详解 Metrics 原理与实战

作者:刘彪 整理:毛鹤 本文由 Apache Flink Contributor 刘彪分享,本文对两大问题进行了详细的介绍,即什么是 Metrics、如何使用 Metrics,并对 Metrics 监控实战进行解释说明。 什么是 Metrics? Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内.....

Apache Flink 进阶(八):详解 Metrics 原理与实战
文章 2020-03-13 来自:开发者社区

Apache Flink 进阶(七):网络流控和反压剖析

作者:张俊整理:张友亮(Apache Flink 社区志愿者) 本文共 4745字,预计阅读时间 15min。 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 网络流控的概念与背景 TCP的流控机制 Flink TCP-based 反压机制(before V1.5) Flin.....

Apache Flink 进阶(七):网络流控和反压剖析
文章 2020-03-13 来自:开发者社区

Apache Flink 进阶(六):Flink 作业执行深度解析

作者:岳猛整理:毛鹤本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物理执行计划,二是生成物理执行计划后该如何调度和执行。Flink 四层转化流程Flink 有四层转换流程,第一层为 ....

Apache Flink 进阶(六):Flink 作业执行深度解析
文章 2020-03-13 来自:开发者社区

Apache Flink 进阶(五):数据类型和序列化

作者:马庆祥整理:毛鹤 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。 为 Flink 量身定制的序列化框架 大家都知道现在大数据生态非常火,大多数技术组件都是运行在 J....

Apache Flink 进阶(五):数据类型和序列化
文章 2020-03-13 来自:开发者社区

Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践

作者:周凯波(宝牛) 整理:毛鹤 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 Flink 架构概览 Flink 架构概览–Job 用户通过 DataS...

Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践
文章 2020-03-13 来自:开发者社区

Apache Flink 进阶入门(二):Time 深度解析

作者:崔星灿整理:沙晟阳(成阳) 前言 Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面,是流处理系统的基石之一,贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因.....

Apache Flink 进阶入门(二):Time 深度解析
文章 2020-03-11 来自:开发者社区

重磅!《Apache Flink 十大技术难点实战》发布,帮你从容应对生产环境中的技术难题

《Apache Flink 十大技术难点实战》独家下载来啦!总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别、问题定位、性能优化等全链路过程,实现从基础概念的准确理解到上手实操的精准熟练,从容应对生产环境中的技术难题! 点击免费下载《Apache Flink 电子书合辑》>>> Tips:移动端及PC端可点击下方链接下载:https://developer.ali.....

重磅!《Apache Flink 十大技术难点实战》发布,帮你从容应对生产环境中的技术难题
文章 2020-03-06 来自:开发者社区

必看!Apache Flink 运维&实战系列直播,揭秘生产环境技术难点

Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。 随着 Flink 社区的快速发展,其技术也逐渐走向成熟。在 2019 年,国内已经有大量的本土互联网公司开始采用 Apache Flink 作为主流的实时计算解决方案。同时,在全球范围内,优....

必看!Apache Flink 运维&实战系列直播,揭秘生产环境技术难点
文章 2020-03-05 来自:开发者社区

性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成

导读:随着 Flink 在流式计算的应用场景逐渐成熟和流行,如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具,所以 Flink 针对于批计算也以 SQL 为主要接口。本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。主要分为下面三点展开: 设计架构 项目进展.....

性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像