文章 2022-02-17 来自:开发者社区

日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

作者:微博广告数据平台 随着微博业务线的快速扩张,微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均处理日志数量超过百亿,接入产品线、业务日志类型若干。 一.技术选型 相比于 Spark,目前 S....

文章 2022-02-17 来自:开发者社区

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平台上的行为轨迹,我们开始开发实时应用。那时可选的技术架构还是比较少的,实时计算框架这块,当时比较主流的有 Storm 和 Spark-str....

文章 2022-02-17 来自:开发者社区

Flink 靠什么征服饿了么工程师?(Flink在饿了么实时计算平台的应用)

title:Flink 靠什么征服饿了么工程师?(Flink在饿了么实时计算平台的应用)author: 易伟平time: 2018/07/26order: 6comment: 本文将为大家展示饿了么大数据平台在实时计算方面所做的工作,以及计算引擎的演变之路,你可以借此了解Storm、Spark、Flink的优缺点。如何选择一个合适的实时计算引擎?Flink凭借何种优势成为饿了么首选?本文将带你一....

问答 2022-02-15 来自:开发者社区

有基于flink做实时计算平台的吗,针对flink job打印大量日志,这些日志的存储 #Flink

有基于flink做实时计算平台的吗,针对flink job打印大量日志,这些日志的存储,加载和检索有什么好的技术方案吗? #Flink

文章 2022-02-14 来自:开发者社区

作业帮基于 Flink 的实时计算平台实践

摘要:本文整理自作业帮实时计算负责人张迎在 Flink Forward Asia 2021 的分享。在作业帮实时计算演进过程中,Flink 起到了重要的作用,特别是借助于 FlinkSQL 极大的提高了实时任务的开发效率。这篇文章主要分享 FlinkSQL 在作业帮的使用情况、实践经验,以及随着任务规模增长,在从 0 到 1 搭建实时计算平台的过程中遇到的问题及解决方案。内容包括:发展历程Fli....

作业帮基于 Flink 的实时计算平台实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注