Apache flink优化的相关内容

阿里云文档 2024-09-09

Apache Log4j 0Day安全漏洞公告说明

近日，阿里云计算有限公司发现阿帕奇Log4j2组件存在远程代码执行漏洞，并将漏洞情况告知阿帕奇软件基金会。本文为您介绍该漏洞的影响范围及相应的客户侧和云服务侧的安全建议。

阿里云文档 2024-08-21

在挂载文件存储HDFS版的Hadoop集群上安装及使用ApacheFlink

本文介绍如何在挂载文件存储 HDFS 版的Hadoop集群上安装及使用Apache Flink。

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（上）

作者：邹云鹤用户背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务)，Likee (短视频创作分享平台)，IMO (免费通信工具) 三部分，在全球范围内拥有 4 亿用户。业务需求伴随着BIGO业务的发展，对数据平台处理能力的要求越来越高，平台所面临的问题也日益凸显。BIGO 大数据平台的数据流转图如下所示：用户在 APP，....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（下）

《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（上） https://developer.aliyun.com/article/1228256实时数仓建设和优化为了提升 BIGO 大数据平台上某些业务指标的产出效率，以及更好的管理 Flink 实时任务，BIGO 大数据平台建设了实时计算平台....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——4.云原生——京东-Flink on K8s 在京东的持续优化实践（上）

作者：付海涛用户背景京东集团定位于“以供应链为基础的技术与服务企业”，目前业务已涉及零售、数字科技、物流、技术服务、健康、保险、物流地产、云计算、AI和海外等领域，其中核心业务为零售、数字科技、物流、技术服务四大板块。平台建设在 2017 年左右，京东实时计算是多个引擎并存的，包括 Storm、Spark Streaming 以及正在引入的新一代计算引擎 Flink，其中 Storm 集群....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——4.云原生——京东-Flink on K8s 在京东的持续优化实践（下）

《Apache Flink 案例集（2022版）》——4.云原生——京东-Flink on K8s 在京东的持续优化实践（上） https://developer.aliyun.com/article/1228060接下来是磁盘的性能问题。容器中的存储空间由两部分组成，如上图所示，底层是只读的镜像层，顶部是可读写的容器层。容器运行的时候涉及到文件的写操作都是在容器层中完成的，这里需要一个存储驱动....

文章 2022-09-16 来自：开发者社区

Apache Flink 在小米的稳定性优化和实践

摘要：本文整理自小米大数据部高级软件工程师张蛟在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括：发展现状和规模稳定性优化及实践运维优化及实践未来规划与展望点击查看原文视频 & 演讲PPT一、发展现状及规模现阶段，我们的整体架构可以分成5层，数据从下往上流动，如上图。数据采集层主要负责收集各类数据，数据的来源分为两类，一类是埋点和业务日志以及服务日志，经....

文章 2022-02-17 来自：开发者社区

取之开源，用之开源——深度剖析阿里巴巴对Apache Flink的优化与改进

Apache Flink 概述Apache Flink（以下简称Flink）是诞生于欧洲的一个大数据研究项目，原名StratoSphere。该项目是柏林工业大学的一个研究性项目，早期专注于批计算。2014年，StratoSphere项目中的核心成员孵化出Flink，并在同年将Flink捐赠Apache，后来Flink顺利成为Apache的顶级大数据项目。同时Flink计算的主流方向被定位为流计算....

文章 2022-02-17 来自：开发者社区

Apache Flink 在京东的实践与优化

本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》，内容包括：业务演进和规模容器化实践Flink 优化改进未来规划GitHub 地址 https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~一、业务演进和规模1. 业务演进京东在 2014 年基于 storm....

文章 2022-02-17 来自：开发者社区

快手基于 Apache Flink 的优化实践

本次由快手刘建刚老师分享，内容主要分为三部分。首先介绍流式计算的基本概念，然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。一、流式计算的介绍流式计算主要针对 unbounded data（无界数据流）进行实时的计算，将计算结果快速的输出或者修正。这部分将分为三个小节来介绍。第一，介绍大数据系统发展史，包括初始的批处理....