文章 2019-07-25 来自:开发者社区

阿里实时计算平台运维架构演进

引言 大家知道最近两年随着AlphaGo的兴起,人工智能和机器学习成为各个互联网公司,如阿里巴巴、腾讯等重金投入的场景。实时计算作为机器学习的重要基础设施,开始大规模应用起来,它在搜索、推荐、广告、监控等场景下,对数据、模型等产生实时的反馈,对算法效果的提升有非常大的帮助。 在去年双十一时,阿里的实时计算平台服务了20多个BU、有1K多的 Job、近万台机器,其计算峰值达到了4.72亿QPS,大....

文章 2018-11-14 来自:开发者社区

实时计算Flink —— 独享模式系统架构

独享模式系统架构如下所示。 系统架构说明: 实时计算独享模式为全托管管理方式。您所购买的ECS都托管在实时计算VPC下,暂不提供用户登陆接口。如有登陆ECS的需求,请联系实时计算客服。 为了访问您的VPC内服务,会在创建集群时,在您账号下申请弹性网卡。通过弹性网卡,您即可访问其VPC下所有资源。 您的实时计算集群,如果需要访问公网,可在弹性网卡上绑定NAT网关及弹性公网IP,具体操作步骤,请参.....

实时计算Flink —— 独享模式系统架构
文章 2018-11-14 来自:开发者社区

容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状

前言# 当前,流数据平台的普及率正在飙升。为了解决日益增长的实时数据处理需求,一些公司正在将其部分大数据基础架构转换为流式处理模型。 基于流数据的基础架构不仅能够更好地解决延迟敏感的数据处理业务需求,同时提供更多深入业务洞察 ; 另外,流式数据处理平台让传统的数据仓库建设更加简单灵活。 流式基础架构的关键部分是流计算引擎。优秀的流式计算引擎可以让业务即使在有状态计算的情况下,也能提供低延迟、高.....

文章 2016-07-19 来自:开发者社区

Flink 原理与实现:架构和拓扑概览

架构 要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。 当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再调度任务到各个 TaskManager 去.....

Flink 原理与实现:架构和拓扑概览

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注