实时计算Flink版

阿里云实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。

如何使用

在数据开发页面完成修改代码后,不会影响生产作业,需要您单击上线后,重新启动该作业,该修改才会生效。如何优化实时计算各个节点资源配置以减少延迟?问题描述 实时计算作业启动后,多个节点的延迟会迅速增加。示例如下图。原因分析 资源...

应用实时监控服务ARMS

应用实时监控服务ARMS(Application Real-Time Monitoring Service)是一款阿里云应用性能管理(APM)类监控产品。借助本产品,您可以基于前端、应用、业务自定义等维度,迅速便捷地为企业构建秒级响应的应用监控能力。

基本概念

本文汇总了实时计算Flink版基本概念、作业操作、调试运维等方面的常见问题。基本概念 什么是实时计算?实时计算与批量计算相比存在哪些差异?阿里云实时计算Flink版适用哪些场景?阿里云实时计算Flink版使用有哪些限制?什么是流数据?阿里...

基本概念

本文为您介绍实时计算Flink版基本概念的常见问题。什么是实时计算?实时计算与批量计算相比存在哪些差异?阿里云实时计算Flink版有哪些使用限制?什么是流数据?阿里云实时计算Flink版的数据存储有哪些类型?什么是实时计算?数据的业务...

应用场景

实时计算Flink版广泛应用于大数据实时化的场景,本文从部门场景和技术领域场景进行介绍。说明 更多场景案例请参见阿里云实时计算Flink版产品案例和解决方案汇总。已有流处理系统 如果您本地已安装Flink、Storm或Spark Streaming系统,可以...

实时诊断

背景信息 实时诊断会启动临时存储机制,上报数据后,无需进行实时统计即可快速展示诊断结果。实时诊断不会影响正常统计,5分钟后会自动关闭此功能。关闭后,可重新开启此功能。实时诊断页面默认定时刷新,每10秒刷新一次。您也可以关闭定时...

共享模式角色授权

当您删除或修改AliyunStreamRolePolicy授权策略导致无法恢复时,您可以在RAM中删除AliyunStreamDefaultRole,并重新进入实时计算控制台,让实时计算重新启动自动化角色授予流程。重新初始化步骤:登录RAM角色管理 在RAM角色管理页面底部的...

业务流程

本文为您介绍阿里云实时计算业务流程的系统架构和数据链路。业务流程简介 实时计算业务流程系统架构图如下。数据采集广义的实时数据采集,是指使用流式数据采集工具,将数据实时地采集并传输到大数据Pub/Sub(发布订阅)系统。Pub/Sub系统...

用户支持渠道

您可以通过提交工单、加入实时计算交流群和查看云栖社区文档三种方式获取实时计算的技术支持。如何在阿里云控制台提交工单?如何加入实时计算交流群(钉钉)?实时计算云栖社区地址是什么?如何在阿里云控制台提交工单?登录工单系统。在...

实时诊断

实时诊断功能适用于在短时间内密切监控应用性能和定位问题原因的场景。本文介绍实时诊断功能的使用方法。背景信息 当您需要密切监控一小段时间内的应用性能时,例如发布应用或者对应用进行压测时,可以使用实时诊断功能。开启实时诊断后,...

产品安全

已运行的实时计算作业并不会直接使用新代码,需经过您确认后,停止已运行作业并使用新代码重新运行。从流程上保证发布的严谨性。数据安全 数据安全分为实时计算系统数据安全和业务数据安全。系统数据安全 实时计算系统保证自身数据安全:...

计量项

本文为您介绍实时计算计量项。实时计算的基本计量单位为Compute Unit(CU),即计算资源,1CU=1核CPU+4G内存。CU对应实时计算底层系统的CPU计算能力。1个实时计算作业(Job)的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体...

发展历程

本文为您介绍阿里云实时计算的发展历程。阿里云实时计算在原有Flink系统基础上,提供一整套的开发平台和完整的流式数据处理业务流程。受益于阿里巴巴大数据多年的技术和业务沉淀,您在使用实时计算时,可以享受到阿里巴巴集团前沿的计算...

概述

阿里云实时计算集成了RDS、DataHub、OTS等数据存储系统的管理界面,为您提供一站式云上数据存储管理服务。使用限制 独享模式集群仅能访问相同专有网络VPC、相同Region和相同安全组下的存储资源。如果需要访问其它VPC下的资源,请参见如何...

计量计费

本章节汇总了使用实时计算过程中计量计费的常见问题。为什么计算的CU跟显示消耗的CU不一致?阿里云实时计算如何计量和收费?阿里云实时计算是否带来其他费用?为什么已使用CU和资源消耗总和不一致?实时计算到期不续费,作业信息是否会被...

崩溃指标说明

今天实时Crash率=今天0点到当前时间Crash发生累计次数/今天0点到当前时间应用(版本)总启动次数。Native Crash率 Crash基础指标,表示Native的崩溃率。今天实时Native Crash率=今天0点到当前时间Native类型Crash发生累计次数/今天0点到...

什么是阿里云实时计算Flink版

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。发展历史 2017年,阿里巴巴集团统一合并...

前端监控实时大屏

通过ARMS前端监控实时大屏,您可以一次性查看被监控应用的所有关键实时监控数据。功能入口 登录ARMS控制台,并在左侧导航栏中单击前端监控。在前端监控页面上,单击应用名称。在应用的总览页面上,单击右上角的实时大屏。在监控大屏页面上...

开通服务和创建项目

本文为您介绍如何开通实时计算Flink版共享模式和独享模式服务,以及如何创建共享模式的项目、独享模式的集群和项目。独享模式开通流程 说明 独享模式已于2021年4月28日暂停新购,目前仅支持原有项目的扩缩容和续费操作。如果您有新购需求,...

车联网实时监控方案

在这个应用场景案例中,上海某车联网行业方案提供商采用基于ARMS的方案统计车辆在线情况。由于数据量巨大(每秒10万级的车辆信息),无法基于数据库对原始数据进行多维度统计。基于ARMS的车联网行业监控方案 总体架构如下图所示:车企平台...

使用限制

本文介绍实时计算所支持的服务范围和相应的限制,包括CU处理能力的限制、项目创建的限制。请您仔细评估下列限制对于您业务的影响情况。如有疑问,请及时提交工单,确认产品是否满足您的业务需求。实时计算共享模式暂不提供自定义函数(UDX...

主子账号授权

{"Version":"1","Statement":[{"Action":"stream:*","Resource":"acs:stream:*:*:*","Effect":"Allow"},{"Action":"ram:PassRole","Resource":"acs:ram:*:*:*","Effect":"Allow"}]} 实时计算授权策略支持至project粒度,即可以为不同的RAM...

Arthas诊断(新版)

Arthas是诊断Java领域线上问题的利器,利用字节码增强技术,可以在不重启JVM进程的情况下,查看程序的运行情况。前提条件 新开通ARMS的账号或15天内未使用Arthas诊断功能的账号仅支持使用新版Arthas诊断功能。新版Arthas诊断功能目前正处于...

TaskExecutor

本文为您介绍TaskExecutor在实时计算集群启动过程中的作用以及TaskExecutor的界面。注意 本文档仅适用于实时计算3.0以下版本。背景 TaskExecutor是实时计算集群的启动过程不可或缺的一部分。TaskExecutor负责接收任务并将信息返还。...

概述

本文为您介绍如何搭建实时计算Flink版自定义函数的环境并使用自定义函数。注意 仅独享模式支持自定义函数。Blink在开源Flink SQL的基础上对性能进行了增强,Blink是阿里云实时计算版本的Flink。UDX函数仅适用于Blink,对开源Flink暂不适用...

Failover

阿里云实时计算提供了当前作业的Failover页面,您可以在Failover页面了解当前运行作业的运行情况和报错信息。登录Failover页面 登录作业运维页面。登录实时计算控制台。单击页面顶部的运维。在作业列表区域,单击作业名称下的目标作业名。...

概述

本文通过安全监控作业案例,帮助您了解实时计算Flink版作业开发流程。实时安全监控案例介绍 实时监控报警作为保障数据安全的重要环节,受到越来越多的关注。为了保证同时满足数据的正确性和实效性,实时计算Flink版将流式数据源表和存放白...

AutoScale自动配置调优

为了解决您使用AutoConf自动配置调优功能时频繁启停作业的问题,实时计算3.0及以上版本提供了AutoScale自动配置调优功能。作业启动后,系统会根据资源配置规则,自动进行作业的调优,直到满足设定的调优目标,全程无需人工介入。说明 ...

Checkpoints

阿里云实时计算提供可以恢复数据流,并和应用保持一致状态的容错机制。容错机制的核心是持续创建分布式数据流及其状态的快照。当系统出现故障时,这些快照充当可以回退的一致性检查点(Checkpoint)。登录Checkpoints页面 登录作业运维页面...

音视频通信

音视频通信RTC(Real-Time Communication)是阿里云覆盖全球的实时音视频开发平台,提供高可用、高品质、超低延时的实时网络服务,适用于在线教育、互动娱乐、视频会议、保险定损、调度指挥等场景。使用阿里云RTC SDK,您可以在移动、Web、...

概述

阿里云为实时计算产品Flink Datastream提供了作业提交、上线和启动功能,并提供了便利的运维管理和监控报警能力。注意 仅独享模式Blink 3.2.2及以上版本,支持Flink Datastream功能。Flink Datastream暂不支持Flink SQL作业中的注册数据...

JobManager

JobManager是实时计算集群启动的重要组成部分,您可以在JobManager页面查看JobManager的详细参数信息。登录JobManager页面 登录作业运维页面。登录实时计算控制台。单击页面顶部的运维。在作业列表区域,单击作业名称下的目标作业名。在...

概述

阿里云实时计算Flink版独享/共享集群(原产品线)支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充,具备更加丰富的功能。本文为您介绍实时计算共享模式和独享模式的优势及区别。共享模式(已停购)不同用户共享计算集群...

数据曲线

阿里云实时计算提供了当前作业的核心指标概览页面。您可以通过数据曲线对作业的运行情况进行一键式的诊断。实时计算未来还会提供更多基于作业现状的深度智能分析算法,辅助您进行智能化和自动化诊断。数据曲线示例如下。说明 实时计算作业...

功能概述

稳定高效的时序和事件存储 在线持续聚合数据,保证数据容量可控。智能分级存储存放策略。支持最多三级的下钻索引。可定制的报警设置 支持设置任意连续时间的滑动平均、最大值报警。支持自定义报警内容。丰富的报警通道,如邮件、短信、钉钉...

分场景排错指引

本文汇总了实时计算Flink版服务和作业上线、启动、输出、延时等的常见问题。购买 购买实时计算Flink版服务时,遇到Inventory check failed报错,应该如何处理?控制台提示项目参数错误,项目不存在,应该如何处理?上线启动 作业无法启动,...

概述

本文为您介绍实时计算Flink半托管(原名Flink云原生)版本的优势以及选择Kubernetes作为容器调度平台的原因。Flink半托管/ACK目前可以被部署在Kubernetes(容器服务ACK提供)。Flink半托管是Flink和容器服务ACK的深度集合,充分利用了ACK在...

概述

阿里云实时计算Flink版开发平台为实时计算Flink SQL作业提供了存储管理、作业开发、作业调试、运维管理、监控报警和配置调优功能。Flink SQL开发指南主要包含以下内容:数据存储 实时计算Flink版开发平台提供了实时计算Flink版上下游存储...

探针管理

在探针管理页面,您可以重启Kubernetes监控的探针。操作步骤 登录ARMS控制台。在左侧导航栏单击Kubernetes监控。在顶部菜单栏,选择地域。在Kubernetes监控页面,单击Kubernetes集群名称。在左侧导航栏单击集群管理,在右侧页面单击探针...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折