实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
实时研发基本流程概述
以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另一个用于OLAP分析的MySQL数据库。通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用...
查看仪表盘
水位监控 用于实时可视化展示Kubernetes中资源的水位情况，包括Pod运行数、CPU总数、文件系统使用量等。运行时监控 用于实时可视化展示Kubernetes中处于运行状态的资源信息，包括Deployment运行数量、Daemonset运行数量等。核心组件监控 ...
查看与修改作业运行状态
说明 已失败状态的作业会被系统诊断为异常作业。修改作业运行状态 登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏上，选择 作业运维，单击目标作业名称。根据需要，单击右侧以下按钮，修改...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
监控指标说明
这可能会影响系统性能，导致系统卡顿、响应时间过长等问题。说明 实时计算引擎VVR 6.0.6及以上版本不支持该指标，可查看JM CPU Usage指标进行CPU使用率监控。无 JM CPU Usage 单个JM CPU的CPU使用率。该值反映Flink对CPU时间片的占用情况，...
作业停止
注意事项 在作业运行过程中，我们仅保留最新的系统检查点，停止时不会自动清理系统检查点。操作步骤 进入作业运维页面。登录 实时计算控制台。在 Flink全托管 页签，单击对应工作空间 操作 列下的 控制台。在 作业运维 页面，单击目标作业 ...
查看同步任务
DataConnector支持系统 目标系统 时效性 是否支持vpc 描述 MaxCompute（ODPS）准实时，通常情况5分钟延迟 No 同步Topic中流式数据到离线MaxCompute表，字段类型名称需一一对应，且DataHub中必须包含一列（或多列）MaxCompute表中分区列对应...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
实时数仓Hologres
背景信息 实时数仓Hologres 是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
操作说明
前端监控 前端监控接入概述 前端监控实时大屏 页面访问速度 会话追踪 API请求 一键诊断 前端监控告警规则（新版）其他更多操作请参见 什么是ARMS前端监控。用户体验监控 Web&H5监控详情 小程序监控详情 接入移动应用 数据探索 应用设置 ...
开通实时计算Flink版
使用实时计算Flink版需要开通工作空间，每个工作空间的计算资源隔离，开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤，以及开通过程中的注意事项。前提条件 已拥有阿里云账号。如果您还没有阿里云账号，请先完成注册，详情...
使用实时性能功能
实时性能可以采集 CPU、内存、内存详情、流量、FPS 等指标，单击主功能下的 实时性能 跳转到 实时性能 界面。查看进程的实时性能数据 在 实时性能 界面可以查看进程的性能数据，操作步骤如下：在 选择进程 下拉框中选择进程。重要 当前下拉...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
实时性能
实时图表 实时图表每5秒刷新一次并输出折线图，方便您查看系统性能的变化趋势。说明 您也可以单击目标性能图表上方的 查看该性能指标的详细信息。Mongostat 您可以查看mongostat命令的输出信息，每5秒新增一行实时的性能值，最多显示999行...
新用户免费试用
Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库或Serving系统（HBase、Redis）统一在一个大数据计算引擎中，并提供快速的离线实时一体化分析能力。产品核心优势 简化...
实时物化视图
对于这种情况，PolarDB推出了实时物化视图的功能，实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化...
实时物化视图
对于这种情况，PolarDB推出了实时物化视图的功能，实时物化视图对于物化视图具有以下优势：实时物化视图支持语句级别更新，当依赖表进行DML（插入/删除/更新）操作，在DML语句结束时，实时物化视图会自动更新物化视图内的数据，让实时物化...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
实时模式运行参数配置
在开发实时任务时，通常需要配置任务的运行参数，以控制任务的执行行为和性能。例如，JobManager进程的内存大小、TaskManager中slot的超时时间等。本文将为您介绍如何配置任务实时模式的运行参数。操作步骤 请参见 实时模式配置入口，进入...
管理作业版本
锁定作业版本 系统最多支持50个作业版本，超过50个后，系统会自动删除最旧的版本。您可以通过锁定指定版本，保证该版本不会被自动删除。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，...
用户行为分析（UV）概述
例如大促时，电商商家需要实时计算店铺的实时UV，并根据UV情况及时调整运营策略，从而达成销售目标。在计算用户UV时，由于业务需求不同，计算的维度和数据量也不同，通常来讲会有以下诉求。用户数据量大，每天几亿条，维度多（10+以上），...
迁移方案
本文为您介绍阿里云实时计算Blink独享或共享集群（Blink计算引擎和Bayes开发平台）的业务迁移至实时计算Flink全托管（Flink计算引擎VVR和开发平台VVP）时的迁移限制、迁移方案和常见问题。迁移限制 由于Blink作业的State和Flink的State无法...
简单权限模型概述
本文为您介绍基于实时数仓Hologres的简单权限模型。背景 Hologres兼容Postgres，使用与Postgres完全一致的权限系统（简称专家模式，详情请参见 专家权限模型）。典型的Postgres权限系统划分非常严格，在实际业务场景中使用时，操作较为复杂...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
主从实例读写分离部署（共享存储）
数据状态保存在盘古分布式存储系统中，无需从计算节点迁移，计算节点轻量无状态，系统可以快速从故障中恢复。该方案为当前每个实例内部默认启用，当系统发生故障时，无需手工运维介入，系统可以自动恢复。在恢复期间，如果查询算子需要访问...
监控与日志
性能监控数据 在 性能监控 页面，选择文件系统类型和目标文件系统ID，查看该文件系统的读写IOPS、读写延迟、读写吞吐等监控数据。容量监控数据 在容量监控页面，选择文件系统类型和目标文件系统ID，查看该文件系统的存储空间使用量、文件数...
实时无损分割SDK
通过颜色过滤和深度学习的融合技术，对直播中的视频进行实时分割，同时对边缘瑕疵进行边缘平滑和去杂色处理，实现影视级无瑕疵的实时视频分割效果。说明 阿里云视觉智能开放平台各类目视觉AI能力SDK接入、接口使用或问题咨询等，请通过钉钉...
同城高可用
在购买实时计算Flink版时，您需要选中 是否启用跨可用区，并填写 计算资源配额，选择对应的主备可用区和虚拟交换机，详情请参见 开通实时计算Flink版。在跨可用区项目空间创建并运行作业，详情请参见 进入目标项目空间。方式2：已有工作...
续费说明
开启自动续费后，系统会在工作空间到期前第9天开始自动扣款。如果需要取消自动续费，请在自动扣款前操作。登录 实时计算控制台。在顶部菜单栏，选择 费用>续费管理。在 续费管理 页面，选择到期时间范围、产品和地域，过滤待操作的工作空间...
SmartMetrics常见问题
为什么大盘上没有显示预测得到的未来时段的指标上下边界？预测好的上下边界已经自动写入到Prometheus中，但Prometheus不会提前显示未来数据，而是根据实际时间自动获取对应数据，实时显示在大盘上。另外，配置告警后，指标真实值会自动与...
HoloWeb简介
背景信息 Hologres是为大数据设计的一站式实时数仓，支持数据实时写入、PB级数据高并发低延时的分析处理和超高QPS点查。与MaxCompute无缝打通，支持数据加速查询，兼容PostgreSQL生态，可以使用最熟悉的BI工具对海量数据进行自助的多维分析...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
基础探针管理
因此，在执行数据接入流程时，系统会默认安装所需的基础探针。若需进行额外的管理操作，您将会用到基础探针管理功能。前提条件 已开通 应用实时监控服务。具体操作，请参见 开通ARMS。基础探针类型 探针类型 说明 Prometheus探针 提供基础...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
实时视频分割SDK
基于深度学习框架，结合检测识别技术，实现高精视觉分割能力，可实现实时全自动主体、场景像素级识别，对高度镂空主体、复杂背景等场景都有较好的效果。说明 阿里云视觉智能开放平台各类目视觉AI能力SDK接入、接口使用或问题咨询等，请通过...
动态扩缩容与参数动态更新
动态更新Flink作业参数可以实现更快的参数配置生效，减少作业启停对业务的中断时间，方便进行TM动态扩缩容和系统检查点的排查。背景信息 传统的Flink参数更新方式需要重新启动作业，可能会出现业务中断、数据回追延迟和资源占用高峰等问题...
Terraform
实时计算Flink版支持接入Terraform，您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码（Infrastructure as Code）工具，可以通过编写简洁的代码来定义和配置云端基础设施，而不必手动操作和...
- 产品推荐
- 这些文档可能帮助您