什么是边缘流数据分析
流数据分析是一种使用流的...提供和阿里云流式计算完全相同的SQL语法。您开发一次SQL，既可以在云上执行、也可以在边缘执行。提供了内建的字符串处理和时间、统计等各类计算函数。支持对消息乱序的处理。提供了流数据分析开发的图形化控制台。
产品概述
流计算StreamCompute StreamCompute 是阿里云提供的流计算引擎，提供使用类SQL的语言来进行流式计算。数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算（流计算）。流处理应用 用户...
基于TairZset实现分布式架构排行榜
借助Tair自研客户端可实现分布式架构排行榜的能力，即可将计算任务分布至多个Key（子排行榜）中完成，您可自定义该Key的数量（默认为10），Tair会将自动数据分散到10个Key中（子排行榜）完成计算，实现分布式架构排行榜。背景信息 实现分布...
应用场景
背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS在线服务日志，IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
数据开发
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过托拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
治理效果
治理效果助您分析治理后效果，评定治理情况、推动治理优化。本文为您介绍如何通过治理效果模块查看整体治理效果指标、趋势分析、项目治理明细。治理效果页面介绍 在Dataphin...单击 计算，为您展示计算健康分、计算优化量、计算量的排行榜。
治理效果
治理效果助您分析治理后效果，评定治理情况、推动治理优化。本文为您介绍如何通过治理效果模块查看整体治理效果指标、趋势分析、项目治理明细。治理效果页面介绍 在Dataphin...单击 计算，为您展示计算健康分、计算优化量、计算量的排行榜。
基于Flink+Hologres搭建实时数仓
方案架构 实时计算Flink版 是强大的流式计算引擎，支持对海量实时数据高效处理。实时数仓Hologres 是一站式实时数仓，支持数据实时写入与更新，实时数据写入即可查。Hologres与Flink深度集成，能够提供一体化的实时数仓联合解决方案。本文...
2022-03-04版本
系统检查点或作业快照 性能优化 企业级状态存储后端在本次新版本中包含了大量优化，极大提升了双流或多流Join作业的性能，计算资源利用率平均可以提升50%，典型场景下可以提升100%~200%，帮助您更平滑地运行有状态的流计算应用。...
基本概念
视觉计算服务涉及到的一些基本概念。ACU ACU代表1份AI计算能力，1ACU相当于1路1080P 4Mbps视频流的人脸识别...图片流计算 图片流计算是设备上传图片数据进行AI视觉计算。存储 存储是指设备产品的实时视频流生成视频文件片段，并存储到OSS中。
概述
DataHub用于实时上传数据，主要适用于流式计算场景。数据上传后会保存到实时表，后续会在几分钟内通过定时任务的形式同步到MaxCompute离线表，供离线计算使用。LogHub 日志服务SLS提供数据投递功能，将LogHub实时采集的日志投递至...
实时计算 Flink版系统权限策略参考
本策略定义了管理流计算（Stream）服务的权限。查看策略详情 AliyunStreamReadOnlyAccess 您可以将 AliyunStreamReadOnlyAccess 策略授权给RAM身份。本策略定义了只读访问流计算（Stream）服务的权限。查看策略详情 授权操作参考 RAM 身份...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
CreateAIInstance
ProjectId String 是 1 所属项目ID AlgorithmId String 是 1 算子ID ComputeType String 是 StreamCompute 计算类型，取值范围：StreamCompute：流式计算 DataSource String 是 Camera 数据来源，取值范围：Camera：摄像头。需调用 ...
基于Ubuntu 16.04搭建环境
确认是否启动流式计算，默认开启流式计算。确认是否卸载之前已安装的版本，默认卸载。拉取Docker镜像完成并启动可能需要等待5~10分钟，启动完成后通过 docker ps 命令查看相关Docker容器是否已启动，若系统显示如下图所示信息，表示启动...
基于Windows搭建环境
确认是否启动流式计算，默认开启流式计算。确认是否卸载之前已安装的版本，默认卸载。拉取Docker镜像完成并启动可能需要等待5~10分钟，启动完成后通过 docker ps 命令查看相关Docker容器是否已启动，若系统显示如下图所示信息，表示启动...
概述
Spark on MaxCompute暂不支持如下场景：交互式和流计算类需求，例如Spark-Shell、Spark-SQL-Shell、PySpark-Shell、Spark Streaming等。不支持访问MaxCompute除OSS、Hologres以及HBase外部表之外的外部表、内建函数和自定义函数...
边缘计算旧版控制台迁移相关问题
新版控制台该功能已下线，您可自行选择流计算引擎，通过容器应用部署到边缘侧。网关互联 支持边缘MQTT本地接入，配置用户名密码。支持边缘MQTT接入，配置用户名密码。更多信息，请参见 主机管理。无。远程运维 提供SSH、更多远程服务（Web...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
操作指导
系统策略：AliyunStreamReadOnlyAccess（只读访问流计算服务）或AliyunStreamFullAccess（流计算服务所有权限），详情请参见 系统权限策略。自定义策略：stream:DescribeVvpInstances（查看工作空间），详情请参见 自定义权限策略。实时...
排行榜
排行榜一般反映指标在维度中的分布及排名顺序，简洁地展示TOP N的降序排行。例如，排行榜根据销售额从大到小的顺序展示TOP 10城市。本文为您介绍如何为排行榜添加数据并配置样式。效果图 排行榜包含基础排行榜和占比滚动排行榜，效果图如下...
概述
EdgeBusSink：边缘端消息总线，会把流作业的处理结果输出到EdgeBus，可通过消息路由的配置决定流作业处理结果的具体流向，目前支持流向函数计算、IoTHub。RDS：关系型数据库（MySQL），会将流数据分析任务的处理结果输出到阿里云关系型数据...
迁移方案
本文为您介绍将自建开源Flink集群的流式作业（包含Table API、SQL和Datastream）迁移至阿里云实时计算Flink版的迁移优势、迁移方案和相关文档。迁移优势 实时计算Flink版产品按CU售卖，根据业务需要按需购买，可以降低成本。另外提供提交...
计费项
1个实时计算作业（Job）的CU使用量取决于此Job输入数据流的QPS、计算复杂程度，以及具体的输入数据分布情况。您可以根据业务规模以及实时计算的计算能力，估算所需购买的资源数量。实时计算1 CU的处理能力如下表所示。处理场景 处理能力 ...
物化表管理
基于 Apache Paimon 提供了物化表能力，通过物化表，您可以在数据湖上构建流批一体的计算能力，从而搭建一套新的数据开发范式，通过数据层、元数据层，计算层的统一，解决您在原有架构下，数据多份存储、数据口径对齐复杂、任务需要在不同...
HTTP触发器概述
目前函数计算的 使用自定义运行时创建 和 使用容器镜像创建 是支持流式响应的，但是 使用内置运行时创建 暂不支持流式响应。在 使用自定义运行时创建 和 使用容器镜像创建 方式部署函数时，函数计算会根据响应头中是否带有 Transfer-...
什么是物联网边缘计算
提供的路由路径如下：设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...
节点类型说明
计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类节点。在线节点 更多详细信息，请参见 在线类节点。流式节点 更多详细信息，请参见 流式类节点。...
使用限制
性能：实时计算Flink版在简单的流式压测处理场景下（例如单流过滤、字符串变换等操作），1 CU每秒的处理能力为40000~55000条数据。在复杂的流式压测处理场景下（例如JOIN、GROUP BY或窗口函数等操作），1 CU每秒的处理能力5000~10000条数据...
增量计算概述
MaxCompute增量计算是基于Delta Table增量数据存储和读写能力，通过CDC能力扩展增量物化视图，Time travel 以及 Stream Table 等一系列的增量计算能力。同时增量物化视图（IMV）和周期性调度任务提供了不同的触发频率，从而为用户提供更多...
支持的连接器
模拟数据生成Faker√流模式和批模式 SQL 不涉及 Iceberg√流模式和批模式 SQL 是 时序数据库InfluxDB×流模式 SQL 否 流式数据湖仓Paimon√流模式和批模式 SQL和数据摄入YAML 是 Hudi（退役中）√流模式和批模式 SQL和DataStream 是 云数据...
什么是边缘应用
消息触发：通过消息路由流转到函数计算的多种来源（例如设备、函数计算、流数据分析等消息源）的消息，触发函数计算。函数调用者：边缘网关提供调用本地函数计算的API，从外部程序中直接调用本地函数计算或在函数计算代码中调用其它的函数...
基于Paimon的Streaming Lakehouse方案
Apache Paimon是一种流批统一的数据湖存储格式，结合Flink及Spark构建流批处理的实时湖仓一体架构。Paimon创新地将湖格式与LSM技术结合起来，给数据湖带来了实时流更新以及完整的流处理能力。借助实时计算Flink版与Apache Paimon，可以快速...
人流量展示
本文以人流量实时显示为例，详细说明如何使用流数据分析进行人流量的统计，并将计算结果输出到函数计算中，在函数计算中更新显示屏内容。示意图如下所示。前提条件 请您确保已创建边缘实例，具体操作请参见 专业版环境搭建。一、添加设备 ...
配置HTTP触发器并使用HTTP触发
函数计算 支持HTTP触发器，配置HTTP触发器的函数可以通过HTTP请求被触发...否 系统流控 503 函数计算 系统流控。可用指数退避方式重试。否 如果问题还未能解决，请加入钉钉用户群（钉钉群号：64970014484），联系函数计算工程师及时沟通处理。
快速体验
云原生大数据计算服务MaxCompute 实现底层加工计算，您需提前开通该服务。详情请参见 开通MaxCompute。云数据库RDS MySQL版 本案例中用于存储用户信息数据。案例已默认提供该MySQL数据源基本信息，您无需单独开通该服务。对象存储OSS 本...
轻量消息队列（原 MNS）队列触发器
目前提供 事件模式 和 事件流模式 两种消息推送模式，每个模式创建的资源如下：事件模式 事件总线 事件源 事件规则 事件流模式 事件流 创建完成后，您可以在 函数计算 控制台查看触发器信息，同时也可以在 事件总线EventBridge 控制台查看...
- 产品推荐
- 这些文档可能帮助您