MaxCompute

数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据...

基本概念

实时计算具备三大特点:实时(Realtime)且无界(Unbounded)的数据流 实时计算面对的数据是实时且流式的,这些数据按照时间发生顺序被实时计算订阅和消费。例如网站的访问单击日志流,只要网站不关闭,其单击日志流将不停产生并进入实时...

实时计算Flink版

阿里云实时计算Flink版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。

云原生数据湖分析 DLA

云原生数据湖分析(Data Lake Analytics,简称DLA)是无服务器(Serverless)化的数据湖分析服务,支持按需与保留资源...提供一站式的数据湖分析与计算服务,支持 ETL、机器学习、、交互式分析,可以与 OSS、数据库等多种数据源搭配使用。

视图计算

是面向视图设备(如摄像头、车载终端、消费电子等)上云场景提供连接、视图AI计算、视图云存储的云PAAS服务,让终端设备在最近的边缘节点便捷上云计算,大大降低网络延时提升视图类数据处理效率,通过开放OpenAPI易于被行业场景应用集成。

业务流程

DataHub DataHub提供了多类数据(如日志、数据库BinLog、IoT数据流等)上传到DataHub的工具、界面,以及开源、商业软件的集成。请参见DataHub使用文档对DataHub做更详尽了解。LogService 日志服务(LogService)是针对日志类数据的一站式...

基本概念

实时计算具备三大特点:实时(Realtime)且无界(Unbounded)的数据流 实时计算面对的数据是实时且流式的,这些数据按照时间发生顺序被实时计算订阅和消费。例如网站的访问单击日志流,只要网站不关闭,其单击日志流将不停产生并进入实时...

批量计算

批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。

函数计算

阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。

Serverless工作

Serverless工作SWF(Serverless Workflow)是一个将多步骤的分布式任务编排成为Serverless工作的全托管云服务。

计算巢服务

计算巢是一个开放给企业应用服务商、IT集成服务商、交付服务商、管理服务提供商(以上都统称为服务商)和最终用户的服务管理PaaS平台。服务商能通过计算巢服务更好地在阿里云上部署服务、交付服务及管理服务。最终用户能通过计算巢管理在...

数据曲线

Advanced View 阿里云实时计算提供可以恢复数据流应用到一致状态的容错机制。容错机制的核心就是持续创建分布式数据流及其状态的一致快照。这些快照在系统遇到故障时,充当可以回退的一致性检查点(Checkpoint)。分布式快照的核心概念之一...

计量项

1个实时计算作业(Job)的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。实时计算1CU的处理能力可以通过以下方式估算:简单业务:1CU每秒可以处理10000条数据。例如,单流过滤、字符串变换等操作。复杂...

应用场景

技术领域 从技术领域的角度,实时计算Flink版主要用于以下场景:实时ETL和数据流 实时ETL和数据流的目的是实时地把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作,例如实时构建搜索系统的索引、实时数仓中的ETL过程等。...

数据编排概述

数据管理DMS数据编排是一种低代码开发数据加工任务的工具,您可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。应用场景 DMS数据编排提供了批量处理数据的功能,可应用于以下场景:说明 数据编排功能持续...

数据流运维

您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录DMS数据管理服务。在顶部导航栏,选择传输与加工(DTS)。在左侧导航栏,选择数据编排。单击数据流名称,进入数据流详情页面。单击画布右上方前往运维。在数据流运维...

发布数据流

完成数据流的配置或变更后,您需要通过发布操作将最新的数据流发布,有效避免部分变更未经确认被直接发布。登录DMS数据管理服务。在顶部导航栏,选择传输与加工(DTS)。在左侧导航栏,选择数据编排。单击数据流名称,进入数据流详情页面。可...

常见问题

可能原因:您的RDS数据库与流计算项目不在同一区域。解决方法:需要手动将流计算服务的白名单添加到RDS白名单中,详情请参见数据存储白名单配置。源表数据无法同步到目标表中。可能原因:源表的数据类型与目标表不一致,在进行类型转换时...

Watermark

此外,并行数据流中,当算子(Operator)有多个输入流时,算子的Event Time以最小流Event Time为准。语法 Watermark的定义是数据源表DDL定义的一部分,Watermark语法定义如下。WATERMARK[watermarkName]FOR<rowtime_field>AS ...

什么是物联网边缘计算

提供的路由路径如下:设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...

数据结果表概述

实时计算使用CREATE TABLE作为输出结果数据的格式定义,同时定义数据如何写入到目的数据结果表。实时计算结果表有Append类型和Update类型。Append类型:如果输出存储是日志系统、消息系统、或未定义主键的RDS数据库,数据流的输出结果会以...

应用场景

例如,来自不同数据源的计量数据被收集到日志服务,函数计算的定时器每小时触发 Serverless工作,Serverless工作利用函数计算对多个Shard的计量数据做并行处理,并将结果分别写回日志服务;然后可以将所有Shard产生文件进行聚合,写入...

概述

流数据分析提供了连接边缘端消息总线的能力,您可以通过配置消息路由将设备数据传入到流数据分析中,利用流数据分析方便地对设备数据进行实时计算,并将结果输出到RDS、本地文件、函数计算或IoTHub中。本使用示例将会从多个使用场景来讲述...

什么是边缘流数据分析

流数据分析是一种使用的方法快速实时处理数据计算方式。边缘计算中的流数据分析,继承了物联网平台的流数据分析能力。在数据分析控制台创建流数据分析任务,并将该任务下发到边缘端,通过边缘设备实时运行。运行结果可以存储在边缘端,...

创建数据流

在数据管理DMS数据编排中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。登录DMS数据管理服务。在顶部导航栏,选择传输与加工(DTS)。在左侧导航栏,选择数据编排。单击数据流名称,进入数据流详情...

产品概述

动态伸缩每个主题(Topic)的数据流吞吐能力可以动态扩展和减少,最高可达到每主题256000 Records/s的吞吐量。高安全性 提供企业级多层次安全防护,多用户资源隔离机制;提供多种鉴权和授权机制及白名单、主子账号功能。使用场景DataHub作为...

Checkpoints

阿里云实时计算提供可以恢复数据流,并和应用保持一致状态的容错机制。容错机制的核心是持续创建分布式数据流及其状态的快照。当系统出现故障时,这些快照充当可以回退的一致性检查点(Checkpoint)。登录Checkpoints页面 登录作业运维页面...

计量计费

阿里云实时计算独立于其从中读取数据源和向其中写入处理数据的目标。因此您需要分别为输入和输出相关的上下游付费。例如,您向LogHub写入数据,需要提供相应的存储费用。请查看所涉及到对应存储产品的收费细则。为什么已使用CU和资源...

资源规划及规格选型

本文为您介绍如何规划存储、计算资源,并选择合适的产品规格,仅供参考。背景信息 最佳资源规划方案可以达到如下目的:存储资源资源充足,既能够存储当前的所有存量数据,也能够存储未来一段时间的增量数据计算资源 资源充足,且无浪费,...

长周期指标的计算优化方案

本文为您介绍如何对长周期指标的计算进行优化。实验背景 电子商务公司在电商数据仓库和商业分析场景中,经常需要计算最近N天的访客数、购买用户数、老客数等类似的指标。这些指标需要根据一段时间内的累积数据进行计算。通常,这些指标的...

概述

MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力。MaxCompute能够调度大量的节点执行并行计算,同时对分布式计算中的Failover、重试等功能都有体系化的处理、管理机制。背景信息 MaxCompute SQL作为分布式数据处理的...

产品定价

1个实时计算作业(Job)的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。实时计算1 CU的处理能力可以通过以下方式估算:简单业务:1 CU每秒可以处理10000条数据。例如,单流过滤、字符串变换等操作。...

什么是MaxCompute

MaxCompute(ODPS)是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以...

注册日志服务SLS

日志服务本身是流数据存储,实时计算Flink版能将其作为流式数据的输入。注册存储 说明 使用注册存储功能前,请先完成实时计算Flink版对存储设备的访问授权,授权方法请您参见共享模式角色授权和独享模式角色授权。登录实时计算控制台。在...

概述

您可以创建SQL类型的流数据分析任务,并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致,语法说明请参见Flink SQL概述。在流数据分析中,数据存储用源表、维表、结果表来表示。但由于运行环境不一样,边缘端与云端支持的...

应用场景

背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台,经由物联网平台将数据转发到消息服务系统,继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储,或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...

表设计规范

降低计算成本 规范化的表设计可以帮助您优化数据的读取,从而减少计算过程中的冗余读写和计算,提升计算性能,降低计算成本。降低维护成本 规范化的表分层设计能够直接体现业务的特点。例如,在规范化设计表的同时对数据通道中的数据采集...

概述

Apache Flink是Apache社区的先进开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代Storm/Spark Streaming,成为了目前流式处理领域的热门引擎。主要应用场景包括:实时数仓、实时风控和实时推荐等。Kubernetes的...

计算费用(按量计费)

使用标准版MaxCompute服务的SQL作业 计算输入数据量×SQL复杂度×单价(0.3元/GB)说明 单日计算量大小(计算输入数据量×SQL复杂度)超过100 TB时,超过部分单价为0.285元/GB;单日计量大小超过500 TB时,超过部分单价为0.27元/GB。引用...

什么是ETL

实时计算场景:对业务侧产生的流数据实时清洗处理,形成特征值、标签支持在线业务计算模型(画像、风控、推荐等)或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段,每个账号可以免费创建两个ETL实例,且每个实例在公测期间均...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折