实时计算

实时计算(Alibaba Cloud Realtime Compute,Powered by Ververica)是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时,赋能用户标准实时数据处理流程和行业解决方案;支持 Datastream API 作业开发,提供了批流统一的 Flink SQL,简化 BI 场景下的开发;可与用户已使用的大数据组件无缝对接,更多增值特性助力企业实时化转型。

独享模式 Flink云原生 案例与解决方案 产品文档 实时数据分析及大屏展示 Flink Forward Asia大会

  • SQL化

    提供SQL语义的流式数据分析能力(Flink SQL),大幅降低流数据分析门槛,十分钟轻松完成双十一大屏

  • 开发平台

    业界首创的全链路流计算开发平台,涵盖从数据采集到数据生产,力保流计算开发严谨可靠

  • Data Lake功能

    独享模式支持DataLake场景下的数据清洗,数据分析,数据同步,异构数据源计算等功能

  • UDX开放

    独享模式可开放UDF/UDAF/UDTF接口,为用户提供更强大的数据处理能力。

精心打造的功能

架构与场景

  • 实时计算典型架构

  • 实时流数据分析

  • IOT解决方案

  • 实时数据分析

  • 实时风控

  • 实时计算典型架构

    实时计算典型架构

    数据源不停产生数据并推送到各类流式数据存储,进而触发流式计算任务进行处理和加工,流计算将计算结果直接推送到终端数据存储,在此基础上提供数据消费服务。

    涉及环节

    • 数据产生

      数据发生源(Web、Sensor、Mobile等)实时产生大量数据。

    • 流式存储

      消息化的发布与订阅,数据实时进入流计算。

    • 流式计算

      我们提供完整的web开发运维平台,让您轻松驾驭流计算的能力。

    • 数据存储

      完美对接多种数据存储,为下游消费做准备。

    • 数据消费

      只要一个瞬间,您就可以消费结果数据了。

  • 实时流数据分析

    实时流数据分析

    传统基于批量模型的数据分析无法实时化。流计算提供全链路的实时数据开发平台,无缝对datahub、sls等多种流式数据进行实时分析。同样,通过数加平台DataV、BI报表等组件,用户快速能搭建一套实时流数据分析平台。

    流计算特性

    • 低门槛

      只用掌握SQL就能进行实时分析

    • 高性能

      流计算阿里内部峰值数据每秒过亿

    • 一站式解决

      无缝对接数据上下游,一站式解决问题

  • IOT解决方案

    IOT解决方案

    物联网IOT套件可将大数据直接对接流计算和DataHub,流计算可以实时捕获物联网传感器信息并进行实时数据计算,并将产出的实时数据对接IOTHub、监控告警、自定义报表展现。

    流计算特性

    • 低门槛

      SQL+UDF完美解决IoT问题

    • 高性能

      流计算阿里内部应用峰值每秒过亿

    • 扩展性强

      设备增加,数据量爆发,流计算通通搞定

  • 实时数据分析

    新华智云

    致力于通过大数据及人工智能技术,为内容生产者提供涉及内容采集、编辑、存储、分发等全新闻链路的专有技术,重新定义大数据时代内容生产者的核心竞争力。

    解决步骤

    • 清洗环节

      使用自定义的UDF对数据进行过滤、清洗、结构化等操作

    • 统计环节

      使用OTS或RDS的维表作为中间状态,用SQL完成了大部分统计

    • 存储方面

      通过Datahub、OTS的结果表完成了数据的落地

    • 其他

      在UDX中自行使用Loghub进行了部分日志的采集

  • 实时风控

    凯京信达

    司机通过APP提交车贷业务申请,公司大数据团队从客户申请信息、客户渠道信息、第三方征信风险数据、客户移动端实时采集的数据等维度对客户进行风险识别。其中移动端数据涉及到客户的APP操作行为、设备相关数据等,涉及到大量风控模型特征变量的实时计算问题。

    客户便利

    • 易用性

      实时计算简单易用,开发周期短,维护方便

    • 一站式服务

      实时计算和阿里其他产品很方便对接,数据存储容易

实时计算入门实践

业务架构

上下游数据表创建

数据开发

新手案例-数据调试

上线作业

x