问答 2024-05-28 来自:开发者社区

flink sql 用doris作为source和sink 跑起任务后为什么不是流计算?

flink sql 用doris作为source和sink 跑起任务后为什么不是流计算?数据跑完任务就结束了

问答 2024-01-24 来自:开发者社区

flink cdc流计算postgresql数据库插槽可以复用吗

flink cdc流计算postgresql数据库,数据库默认插槽数量只有32,尝试了复用插槽,将两个source表的slot.name改成相同的,会提示报错,具体报错如下图

文章 2024-01-18 来自:开发者社区

Flink中的事件时间和处理时间有什么区别?为什么事件时间在流计算中很重要?

Flink中的事件时间和处理时间有什么区别?为什么事件时间在流计算中很重要?Flink中的事件时间(Event Time)和处理时间(Processing Time)是两种不同的时间概念,用于对流数据进行处理和分析。事件时间(Event Time):事件时间是数据本身所携带的时间戳,表示事件实际发生的时间。它是根据事件在源系统中产生的时间来确定的,与流处理引擎无关。在Flink中,可以通过指定时....

文章 2023-12-15 来自:开发者社区

流计算迎来代际变革:流式湖仓 Flink + Paimon 加速落地、Flink CDC 重磅升级

2023 年 12 月 9 日,Flink Forward Asia 2023 (以下简称 FFA )在北京圆满结束。70+ 演讲议题、30+ 一线大厂技术与实践分享,以及座无虚席的现场,无一不昭示着重回线下的 FFA 的行业号召力。 借用 Apache Flink 中文社区发起人、Apache Paimon ...

流计算迎来代际变革:流式湖仓 Flink + Paimon 加速落地、Flink CDC 重磅升级
问答 2023-11-22 来自:开发者社区

阿里云的Flink这个流计算可以部署定时跑批sql任务吗?

阿里云的Flink这个流计算可以部署定时跑批sql任务吗?

文章 2023-03-09 来自:开发者社区

基于 Flink 流计算实现的股票交易实时资产应用

一、背景本次赛题思路源自于真实工作场景的一个线上项目,该项目在经过一系列优化后已稳定上线,在该项目开发的过程中数据平台组和技术负责人提供了许多资源和指导意见,而项目的结果也让我意识到了流计算在实际生产中优化的作用,进而加深了我对大数据应用的理解。1.1 成员简介陆冠兴:数据开发工程师,目前在互联网券商大数据部门工作,主要负责业务数据开发、数据平台建设、数据资产建设等相关工作,对流计算应用开发有一....

基于 Flink 流计算实现的股票交易实时资产应用
文章 2022-10-23 来自:开发者社区

想了解流计算,你必须得看一眼,实现Flink on Yarn的三种部署方式,并运行wordcount

1. 第一种方式:YARN session1.1 说明1.1.1 yarn-session.sh(开辟资源)+flink run(提交任务)这种模式下会启动yarn session,并且会启动Flink的两个必要服务:JobManager和Task-managers,然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是,这种模式下Hadoop的版本至少是2.2....

想了解流计算,你必须得看一眼,实现Flink on Yarn的三种部署方式,并运行wordcount
文章 2022-10-21 来自:开发者社区

【大数据技术之Flink】读懂Flink,流计算 二

分层 api最底层级的抽象仅仅提供了有状态流,它将通过过程函数( Process Function) 被嵌入到 DataStream API 中。底层过程函数(Process Function) 与 DataStream API 相集成,使其可以对某些特定的操作进行底层的抽象,它允许用户可以自由地处理 来自一个或多个数据流的事件,并使用一致的容错的状态。除此之外,用户可以注 册事件时间并处理时.....

【大数据技术之Flink】读懂Flink,流计算 二
文章 2022-10-21 来自:开发者社区

【大数据技术之Flink】读懂Flink,流计算 一

1. 认识 FlinkFlink 起源于 Stratosphere 项目,Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014 年 4 月 Stratosphere 的代 码被 复制 并捐赠 给了 Apache 软件基 金会, 参加 这个 孵化项 目的 初始 成员 是Stratosphere 系统的核心开发人员,2014....

【大数据技术之Flink】读懂Flink,流计算 一
问答 2022-07-23 来自:开发者社区

flink 最新的dynamic table storage好像很有用,过去流计算中间结果我都是发到

flink 最新的dynamic table storage好像很有用,过去流计算中间结果我都是发到kafka,有了这个storage能不能不用sink就直接存成数据湖hudi或者iceberg,有没有例子可以参考,感觉很有用可是信息太少了除了一个flip和一些大厂分享了提到,不知道具体怎么玩

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

+关注