问答 2021-12-08 来自:开发者社区

Flink大state读取磁盘,磁盘IO打满,任务相互影响的问题探讨

如题,Flink大state读取磁盘,磁盘IO打满,任务相互影响的问题 尝试手段: 手动迁移IO比较高的任务到其他机器,但是yarn任务提交比较随机,只能偶尔为之 目前没有SSD,只能用普通STATA盘,目前加了两块盘提示磁盘IO能力,但是单盘对单任务的磁盘IO瓶颈还在 还有哪些策略可以解决或者缓解么?*来自志愿者整理的flink邮件归档

问答 2021-12-06 来自:开发者社区

[flink-1.10.2] 异步IO结果DataStream 该如何注册为table??

Flink版本:1.10.2 使用RichAsyncFunction 异步IO 操作,结果DataStream 不能注册为table。 本地测试的结果是一直重复输出数据。 请问一下DataStream 处理之后,怎么才能注册为 Table。 代码如下: // 异步redis处理 RedisAsyncFunction asyncFunction = new RedisAsyncFun...

问答 2021-12-02 来自:开发者社区

flink系统配置中的io.tmp.dirs里的文件自动清理机制是什么?

在运行flink任务时,在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件,这些文件有没有清理的机制?在实际运行中该目录里的文件占用巨大的磁盘空间,约40G左右,将其删除后,任务就执行失败了,不知道该如何清理,多指教*来自志愿者整理的flink邮件归档

问答 2021-12-01 来自:开发者社区

flink sql中如何使用异步io关联维表?

flink sql中如何使用异步io关联维表?官网文档有介绍么?*来自志愿者整理的flink邮件归档

问答 2020-06-12 来自:开发者社区

有flink 异步io访问mysql redis的demo么 或者链接 想学习下#Flink

有flink 异步io访问mysql redis的demo么 或者链接 想学习下#Flink

问答 2019-12-20 来自:开发者社区

flink中代码出错后,导致IO飙升,一般怎么处理?

flink中代码出错后,导致IO飙升,一般怎么处理? 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

问答 2019-12-09 来自:开发者社区

flink的异步io,是不是只是适合异步读取,并不适合异步写入呀?

flink的异步io,是不是只是适合异步读取,并不适合异步写入呀? 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

问答 2019-12-09 来自:开发者社区

请问一下,flink将结果sink到redis里面会不会对存储的IO造成很大的压力,如何批量的输出结

请问一下,flink将结果sink到redis里面会不会对存储的IO造成很大的压力,如何批量的输出结果呢? 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

问答 2018-11-09 来自:开发者社区

flink的异步IO生产上 用Unorder还是order好

我想根据用户id去redis中取数据,判断该用户所在的城市,然后在使用存到redis中,不需要水印,这样是用异步io的用Unorder还是order好

文章 2018-03-07 来自:开发者社区

Flink1.4 用于外部数据访问的异步IO

原文来源:Flink1.4 用于外部数据访问的异步IO 1. 异步IO操作的必要性 当与外部系统交互时(例如,使用存储在数据库中数据丰富流事件),需要注意与外部系统的通信延迟并不决定流应用程序的整体工作。访问外部数据库中的数据(例如在 MapFunction 中)通常意味着同步交互:将请求发送到数据库,MapFunction 会等待直到收到响应。在许多情况下,这个等待...

Flink1.4 用于外部数据访问的异步IO

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云实时计算Flink

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

+关注