问答 2021-12-08 来自:开发者社区

flink 1.13.1 通过yarn-application运行批应用,处理mysql源一亿条数据

我通过flink sql,将mysql的一亿条数据传输到hive库中,通过yarn-application方式运行,结果配置16G的内存,执行失败!*来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

flink on yarn 读取 hbase数据时 ,Task失败,具体描述如下

flink获取Hbase数据并计算 在本地测试没问题,提交到Yarn上出现Task任务失败,无相关日志输出,task任务一直重启。任务失败的地方在数据计算部分。 语言:Scala,无堆栈信息输出*来自志愿者整理的flink邮件归档

Hadoop 分布式资源管理框架 YARN

5 课时 |
494 人已学 |
免费
开发者课程背景图
问答 2021-12-02 来自:开发者社区

flink1.10.2 读取mysql并打印数据,本地可以执行,yarn上报错,什么原因呢

Caused by: org.apache.flink.runtime.concurrent.FutureUtils$RetryException:  Could not complete the operation. Number of retries has been exhausted.  at  org.apache.flink.runtime.concurr...

问答 2019-09-12 来自:开发者社区

hive读取phoenix 数据由于表数据量大,map内存设置小了自动就被yarn给杀了,请问怎么解

hive读取phoenix 数据由于表数据量大,map内存设置小了自动就被yarn给杀了,请问怎么解 主要有一个问题是数据量还在逐渐增加,不怎能总是增加hive map,reduce 内存 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

阿里巴巴终端技术

阿里巴巴终端技术最新内容汇聚在此,由阿里巴巴终端委员会官方运营。阿里巴巴终端委员会是阿里集团面向前端、客户端的虚拟技术组织。我们的愿景是着眼用户体验前沿、技术创新引领业界,将面向未来,制定技术策略和目标并落地执行,推动终端技术发展,帮助工程师成长,打造顶级的终端体验。同时我们运营着阿里巴巴终端域的官方公众号:阿里巴巴终端技术,欢迎关注。

+关注