问答 2021-12-07 来自:开发者社区

flink on native k8s application模式作业启动慢问题

同一个作业,在请求资源相同的情况下,使用flink on native k8s session mode和application mode启动时间相差十几倍。 在session mode下提交作业,最多需要2分钟。而在application mode下提交作业,少则10分钟,多则半个小时至一个小时。 1. 想问一下作业启动速度跟什么有关? 2. 要怎么提高作业启动速度呢?*来自志愿者整理的fli....

问答 2021-12-07 来自:开发者社区

flink on native k8s调度控制

flink作业跑在一个k8s集群,该集群下面有若干个节点,想将某些节点给部门A使用,其他节点给部门B使用。请问flink有配置控制k8s调度吗? 1. 给节点打上标签 2. 作业提交的时候设置调度标签值*来自志愿者整理的flink邮件归档

问答 2021-12-07 来自:开发者社区

Flink1.13.3 on Native K8s 任务取消问题

你好,最近在使用Flink1.13.3 Native K8s应用模式部署任务,有几个问题不太理解: 1.在UI页面点击取消取消任务,马上又会重新拉起,达不到取消任务的目的? 2.通过kubectl delete deployment/cluster_id命令删除任务后,通过bin/flink run-application方式启动任务,会自动从上次最后一个成功Checkpoint进行恢复,有什么....

问答 2021-12-06 来自:开发者社区

flink 1.11 on k8s native session cluster模式报找不到conf

大佬们,请教个问题,我是在k8s上部署flink1.11 natvie session模式。 下载的flink-1.11.0-bin-scala_2.11.tgz 执行命令是 ./bin/kubernetes-session.sh \ -Dkubernetes.cluster-id=k8s-session-1 \ -Dtaskmanager.memory.process.size=40...

问答 2021-12-06 来自:开发者社区

flink on native k8s

flink on native k8s 按照官网配置,可以看到jobmanager ui 但是没有tm为0 slot为0 提交任务 就会一直卡主 角色配置: [root@node20 rbac]# cat rbac-role.yaml kind: Role apiVersion: rbac.authorization.k8s.io/v1 metadata: namespace: di-flin.....

问答 2021-12-04 来自:开发者社区

native kubernetes在不同kubernetes版本下,为什么会出现不同的构建结果?

在两个kubernetes版本下进行一样的操作,结果如下: v1.17.4 失败 v1.15.1 成功 步骤如下: 创建rbac rbac.yaml apiVersion: v1 kind: ServiceAccount metadata: name: flink namespace: flink apiVersion: rbac.authorization.k8s.io/v1 ki...

问答 2021-12-03 来自:开发者社区

native K8s模式下,pod系统占用内存

在native K8s模式下,创建的JM Pod、TM Pod,看代码中将flink process memor分配给了Pod可使用的资源。 我理解,pod中不止JVM进程,还可能有其他内存占用,例如Linux系统使用内存。 所以我有个疑问是pod系统占用多少内存*来自志愿者整理的flink邮件归档

问答 2021-12-02 来自:开发者社区

flink on native k8s 无法查看火焰图问题

Unable to load requested file /jobs/d2fcac59f4a42ad17ceba8c5371862bb/。。。。。。 请问这是什么原因啊,恳请大佬解惑*来自志愿者整理的flink邮件归档

问答 2021-12-02 来自:开发者社区

flink on native kubernetes作业cpu实际使用量与请求量相差太大问题

我们使用Flink运行实时作业在Kubernetes,发现作业实际使用的CPU资源远远小于作业请求量,但是将作业请求量降低后发现作业启动不了。请问这是个案还是正常情况? 例如,我们一个作业请求了0.5个cpu,但实际使用量只有0.09左右,修改请求为0.2个cpu,作业启动不了。 现在整个k8s集群有96个cpu,请求了86个cpu,实际使用只有7.5个cpu左右,这也相差太大了,有什么办法可以....

问答 2021-12-02 来自:开发者社区

Flink on native k8s如何自定义挂载盘?

为了监控TM OOM情况发生,我们在启动作业的时候添加了如下参数 -Denv.java.opts.taskmanager="-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/log/oom.bin" 想在OOM发生的时候能生成HeapDumpFile,以便事后分析。 但是因为OOM时TM所在的pod会被销毁,因此想挂载一个网络盘持久化He....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注