k8s诊断之记一次pod oom的异常shmem输出
背景信息: 客户反馈java设置xms,xmx参数固定8G内存,而pod的limit则为16G, 三番五次出现了pod oom的情况,且oom的时候他的业务进程输出也是8g, 同时promethus的监控对应pod的working_set_memory也是8个多g, 剩下的几个g的内存到底去哪里了呢?查看pod内存使用的几种方式:1. 通过cgroup的统计查看pod内存使用:默认进到pod里面....
K8S网络诊断之我的ingress咋不显示ip了
背景信息: 某客户反馈,新建的ingress不显示ingress关联slb的公网ip了,与客户沟通后确认创建了两套ingress-controller后出现的问题,创建ingress后的显示效果如下:需求沟通: 沟通客户部署两套ingress的需求原因,是因为默认ingress-controller的service....
k8s网络诊断之被丢弃的SYN--linux数据包的接收过程(k8s+flannel+ ipvs)
背景信息: 某客户反馈,ECS上自建nginx server 通过proxy_pass 反向代理 云上k8s集群 nodeport类型的svc,存在大量1s的延迟请求的问题,在nginx所在的ecs上,使用netstat可以看到syn_sent状态的connection,如下图所示,但是在pod所在的worker节点上是看不到s....
超好用的k8s中pod诊断工具:kubectl-debug
背景容器技术的一个最佳实践是构建尽可能精简的容器镜像。但这一实践却会给排查问题带来麻烦:精简后的容器中普遍缺失常用的排障工具,部分容器里甚至没有 shell (比如 FROM scratch )。 在这种状况下,我们只能通过日志或者到宿主机上通过 docker-cli 或 nsenter 来排查问题,效率很低,在K8s环境部署应用后,经常遇到需要进入pod进行排错。除了查看pod logs和de....
arthas-boot.jar已经下载下来了,启动的时候选了应用进程之后报错,环境是诊断k8s里容器
arthas-boot.jar已经下载下来了,启动的时候选了应用进程之后报错,环境是诊断k8s里容器里的Java进程
用更云原生的方式做诊断|大规模 K8s 集群诊断利器深度解析
背景通常而言,集群的稳定性决定了一个平台的服务质量以及对外口碑,当一个平台管理了相当规模数量的 Kubernetes 集群之后,在稳定性这件事上也许会“稍显被动”。我们可能经常会遇到这样的场景:客户一个电话,火急火燎地说业务出现问题了,你们平台快帮忙查询一下是不是哪里出了问题呀?技术同学连忙放下手头工作,上去一通操作加安抚客户……看似专业且厉害,急用户之所急,细想之后实则无章无法,一地鸡毛。通常....
最佳实践:Kubernetes 集群中 DNS 故障的可观测性与根因诊断
作者:谢于宁(予栖)前言本议题主要介绍如何在 Kubernetes 集群中实现 DNS 故障的可观测性以及疑难问题的诊断,我会将从以下几方面展开:Kubernetes 集群中 DNS 如何工作?常见的 DNS 故障原因如何诊断 DNS 服务端异常 - CoreDNS 内置的可观测性能力如何诊断客户端异常 - 基于 BPF 的客户端 DNS 异常定位如何处理一起真实的 DNS 故障?Kuberne....
k8s网络诊断之我的流量去哪了
k8s网络诊断之我的流量去哪了 背景信息: 某客户反馈,生产业务的应用在做滚动更新时大量502报错,同时生产业务中pod设置了prestop来优雅下线(延迟关闭),但是在滚动更新时依然会有502的问题,由于生产环境流量比较高,决定搭建测试环境模拟复现该问题,实际复现过程中发现,pod切换完成后,客户端访问svc关联的SLB,应用会超时一段时间或者qps下降为0<br /> 如...
k8s网络诊断之如何抓取容器内部的网络报文
一,前言 阿里云Kubernetes集群网络目前有两种方案,一种是flannel方案,另外一种是基于Calico和弹性网卡ENI的Terway方案。Terway和Flannel类似,不同的地方在于,Terway支持Pod弹性网卡,以及Network Policy功能。 这个系列文章中我们以实际案例排查,来看一看在容器网络里面,抓包分析问题的技巧,在看这一章之...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
容器服务Kubernetes版更多诊断相关
容器服务Kubernetes版您可能感兴趣
- 容器服务Kubernetes版gpu
- 容器服务Kubernetes版共享
- 容器服务Kubernetes版pro
- 容器服务Kubernetes版托管
- 容器服务Kubernetes版调度
- 容器服务Kubernetes版集群
- 容器服务Kubernetes版ack
- 容器服务Kubernetes版kubernetes
- 容器服务Kubernetes版容器
- 容器服务Kubernetes版cd
- 容器服务Kubernetes版部署
- 容器服务Kubernetes版pod
- 容器服务Kubernetes版应用
- 容器服务Kubernetes版云原生
- 容器服务Kubernetes版服务
- 容器服务Kubernetes版阿里云
- 容器服务Kubernetes版 Pod
- 容器服务Kubernetes版docker
- 容器服务Kubernetes版k8s
- 容器服务Kubernetes版 Docker
- 容器服务Kubernetes版节点
- 容器服务Kubernetes版安装
- 容器服务Kubernetes版 K8S
- 容器服务Kubernetes版配置
- 容器服务Kubernetes版实践
- 容器服务Kubernetes版架构
- 容器服务Kubernetes版网络
- 容器服务Kubernetes版资源
- 容器服务Kubernetes版 kubernetes
- 容器服务Kubernetes版监控