容器服务Kubernetes版诊断的相关内容

文章 2023-01-16 来自：开发者社区

【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？

背景介绍最近的docker容器经常被kill掉，k8s中该节点的pod也被驱赶。我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？容器层级判断检测提到docker l....

文章 2023-01-16 来自：开发者社区

【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（下）

承接上文之前文章根据《【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）》我们知道了如何进行设置和控制对应的堆内存和容器内存的之间的关系，所以防止JVM的堆内存超过了容器内存，导致容器出现OOMKilled的情况。但是在整个JVM进程体系而言，不仅仅只包含了Heap堆内存，其实还有其他相关的内存存储空....

文章 2023-01-16 来自：开发者社区

【JVM故障问题排查心得】「内存诊断系列」JVM内存与Kubernetes中pod的内存、容器的内存不一致所引发的OOMKilled问题总结（上）

背景介绍在我们日常的工作当中，通常应用都会采用Kubernetes进行容器化部署，但是总是会出现一些问题，例如，JVM堆小于Docker容器中设置的内存大小和Kubernetes的内存大小，但是还是会被OOMKilled。在此我们介绍一下K8s的OOMKilled的Exit Code编码。Exit Code 137表明容器收到了 SIGKILL 信号，进程被杀掉，对应kill -9，引发SIGK....

文章 2022-11-23 来自：开发者社区

K8S网络诊断之要命的5S抖动

背景信息：某用户反馈8月4号凌晨00：30分左右，生产业务平均RT从100ms飙升到1000ms且抖动较大，如图1-1所示，（绿线为8月3号同时间段的RT，蓝线为异常后的RT）图1-1由于8月5号10点有新业务要上线，这个问题用户自行调查10小时左右，未能明确原因，怀疑跟我们阿里云的经典网络底层网络有关，需要我们“专家服务”立刻介入调查，8月4号18点左....

文章 2022-11-09 来自：开发者社区

k8s诊断之如何在ingress里面使用geoip2

Geo是geographic的缩写，意思是地理的，GeoIP即为IP地理位置数据库，可以根据IP获得地理位置信息。GeoLite2是GeoIP2的免费版本，与GeoIP2数据库相比准确性较差。 GeoIP库可以根据IP地址(支持IPv4 和 IPv6), 定位该IP所在的洲、经纬度、国家、省市、ASN 等信息。背景信息：某用户由于某些原因....

文章 2022-11-09 来自：开发者社区

k8s诊断之ingress 异常状态码及证书问题排查思路

我们能从这张图里看到什么有用的信息？整体开销时间？请求状态码？请求结束的时间（结束请求记录日志）尝试过的后端地址和端口？后端返回的数据包长度？后端返回的时间？后端的状态码？这种问题应该怎么分析呢？1，抓取pod以及svc的ep更新记录，注意替换kubeconfig，以及label等for i in {1..3000};do echo`date` >> p.log;kubectl --....

文章 2022-11-09 来自：开发者社区

k8s诊断之记一次业务pod被异常删除的分析

背景信息：某用户反馈，头一天晚上21:05左右，某几个deployment的pod被重建了一遍，客户的pod有特殊限制，基本可以保证1个节点上就只有这一个pod独占，客户怀疑后端异常导致，这种问题可以先去看下元集群的信息，看看各种controller 的pod 在异常时间段有没有崩溃，重启，重建等信息，这个集群没有这个问题排查思路&日志分析：1，deploym....

文章 2022-11-03 来自：开发者社区

k8s网络诊断之记一次ingress websocket长链接被断开的问题排查

背景信息：某用户反馈通过ingress建立的websocket长链接，总是会被断开，影响他们的研发平台的使用，导致业务上线受阻思考：1，ingress是7层的代理，客户端的请求到业务pod时，至少是两段请求client <--> ingress ingress <--> app pod2，正常fin结束....

问答 2022-10-26 来自：开发者社区

辛苦问一下，ACK POD刚接arms 点arthas诊断出不来，这是为啥？

文章 2022-10-03 来自：开发者社区

k8s诊断之记一次pod被修改的resolv.conf之bcctools opensnoop

背景信息：某用户反馈，pod生产出来之后，/etc/resolv.conf配置不对，缺少search相关条目，导致生产环境内部服务调用时无法解析出现异常异常pod如下图所示：正常的pod如下图所示缺少search的话，集群内部的域名无法添加集群内的后缀，因此一些内部服务的域名解析会出现问题问题分析：首先查看resolv.conf文件的属性，看看是否有人为修改的痕迹，观察change以及modif....