LEN

记录一次服务器高负载排故过程
周一 正常查看下 线上服务器 负载 top 发现 load average: 25.00, 29.01, 27.0...
扫描右侧二维码阅读全文
18
2019/11

记录一次服务器高负载排故过程

周一 正常查看下 线上服务器 负载
top 发现 load average: 25.00, 29.01, 27.00
负载很高 线上两台脚本机 同样都是 3000多个进程, 一台 负载20多 一台负载不到1.

检查服务进程数量发现高负载机器上一个服务进程数 10-40 这变化非常快.
因为使用的是 swoole 一般进程数都是固定的 , 特别是脚本服务 进程数基本是不变的.
swoole.png

同时发现脚本 manager 进程内存曾经打到64.8g 真的很危险呀.
manager 主要负责管理子进程, 拉起或关闭子进程.

经过查看 日志文件 发现存在一个 致命错误 导致进程调用该文件时异常退出. 大量进程死亡 manager 重新拉起. 错误日志不断生成.

bug 修复后 服务器负载恢复正常

最后修改:2019 年 11 月 18 日 12 : 57 PM
如果觉得我的文章对你有用,请随意赞赏

发表评论