Linux系统性能

                                            

Linux系统性能瓶颈排查全攻略：8个关键步骤与工具详解


    
当Linux服务器出现响应迟缓、负载飙升或服务异常时，如何快速定位性能瓶颈成为每个系统管理员的必修课。本文将深入解析Linux性能分析的完整方法论，提供一套可落地的排查流程和工具组合。


一、性能瓶颈的典型表现

    
CPU瓶颈： load average持续高于CPU核心数，%sys或%user接近100%
    
内存瓶颈： 频繁的swap交换，OOM killer被触发
    
IO瓶颈： await时间飙升，%util持续高位
    
网络瓶颈： 丢包率高，TCP重传增多


二、系统级监控三板斧

    
1. top命令 - 全局态势感知
    
实时查看CPU、内存使用情况，重点关注：
    
top - 14:30:25 up 45 days,  2:15,  3 users,  load average: 2.01, 1.85, 1.72
Tasks: 231 total,   1 running, 230 sleeping,   0 stopped,   0 zombie
%Cpu(s): 25.3 us,  8.2 sy,  0.0 ni, 65.8 id,  0.3 wa,  0.0 hi,  0.4 si,  0.0 st
MiB Mem :  15867.2 total,   1823.4 free,   7845.3 used,   6198.5 buff/cache

    
2. vmstat - 发现隐藏问题
    
间隔2秒采样，重点关注swap(si/so)和CPU等待(wa)：
    
$ vmstat 2
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0      0 280000 185000 420000    0    0    15    12  120  350 20  5 73  2  0

    
3. dstat - 彩色可视化
    
综合监控CPU/磁盘/网络（安装：yum install dstat）：
    


三、专项深度排查

    
CPU问题排查
    
perf top 实时查看热点函数：
    
perf top -g -p [PID]

    
内存问题排查
    
smem 可视化内存占用：
    
smem -t -k -P "nginx"

    
IO问题排查
    
iotop 定位磁盘IO大户：
    
iotop -o -d 5


四、高级分析工具链

    

        
工具
        
用途
        
示例
    
    

        
strace
        
系统调用追踪
        
strace -p [PID] -T -tt
    
    

        
sar
        
历史性能数据分析
        
sar -u -r -d 1 3
    
    

        
bpftrace
        
动态内核追踪
        
bpftrace -e 'tracepoint:syscalls:sys_enter_* { @[probe] = count(); }'
    



    
五、最佳实践建议
    

        
建立性能基线：记录正常状态下的指标范围
        
使用监控系统：Prometheus+Grafana实现长期监控
        
遵循"USE"方法论：Utilization-Saturation-Errors
        
定期压力测试：提前发现潜在瓶颈
    
    
通过这套系统化的排查方法，90%的性能问题都能在15分钟内定位到根本原因。