一、Prometheus CPU监控核心指标体系

Prometheus监控系统通过采集节点暴露的node_exporter指标实现CPU监控，核心指标包括：

1. node_cpu_seconds_total：累计CPU时间计数器，按模式（user/system/idle等）和CPU核心维度区分

   node_cpu_seconds_total{mode="user",cpu="0"}

   该指标为单调递增计数器，记录自系统启动以来各模式下的CPU时间总和（秒）。

2. 时间窗口选择：计算使用率需指定时间范围，常用rate()或irate()函数处理计数器特性

   irate(node_cpu_seconds_total{mode="user"}[5m])

   irate()计算最后两个数据点的瞬时增长率，适合捕捉突发变化；rate()取时间窗口内平均增长率，更稳定。

二、单核CPU使用率计算原理

2.1 基础计算公式

单核使用率核心公式：

CPU使用率(%) = (1 - idle时间占比) × 100
           = [1 - (∑idle时间 / ∑总时间)] × 100

在PromQL中实现为：

100 - (
  avg by (instance)(
    irate(node_cpu_seconds_total{mode="idle"}[5m])
  ) * 100
)

2.2 计算过程解析

1. 采集间隔处理：假设scrap间隔为15s，irate()会自动计算最近两个数据点（如t=60s和t=75s）的差值
2. 多模式汇总：实际使用率应包含user/system/softirq等非空闲模式

   100 - (
     sum by (instance)(
       irate(node_cpu_seconds_total{mode="idle"}[5m])
     ) / 
     sum by (instance)(
       irate(node_cpu_seconds_total{mode!~"idle|iowait|steal"}[5m])
     ) * 100
   )

   更精确的写法是排除所有非活跃模式。

三、多核CPU使用率计算方案

3.1 平均核使用率

计算所有核心的平均使用率：

100 - (
  avg by (instance)(
    irate(node_cpu_seconds_total{mode="idle",cpu!~".*"}[5m])
  ) * 100
)

通过avg聚合所有核心数据，反映系统整体CPU负载。

3.2 总核使用率（推荐）

计算所有核心的总使用率（相当于满载比例）：

100 - (
  sum by (instance)(
    irate(node_cpu_seconds_total{mode="idle",cpu!~".*"}[5m])
  ) / 
  count by (instance)(
    node_cpu_seconds_total{cpu!~".*"}
  ) * 100
)

此方法更准确反映系统CPU资源消耗总量，例如：

• 4核CPU中3核满载时，公式结果为75%
• 避免平均值掩盖个别核心过载问题

四、高级计算场景与优化

4.1 容器环境计算

在Kubernetes中需考虑CPU限制：

(
  sum(rate(container_cpu_usage_seconds_total{container!="",pod!~".*"}[5m]))
  by (pod)
) / 
sum(
  kube_pod_container_resource_limits{resource="cpu"}
) * 100

需确保container_cpu_usage_seconds_total指标来自cAdvisor。

4.2 历史对比分析

计算同比使用率变化：

(
  100 - (
    irate(node_cpu_seconds_total{mode="idle"}[5m])
  )
) - (
  100 - (
    irate(node_cpu_seconds_total{mode="idle"}[1d] offset 1d)
  )
)

用于检测使用率异常波动。

4.3 异常检测建议

1. 基线设定：通过histogram_quantile()计算历史使用率分位数

   histogram_quantile(0.95, 
     sum(rate(node_cpu_seconds_total{mode!="idle"}[5m])) 
     by (le, instance)
   )

2. 动态阈值：结合predict_linear()进行趋势预测

五、实践中的常见问题与解决

5.1 计数器重置问题

系统重启后node_cpu_seconds_total归零，解决方案：

1. 使用increase()替代rate()处理大跨度查询
2. 结合up{} == 1过滤异常时段

5.2 指标标签爆炸

避免使用{cpu=".*"}查询所有核心，推荐：

sum without (cpu)(
  irate(node_cpu_seconds_total{mode="user"}[5m])
)

通过without移除cpu维度减少数据量。

5.3 跨主机比较

确保时间同步（NTP），使用time()函数检测采集延迟：

abs(
  time() - node_time_seconds
) > 30

六、可视化最佳实践

1. 仪表盘设计：
   • 单核视图：堆叠面积图展示各模式时间占比
   • 集群视图：热力图显示各节点使用率分布
2. 告警规则示例：

   - alert: HighCPUUsage
     expr: 100 - (avg by (instance)(irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 90
     for: 10m
     labels:
       severity: critical

本文系统阐述了Prometheus中CPU使用率的计算原理，从单核基础计算到多核集群监控，提供了可落地的监控方案。实际运维中建议结合业务特点选择计算方法，并通过持续优化告警策略提升监控效能。对于容器化环境，需特别注意资源限制对计算结果的影响，确保监控数据真实反映系统负载情况。