一、监控体系选型背景

在分布式系统与微服务架构盛行的当下，传统监控方案（如Zabbix、Nagios）已难以满足动态扩展与高维数据聚合的需求。Prometheus作为CNCF（云原生计算基金会）毕业项目，凭借其拉取式监控模型、多维数据模型及PromQL查询语言，成为Kubernetes生态监控的事实标准。而Grafana作为可视化利器，支持70+数据源接入，提供丰富的仪表盘模板与告警规则配置，两者结合可构建从数据采集到可视化的完整闭环。

二、环境准备与安装部署

1. 硬件与软件要求

• 硬件配置：建议Prometheus单节点配置4核CPU、8GB内存及50GB磁盘（存储30天数据）；Grafana可配置2核CPU、4GB内存。
• 操作系统：推荐CentOS 7/8或Ubuntu 20.04 LTS，需关闭SELinux（setenforce 0）并配置防火墙放行9090（Prometheus）、3000（Grafana）端口。
• 依赖工具：需安装wget、tar、systemd及docker（容器化部署场景）。

2. Prometheus单机部署

（1）二进制包安装

# 下载最新稳定版（以2.47.2为例）
wget https://github.com/prometheus/prometheus/releases/download/v2.47.2/prometheus-2.47.2.linux-amd64.tar.gz
tar xvf prometheus-*.tar.gz
cd prometheus-*
# 配置systemd服务
cat <<EOF | sudo tee /etc/systemd/system/prometheus.service
[Unit]
Description=Prometheus Monitoring System
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus/ \
  --web.console.templates=/etc/prometheus/consoles \
  --web.console.libraries=/etc/prometheus/console_libraries
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
# 创建用户与目录
sudo useradd --no-create-home --shell /bin/false prometheus
sudo mkdir -p /etc/prometheus /var/lib/prometheus
sudo cp prometheus promtool /usr/local/bin/
sudo cp prometheus.yml /etc/prometheus/
sudo chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus
# 启动服务
sudo systemctl daemon-reload
sudo systemctl enable --now prometheus

（2）配置文件详解

/etc/prometheus/prometheus.yml核心配置示例：

global:
  scrape_interval: 15s  # 全局采集间隔
  evaluation_interval: 15s  # 告警规则评估间隔
scrape_configs:
  - job_name: 'node_exporter'
    static_configs:
      - targets: ['localhost:9100']  # Node Exporter目标
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']  # 自监控

3. Grafana安装与初始化

# 下载并安装（Ubuntu示例）
wget https://dl.grafana.com/oss/release/grafana_9.5.6_amd64.deb
sudo apt install ./grafana_*.deb
# 启动服务
sudo systemctl enable --now grafana-server

访问http://<IP>:3000，默认用户名/密码为admin/admin，首次登录需修改密码。

三、核心组件集成与扩展

1. Node Exporter部署

用于采集主机级指标（CPU、内存、磁盘等）：

wget https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-amd64.tar.gz
tar xvf node_exporter-*.tar.gz
sudo cp node_exporter-*/node_exporter /usr/local/bin/
# 创建systemd服务
cat <<EOF | sudo tee /etc/systemd/system/node_exporter.service
[Unit]
Description=Node Exporter
After=network.target
[Service]
User=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
sudo useradd --no-create-home --shell /bin/false node_exporter
sudo systemctl enable --now node_exporter

在Prometheus配置中添加scrape_configs后重启服务。

2. Alertmanager告警集成

（1）安装Alertmanager

wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz
tar xvf alertmanager-*.tar.gz
sudo cp alertmanager-*/alertmanager /usr/local/bin/
# 配置systemd服务（类似Prometheus）

（2）配置告警规则

在Prometheus配置中添加rule_files：

rule_files:
  - '/etc/prometheus/alert.rules.yml'

示例规则文件：

groups:
  - name: node.rules
    rules:
      - alert: NodeCPUUsage
        expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "High CPU usage on {{ $labels.instance }}"
          description: "CPU usage is above 80% (current value: {{ $value }}%)"

（3）Alertmanager配置

/etc/alertmanager/alertmanager.yml示例：

global:
  resolve_timeout: 5m
route:
  receiver: email
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
receivers:
  - name: email
    email_configs:
      - to: admin@example.com
        from: alert@example.com
        smarthost: smtp.example.com:587
        auth_username: "user"
        auth_password: "password"

四、Grafana仪表盘配置实战

1. 数据源配置

登录Grafana后，依次点击Configuration → Data Sources → Add data source，选择Prometheus，填入URL（如http://localhost:9090），点击Save & Test。

2. 仪表盘创建

（1）使用模板

• 搜索社区模板（ID 8919为Node Exporter官方仪表盘）。
• 导入后选择对应的数据源。

（2）手动创建

1. 点击Create → Dashboard。
2. 添加Panel，选择可视化类型（如Graph、Gauge）。
3. 在Metrics选项卡中输入PromQL查询，例如：

   rate(node_cpu_seconds_total{mode="user"}[5m]) * 100

4. 配置Axes、Legend及Alert规则。

3. 告警规则配置

在Panel的Alert选项卡中创建告警：

• 设置评估条件（如Query A > 0.8）。
• 配置通知策略（如持续5分钟触发）。
• 关联Alertmanager接收器。

五、高可用与扩展方案

1. Prometheus联邦集群

通过federation实现多层级数据聚合：

# 上级Prometheus配置
scrape_configs:
  - job_name: 'federate'
    honor_labels: true
    metrics_path: '/federate'
    params:
      'match[]':
        - '{job="node_exporter"}'
    static_configs:
      - targets: ['<下级Prometheus-IP>:9090']

2. Thanos长期存储

集成对象存储（如S3、MinIO）实现历史数据查询：

# prometheus.yml中添加Thanos侧车
storage:
  tsdb:
    path: /var/lib/prometheus
    retention.time: 72h
thanos:
  sidecar:
    object-storage-config:
      type: s3
      config:
        bucket: "prometheus-data"
        endpoint: "minio.example.com"
        access_key: "minio"
        secret_key: "minio123"

六、常见问题与优化

1. 内存溢出问题

• 调整--storage.tsdb.retention.time（默认15天）。
• 启用--web.enable-admin-api进行手动清理。

2. 采集丢失问题

• 检查scrape_interval与目标响应时间。
• 使用record_rules预计算常用指标。

3. 安全加固

• 启用HTTPS（通过Nginx反向代理）。
• 配置--web.external-url与--web.route-prefix避免路径冲突。

总结

本文系统阐述了Prometheus与Grafana的安装、配置及扩展方法，覆盖从单机部署到高可用集群的全流程。通过实际案例展示了指标采集、告警规则定义及可视化仪表盘构建的关键步骤。开发者可根据实际场景选择二进制包或容器化部署，并结合Thanos、Alertmanager等组件构建企业级监控体系。建议定期审查PromQL查询效率，优化存储策略以应对大规模监控需求。