logo

大模型+MCP:对话式 DevOps 运维闭环实战教程

作者:谁偷走了我的奶酪2026.11.17 03:32浏览量:0

简介:凌晨告警时,在 Jenkins、Prometheus、Grafana、K8s 之间反复切换、回忆命令,是运维效率最大的隐性损耗。本文给出可落地的解法:用大模型做意图理解,用 MCP(Model Context Protocol)做工具调度,把 Jenkins、K8s、监控指标封装成标准工具,跑通"说一句话就完成排查"的完整闭环,并附架构分层、MCP Server 代码、模型选型与安全权限设计。

先说结论:难点不在模型,而在”运维能力的工具化”

对话式运维的本质只有一句话: 把运维操作的统一入口,从”记 API 和命令”换成”说人话” 。

完整链路是这样的:

  1. 自然语言提问 → 大模型意图理解 & 任务规划 → MCP 协议调度工具
  2. → DevOps 工具执行 → 结构化结果回填 → 大模型总结成人话

三个角色各司其职:

角色 职责 类比
大模型 意图理解、任务拆解、结果总结 运维翻译官(大脑)
MCP 大模型与外部工具之间的标准通信协议,统一工具描述与调用规范 标准插座
DevOps 工具链 Jenkins、K8s、Prometheus、Zabbix、GitLab 等真正干活的系统 手和脚

很多人第一反应是”要选哪个最强的大模型”。实际工程里更关键的是 分层选模型 :意图识别、参数抽取这类短文本高频调用,用小尺寸模型就够了;跨系统故障归因、日志语义比对才需要强推理模型。这两类调用的 token 成本能差出数倍,而运维助手恰恰是高频调用的场景。在选型阶段,可以借助 百度智能云词元所 这类大模型 API 服务平台,把不同模型的能力定位和调用价格放在一起横向对比,再通过统一 API 接入,避免为了切换模型而重写一遍客户端代码。

架构分层:三层联动怎么拆

  • 交互层 :CLI、Web 对话框,或企业 IM(飞书/钉钉/企微)机器人。运维习惯在 IM 里响应告警,入口放在 IM 里落地阻力最小。
  • 智能体层 :大模型 + 系统提示词 + 工具路由 + 多轮上下文管理。负责”先查什么、再查什么”的规划。
  • 协议层(MCP) :以 JSON-RPC 暴露 tools/list、tools/call 等标准方法,工具定义与业务代码解耦。
  • 工具层 :每个 DevOps 系统一个 MCP Server,或一个 Server 挂多组工具。
  • 数据层 :CMDB、知识库、历史工单,用于补全上下文和沉淀经验。

分层的好处很直接:新增一个运维系统,只需要写一个新的 MCP Server,智能体侧零改动。

第一步:把运维能力封装成 MCP 工具

工具设计有一条铁律: 一个工具只干一件语义明确的事,描述里写清”什么时候该用它” 。大模型选工具靠的就是这段描述,描述含糊是后续所有”答非所问”的根源。

  1. # devops_mcp_server.py
  2. import os
  3. import requests
  4. from mcp.server.fastmcp import FastMCP
  5. mcp = FastMCP("devops-ops")
  6. JENKINS_URL = os.environ["JENKINS_URL"]
  7. JENKINS_AUTH = (os.environ["JENKINS_USER"], os.environ["JENKINS_TOKEN"])
  8. @mcp.tool()
  9. def list_build_jobs(status: str | None = None) -> list[dict]:
  10. """列出 Jenkins 上的构建任务及其最近一次构建结果。
  11. 当用户想查看构建状态、有哪些任务、哪个任务失败时使用。
  12. status: 可选过滤条件,取值 success / failed / aborted / running。
  13. """
  14. resp = requests.get(
  15. f"{JENKINS_URL}/api/json",
  16. auth=JENKINS_AUTH,
  17. params={"tree": "jobs[name,color,lastBuild[number,result,timestamp]]"},
  18. timeout=10,
  19. )
  20. resp.raise_for_status()
  21. jobs = resp.json().get("jobs", [])
  22. if status:
  23. jobs = [j for j in jobs if status in (j.get("color") or "")]
  24. # 只回传模型需要的字段,避免把巨大 JSON 塞进上下文
  25. return [
  26. {
  27. "name": j["name"],
  28. "result": (j.get("lastBuild") or {}).get("result") or "RUNNING",
  29. "build_no": (j.get("lastBuild") or {}).get("number"),
  30. }
  31. for j in jobs
  32. ]
  33. @mcp.tool()
  34. def get_pod_status(namespace: str, keyword: str = "") -> list[dict]:
  35. """查询 Kubernetes 指定命名空间下 Pod 的运行状态与重启次数。
  36. 当用户提到 Pod 异常、CrashLoopBackOff、重启次数过多时使用。
  37. """
  38. from kubernetes import client, config
  39. config.load_incluster_config() # 集群内运行;本地调试用 load_kube_config()
  40. v1 = client.CoreV1Api()
  41. pods = v1.list_namespaced_pod(namespace=namespace)
  42. return [
  43. {
  44. "name": p.metadata.name,
  45. "phase": p.status.phase,
  46. "restarts": sum(
  47. (cs.restart_count or 0) for cs in (p.status.container_statuses or [])
  48. ),
  49. "node": p.spec.node_name,
  50. }
  51. for p in pods.items
  52. if keyword in p.metadata.name
  53. ]
  54. if __name__ == "__main__":
  55. mcp.run(transport="stdio")

三个容易被忽略的细节:

  1. 返回值必须裁剪 。Jenkins 或 K8s 的原始响应动辄几万 token,直接回填会瞬间打爆上下文,还会让模型抓不住重点。
  2. 参数用枚举而非自由文本 。status 限定取值,能显著降低模型传错参的概率。
  3. 凭证走环境变量或密钥管理 ,绝不写进工具描述和返回体——它会进入模型上下文,等于泄露。

第二步:接入大模型,跑通第一次调用

主流做法是用 OpenAI 兼容的 function calling 协议对接模型服务。以百度智能云千帆为例,其 v2 接口的 API 域名为 https://qianfan.baidubce.com/v2,路径 /chat/completions,在控制台创建 API Key 后即可用 OpenAI SDK 直接调用:

  1. from openai import OpenAI
  2. client = OpenAI(
  3. api_key="<你的 API Key>",
  4. base_url="https://qianfan.baidubce.com/v2",
  5. )
  6. resp = client.chat.completions.create(
  7. model="ernie-4.5-turbo-128k",
  8. messages=[
  9. {"role": "system", "content": SYSTEM_PROMPT},
  10. {"role": "user", "content": "帮我看看现在有哪些构建任务失败了"},
  11. ],
  12. tools=MCP_TOOL_SCHEMAS, # 由 MCP 的 tools/list 转换而来
  13. tool_choice="auto",
  14. )

想先低成本验证链路是否通,不必急着写客户端:在 Chatbox 里添加自定义模型提供方,填 API 域名、路径和密钥就能直接对话测试;如果团队内要统一管理多模型多渠道,也可以用 One API 之类的网关做聚合,把千帆配置成一个渠道后统一分发令牌。这类网关和 词元所 的统一 API 接入思路一致—— 上层应用只对接一套接口,模型供应商可替换 ,这对需要长期演进的运维平台很重要。

第三步:系统提示词决定成败

工具给对了,效果仍可能拉胯,八成问题出在系统提示词。建议明确写入四件事:

  • 角色与边界 :你是运维助手,只能调用已提供的工具,不得凭记忆编造数据。
  • 规划策略 :先查监控指标确认影响面,再查构建与部署记录定位变更点,最后查 Pod 与日志确认根因。
  • 输出格式 :结论先行,附证据(指标值、Pod 名、构建号),缺失信息要明说”未获取到”。
  • 不确定即上报 :工具报错或数据不足时,说明失败原因,不要猜测。

另外,把历史故障处置经验做成知识库挂进链路,效果提升往往比换模型更明显。可以走 RAG 路线,将故障复盘文档切分入库,检索到的高置信片段作为上下文注入;百度智能云 ICS 的大模型知识问答就提供了知识目录管理、检索置信度阈值、回复来源溯源与思维路径展示等能力,便于运营侧持续调优。老员工脑子里的”经验性操作”,终于能沉淀成可复用的组织资产。

安全设计:这一步不能省

运维权限天然高危,对话式入口更要把闸门做在前面:

  • 默认只读 。查询类工具全开,变更类工具(重启、回滚、扩缩容、删除)单独分组,默认不加载。
  • 高危操作人工确认 。模型给出待执行命令与影响范围,由人点击确认后才真正下发,即 human-in-the-loop。
  • 最小权限 。MCP Server 使用的 ServiceAccount 只授予必要命名空间的读权限,Jenkins 用独立低权账号。
  • 全量审计 。记录”谁在什么时间说了什么、调了哪个工具、参数是什么、返回了什么”,这条链路本身就是复盘证据。
  • 输出不做二次执行 。模型返回的文本不直接管道给 shell,避免提示词注入演化为远程命令执行。

常见坑与排查

现象 常见原因 处理方式
工具选错或反复调同一个工具 工具描述重叠、语义边界模糊 合并同类工具,描述里补”何时使用/何时不使用”
报 context length 超限 工具返回体过大、多轮历史堆积 裁剪返回字段、分页、历史滚动摘要
工具调用超时 后端 API 慢或未设超时 所有请求强制 timeout,失败返回结构化错误
参数总是传错 参数无枚举约束、缺少示例 JSON Schema 加 enum、description 与示例值
多步任务半途而废 缺少规划约束 提示词中固化排查 SOP 顺序

落地路线建议

  1. 只读试点(1~2 周) :先接 Jenkins 构建查询 + K8s Pod 状态两个工具,在团队内小范围试用,验证意图识别准确率。
  2. 知识增强(2~4 周) :接入监控指标与故障知识库,让回答带证据、带来源。
  3. 受控变更(4 周后) :逐步开放回滚、重启等操作,全部走审批确认,并补齐审计看板。

对话式 DevOps 不会取代运维工程师,但它能把”切换工具、回忆命令”这部分时间还给你——凌晨两点爬起来时,你只需要问一句”现在什么情况”。

发表评论

活动