logo

AI API SSRF 到 K8s 凭证泄露:链路拆解与加固实战

作者:有好多问题2026.11.17 03:51浏览量:0

简介:一次大模型推理服务的失陷,往往不是"模型被攻破",而是调试接口暴露、SSRF 和 Kubernetes 权限配置三处基础缺陷被串成了一条完整链路。本文拆解 `/debug` 环境变量泄露、`model` 参数 SSRF 直至集群 Secrets 被读取的全过程,并给出可直接落地的排查清单、代码级防护与凭证轮换步骤。如果你的业务只是调用外部大模型而非自建推理服务,用[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类统一 API 接入平台能明显收窄暴露面;但只要涉及私有化部署、模型精调或自建 vLLM/TGI 网关,下面这几个坑必须自己堵。

一、攻击链拆解:三个独立缺陷如何串成一条线

这类事件的关键特征是: 每一步单独看都不算”高危漏洞”,串起来却是完整的集群接管路径。

环节 技术根因 直接后果
/v1/models 可匿名访问 推理网关未做鉴权,且返回了模型名、量化格式、权重文件大小 资产测绘,确认目标价值与技术栈
/debug 接口暴露 调试能力随生产镜像一起上线,直接回显 os.environ 内网拓扑与凭证一次性泄露
model 参数接受 http(s):// 服务端按用户输入拉取模型,未做目标校验 SSRF,可访问任意内网地址
K8s API Server 可被访问 Pod 内 ServiceAccount Token 权限过大 + 网络未隔离 读取 Secrets,横向移动

泄露的环境变量通常是最致命的一环:INTERNAL_API_URL(内网服务入口)、KUBERNETES_SERVICE_HOST(API Server 地址)、MONGO_CONN_STR、REDIS_URL。这些值本不该出现在任何 HTTP 响应里,但它们恰恰是最容易被”临时加个调试接口”带出去的。

二、SSRF 为什么在大模型服务里格外危险

传统 Web 应用的 SSRF 能打到的多是内网管理后台。而 AI 推理服务有三个特殊属性,使它成为极佳的跳板:

  1. 它天然需要”按 URL 拉取资源” ——加载模型权重、拉取 LoRA 适配器、下载数据集、注册远程 MCP/工具服务。这个业务需求让”用户可控 URL”变成了功能而非漏洞,防护往往被有意放宽。
  2. 它通常部署在 GPU 节点池,网络策略宽松 ——为了拉镜像、访问对象存储和向量库,出站规则常常是全放通。
  3. 它的 Pod 往往绑定了较重的 ServiceAccount ——为了挂载模型缓存 PVC、读写任务队列,权限远超实际需要。

一旦 SSRF 打通到 KUBERNETES_SERVICE_HOST(默认 10.96.0.1:443),配合 Pod 内自动挂载的 Token,读取集群 Secrets 只是时间问题。而 Secrets 里 Base64 编码的 ai-api-key、db-credentials 并不是加密—— Base64 是编码,任何拿到对象读取权限的人都能直接还原 。

三、排查清单:先确认自己有没有中招

按顺序执行,全部为只读操作:

  1. # 1. 匿名可达性:不带任何凭证访问业务端口
  2. curl -i http://<service>/v1/models
  3. curl -i http://<service>/debug # 关注是否回显环境变量
  4. # 2. 当前 Pod 的权限边界(在 Pod 内执行)
  5. cat /var/run/secrets/kubernetes.io/serviceaccount/token >/dev/null && echo "Token 已挂载"
  6. kubectl auth can-i --list # 列出实际拥有的所有权限
  7. kubectl auth can-i get secrets -n kube-system
  8. # 3. 集群侧:谁在访问 Secrets
  9. kubectl get events -A --field-selector reason=Forbidden
  10. # 审计日志中检索 verb=get/objectRef.resource=secrets 且 user 为 system:serviceaccount 的记录
  11. # 4. 是否存在异常新增的持久化对象
  12. kubectl get sa,clusterrolebinding,cronjob,pod -A -o wide

如果第 2 步返回了 secrets 的 get/list,无论是否已被利用,都应按”已泄露”处理。

四、加固:四层防线,缺一不可

入口层:关掉一切非必要暴露

  • /debug、/metrics、/healthz 在生产环境必须关闭或由鉴权网关拦截,绝不随镜像默认开启。
  • /v1/models 返回体裁剪到最小字段,不返回权重路径、文件大小、后端地址。
  • 统一走 API 网关,网关侧强制 API Key / mTLS,禁止推理服务直接对公网暴露 NodePort。

应用层:URL 白名单 + 解析结果校验

只校验字符串是无效的(http://169.254.169.254/、http://10.96.0.1/ 都能绕过朴素正则)。必须校验 协议 + 域名白名单 + DNS 解析后的实际 IP ,并固定解析结果以防 DNS Rebinding:

  1. import ipaddress, socket
  2. from urllib.parse import urlparse
  3. ALLOWED_HOSTS = {"models.internal.example.com"}
  4. def validate_fetch_url(raw: str) -> str:
  5. u = urlparse(raw)
  6. if u.scheme not in ("http", "https"):
  7. raise ValueError("unsupported scheme")
  8. if u.hostname not in ALLOWED_HOSTS:
  9. raise ValueError("host not allowlisted")
  10. for info in socket.getaddrinfo(u.hostname, u.port or 443, proto=socket.IPPROTO_TCP):
  11. ip = ipaddress.ip_address(info[4])
  12. if (ip.is_private or ip.is_loopback or ip.is_link_local
  13. or ip.is_reserved or ip.is_multicast):
  14. raise ValueError(f"resolved to non-public address: {ip}")
  15. return raw # 后续请求应固定到已校验的 IP,避免二次解析

补充三条工程实践:出站请求统一走 正向代理 并配置域名白名单;禁用重定向跟随(allow_redirects=False);对模型拉取任务设置超时与响应体大小上限。

编排层:K8s 最小权限

  1. apiVersion: v1
  2. kind: ServiceAccount
  3. metadata:
  4. name: ai-api
  5. namespace: ai-serving
  6. automountServiceAccountToken: false # 不需要访问 API Server 就别挂 Token
  7. ---
  8. apiVersion: networking.k8s.io/v1
  9. kind: NetworkPolicy
  10. metadata:
  11. name: ai-api-egress-restrict
  12. namespace: ai-serving
  13. spec:
  14. podSelector:
  15. matchLabels: {app: ai-api}
  16. policyTypes: ["Egress"]
  17. egress:
  18. - to: # 仅放通 DNS
  19. - namespaceSelector: {matchLabels: {kubernetes.io/metadata.name: kube-system}}
  20. ports:
  21. - {protocol: UDP, port: 53}
  22. - to: # 仅放通模型仓库
  23. - ipBlock: {cidr: 10.20.0.0/24}
  24. ports:
  25. - {protocol: TCP, port: 443}

同时:用 namespace 级 Role 替代 ClusterRole,禁止业务 SA 绑定 cluster-admin;开启 API Server 审计日志并接入告警;开启 etcd 静态加密(EncryptionConfiguration);对长期不用的凭证改用短期 Token 或 External Secrets / 云 KMS 托管。

网络层

API Server 不应与业务 Pod 同网段可达;GPU 节点池单独划分安全组;开启 NetworkPolicy 默认拒绝(default-deny)再按需放通。

五、已经泄露了怎么办:轮换优先于修复

修复漏洞不等于止损。 凭证一旦出现在响应体里,就必须假定已被获取 ,处置顺序:

  1. 轮换 :ai-api-key、数据库与 Redis 凭证、ServiceAccount Token、镜像仓库凭证、对象存储 AK/SK,全部重新签发。
  2. 降权 :把涉事 SA 的权限收到最小集,删除攻击期间新增的 SA、ClusterRoleBinding、CronJob 和异常 Pod。
  3. 溯源 :从审计日志按时间线检索 Secrets 读取、Token 创建、exec/portforward 行为,确认横向范围。
  4. 验证 :确认新凭证生效后,重跑第三节的排查清单,并检查数据层是否有异常查询或外连流量。

六、把”自建暴露面”变成”选型问题”

这条链路的根本教训是: 自建推理服务的成本不只是 GPU,还包括鉴权、网络隔离、凭证管理和安全运维。 很多团队实际上并不需要自己托管全部模型——标准化的调用需求完全可以走统一接入。

在大模型 API 服务平台上,你可以先做两件事再决定架构:一是通过模型发现与选型能力,对比不同模型在长上下文、代码、多模态等场景的能力边界,判断哪些必须私有化、哪些用托管服务即可;二是用价格与性能对比评估调用成本,把”自建 GPU 常驻成本 + 安全加固人力”和”按量调用成本”放在同一张表里算。

确定接入方式后,词元所的统一 API 接入能力可以减少多模型适配层的自研量,调用管理则便于按业务线归集用量与成本—— 自建的组件越少,需要加固的入口就越少 ,这本身就是最有效的安全设计。

一句话总结 :/debug 关掉、model 参数做白名单校验、Pod 不挂多余 Token、NetworkPolicy 默认拒绝——四件事做完,这条从 SSRF 到集群凭证泄露的链路就断了。

发表评论

活动