一、教程目标

本教程将指导开发者在Kubernetes集群中部署Serving组件，实现以下核心能力：

1. 基于HTTP请求的自动扩缩容（含缩容至零）
2. 无服务器计算资源的动态管理
3. 微服务架构下的流量治理能力

最终交付成果为一个可接收外部请求的自动扩缩容服务，支持从零实例到多实例的弹性伸缩，并具备基本的监控指标输出能力。

二、适用场景

1. 突发流量处理：电商大促、热点事件等场景下的瞬时流量承载
2. 资源优化：降低非高峰时段的资源占用成本
3. DevOps实践：构建持续交付的无服务器架构
4. AI推理服务：为模型推理提供弹性计算资源

三、前置准备

3.1 环境要求

• 已部署的Kubernetes集群（版本≥1.18）
• Helm包管理工具（版本≥3.0）
• 集群节点具备至少4核8G资源（测试环境可降低配置）
• 网络策略支持Ingress/LoadBalancer类型服务暴露

3.2 知识储备

• 掌握Kubernetes基础资源对象（Deployment/Service/Ingress）
• 理解CRD（Custom Resource Definition）概念
• 熟悉YAML配置文件基本语法
• 具备基础的网络调试能力（curl/telnet）

3.3 数据准备

# 示例配置文件结构
apiVersion: v1
kind: ConfigMap
metadata:
  name: serving-config
data:
  autoscale.min-scale: "1"
  autoscale.max-scale: "10"
  container-concurrency: "100"

四、实施步骤

4.1 组件安装

操作步骤

1. 添加Helm仓库：

   helm repo add serving-charts https://charts.example.com/serving
   helm repo update

2. 创建命名空间：

   kubectl create namespace serving-system

3. 部署核心组件：

   helm install serving-core serving-charts/serving-core \
   --namespace serving-system \
   --set controller.replicas=2 \
   --set webhook.enabled=true

设计原理

采用Operator模式实现核心控制逻辑，通过自定义资源（Serving/Route/Configuration）定义服务行为。Webhook组件负责资源变更时的合法性校验，双副本控制器保障高可用性。

4.2 服务配置

关键参数说明

参数	类型	默认值	说明
autoscale.metric	string	concurrency	扩缩容指标（rps/concurrency）
container-concurrency	int	100	单容器最大并发连接数
scale-to-zero-threshold	string	1m	空闲时长阈值

配置示例

apiVersion: serving.example.com/v1
kind: Service
metadata:
  name: sample-service
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/target: "80"
    spec:
      containers:
        - image: nginx:alpine
          ports:
            - containerPort: 8080
  traffic:
    - percent: 100
      latestRevision: true

4.3 网络接入

部署Ingress

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: serving-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
    - host: serving.example.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: sample-service-proxy
                port:
                  number: 80

证书配置（生产环境）

kubectl create secret tls serving-tls \
  --cert=path/to/cert.pem \
  --key=path/to/key.pem \
  --namespace serving-system

五、结果验证

5.1 基础验证

1. 检查Pod状态：

   kubectl get pods -n serving-system

   正常应显示：

   NAME                          READY   STATUS
   sample-service-00001-deploy   2/2     Running
   serving-core-xxxx-xxx         2/2     Running

2. 测试服务可达性：

   curl -H "Host: serving.example.com" http://<INGRESS_IP>

   应返回200状态码及预期响应内容

5.2 扩缩容验证

1. 模拟高并发请求（使用ab工具）：

   ab -n 5000 -c 200 http://serving.example.com/

2. 观察实例变化：

   watch -n 1 "kubectl get revisions -n serving-system"

   应看到实例数量从1逐步增加到配置的最大值

六、常见问题排查

6.1 缩容失败问题

现象：请求结束后实例未减少
排查步骤：

1. 检查最终化器（Finalizer）状态：

   kubectl get service sample-service -o yaml | grep finalizers

2. 查看控制器日志：

   kubectl logs -n serving-system deploy/serving-core -c controller

解决方案：

• 调整scale-to-zero-grace-period参数
• 检查网络策略是否阻止了指标收集

6.2 冷启动延迟

现象：首次请求响应时间过长
优化措施：

1. 配置启动探针（Startup Probe）：

   startupProbe:
   httpGet:
    path: /healthz
   initialDelaySeconds: 5
   periodSeconds: 10

2. 启用预热请求（Warmup）：

   annotations:
   autoscaling.knative.dev/initial-scale: "1"

七、性能优化建议

7.1 资源配额优化

resources:
  requests:
    cpu: "100m"
    memory: "128Mi"
  limits:
    cpu: "500m"
    memory: "512Mi"

7.2 并发控制策略

策略	适用场景	配置方式
连接数限制	CPU密集型服务	container-concurrency: 50
请求速率限制	I/O密集型服务	autoscaling.metric: rps

7.3 多版本管理

traffic:
  - tag: v1
    revisionName: sample-service-00001
    percent: 80
  - tag: v2
    revisionName: sample-service-00002
    percent: 20

八、总结

本教程系统讲解了Serving组件的部署全流程，从环境准备到高级配置共涵盖8个关键步骤。通过合理配置自动扩缩容参数，可使资源利用率提升60%以上，同时保持毫秒级的请求响应延迟。建议后续关注：

1. 自定义指标扩缩容实现
2. 多集群联邦部署方案
3. 结合Service Mesh的流量治理

完整配置示例及详细参数说明可参考官方文档中的CRD规范章节。实际生产部署时，建议先在测试环境验证所有配置参数，特别是涉及安全相关的网络策略设置。