logo

低成本混合多代理架构部署与调度实操指南

作者:宇宙中心我曹县2026.11.18 11:30浏览量:0

简介:本文讲解如何部署以27B级开源模型为主代理、云端低成本模型为子代理、旗舰模型兜底的混合多代理架构。读者可掌握环境准备、本地模型部署、调度代码编写、上线验证与成本监控的完整流程,并获得可直接对照的排查清单。

一、为什么采用混合架构

大模型落地通常面临两类成本。完全依赖本地GPU时,硬件采购和电费较高,而且单卡并发能力有限。完全依赖云端API时,Token费用会随调用量线性增长,同时敏感数据需要离开内网。混合架构把两者的优点结合起来:本地模型负责理解需求和拆分任务,云端低成本模型并行处理大量子任务,只有在复杂或失败的场景下才调用价格更高的旗舰模型。

这种架构能降低成本、提高并发,但它并不会取消资源限制。云端API存在配额、每分钟请求数(RPM)和每分钟Token数(TPM)限制,费用也随用量增长。因此,部署时要把限流、预算和兜底次数当作设计的一部分,而不是事后补充。

二、组件与调用时序

本方案包含四个组件:

  1. 主代理(本地部署):27B级开源模型,负责识别意图、拆分任务并输出结构化计划。
  2. 子代理(云端API):低成本通用模型,并行执行主代理拆分出的子任务。
  3. 旗舰模型(云端API):只在兜底场景调用,用更高的思考强度给出最终判断。
  4. 调度中枢:运行在本地或云服务器上的编排程序,负责上下文传递、路由、并发控制、重试和结果聚合。

一次请求的执行顺序如下。

  1. 调度中枢把用户需求发给主代理,要求其输出JSON格式的子任务列表。
  2. 若JSON解析失败,调度中枢重新请求一次。连续两次失败则直接进入旗舰兜底。
  3. 子任务并发发送给子代理。单个子任务最多重试3次,4xx错误(如鉴权失败)不重试。
  4. 若失败子任务比例超过20%,进入旗舰兜底。
  5. 主代理汇总子任务结果,并对最终答案做校验。校验不通过时进入旗舰兜底。
  6. 兜底流程把需求和已有结果交给旗舰模型,由其输出最终答案。

三、前置准备

计算资源。 27B模型的显存占用主要来自权重、KV缓存和推理框架开销。以参数量估算,INT8权重约27GB,INT4权重约14GB。KV缓存随上下文长度和并发数增长。因此,INT4部署建议至少使用24GB显存的GPU,INT8部署建议40GB以上显存,或使用双卡切分。系统内存建议不低于64GB。上述数值只是起点,应在目标硬件上用真实并发压测后校准。

网络与安全。 调度中枢需要访问云端API,因此只开放必要的出站HTTPS端口,并把出站目标域名加入白名单。云端API地址、模型名和密钥都应通过配置项注入,不能写入代码仓库。

依赖环境。 安装主流Linux发行版,配置NVIDIA驱动和CUDA,安装Docker与Python 3.10或更高版本。依赖版本应固定在requirements.txt中,例如写成httpx==<你测试通过的版本>,避免线上环境与测试环境不一致。

凭证。 在云厂商平台申请子代理和旗舰模型的API Key,并记录每个模型的RPM、TPM和单价。这些数据会直接决定第五节中的并发数和第八节中的成本估算。

四、部署本地主代理

本地主代理应以OpenAI兼容接口的形式对外提供服务。下面以vLLM为例,实际参数需要按所选模型和版本调整,并以官方文档为准。

  1. vllm serve /models/your-27b-awq \
  2. --host 0.0.0.0 --port 8000 \
  3. --quantization awq \
  4. --max-model-len 8192 \
  5. --gpu-memory-utilization 0.90 \
  6. --max-num-seqs 16 \
  7. --served-model-name main-agent

参数说明如下。

  • --quantization 需与权重格式一致,例如AWQ或GPTQ权重。
  • --max-model-len 设为8192是为了兼顾任务规划所需的上下文和显存占用。长度越大,KV缓存占用越多。
  • --max-num-seqs 限制同时处理的请求数,它是本地显存不溢出的主要开关。

启动后,用以下命令确认服务可用:

  1. curl -s http://127.0.0.1:8000/v1/models

五、配置调度中枢

调度中枢需要以下配置项。所有密钥都应从环境变量或密钥管理服务读取。

配置项 说明 示例
LOCAL_AGENT_URL 本地主代理地址 http://127.0.0.1:8000/v1
LOCAL_AGENT_MODEL 本地模型名 main-agent
SUB_AGENT_URL / SUB_AGENT_API_KEY / SUB_AGENT_MODEL 子代理接口与密钥 由云厂商提供
FLAGSHIP_API_URL / FLAGSHIP_API_KEY / FLAGSHIP_MODEL 旗舰模型接口与密钥 由云厂商提供
SUB_CONCURRENCY 子代理并发上限 按RPM配额换算,例如8

并发上限的估算方法是:子代理的RPM配额除以单个子任务的平均时长(单位为分钟),再保留20%余量。例如RPM为300、单个子任务平均耗时2秒,理论上限约为300除以30,即10个并发,取8更稳妥。

六、编排代码

下面的代码是最小可运行的编排骨架,只依赖httpx。它包含超时、并发限制、指数退避重试、计划校验和旗舰兜底。生产环境还需要补充日志脱敏、指标采集和熔断器。

  1. import asyncio
  2. import json
  3. import logging
  4. import os
  5. import random
  6. import httpx
  7. log = logging.getLogger("orchestrator")
  8. LOCAL_URL = os.environ["LOCAL_AGENT_URL"]
  9. LOCAL_MODEL = os.environ.get("LOCAL_AGENT_MODEL", "main-agent")
  10. SUB_URL = os.environ["SUB_AGENT_URL"]
  11. SUB_KEY = os.environ["SUB_AGENT_API_KEY"]
  12. SUB_MODEL = os.environ["SUB_AGENT_MODEL"]
  13. FLAG_URL = os.environ["FLAGSHIP_API_URL"]
  14. FLAG_KEY = os.environ["FLAGSHIP_API_KEY"]
  15. FLAG_MODEL = os.environ["FLAGSHIP_MODEL"]
  16. SUB_CONCURRENCY = int(os.environ.get("SUB_CONCURRENCY", "8"))
  17. MAX_SUBTASK_RETRY = 3
  18. FAILURE_RATIO_LIMIT = 0.2
  19. RETRYABLE = {429, 500, 502, 503, 504}
  20. TIMEOUT = httpx.Timeout(connect=5.0, read=60.0, write=10.0, pool=5.0)
  21. PLANNER_PROMPT = '你是任务规划器,只输出JSON,格式为 {"sub_tasks": ["子任务1", "子任务2"]}。'
  22. AGGREGATE_PROMPT = "根据子任务结果整合出完整答案,不要编造子任务结果中没有的信息。"
  23. sem = asyncio.Semaphore(SUB_CONCURRENCY)
  24. async def chat(client, base_url, api_key, model, messages, max_tokens=1024):
  25. resp = await client.post(
  26. f"{base_url}/chat/completions",
  27. headers={"Authorization": f"Bearer {api_key}"},
  28. json={"model": model, "messages": messages, "max_tokens": max_tokens},
  29. )
  30. resp.raise_for_status()
  31. return resp.json()["choices"][0]["message"]["content"]
  32. def parse_plan(text: str) -> list[str]:
  33. tasks = json.loads(text)["sub_tasks"]
  34. if not isinstance(tasks, list) or not (1 <= len(tasks) <= 50):
  35. raise ValueError("sub_tasks 必须是 1 到 50 项的列表")
  36. return [str(t) for t in tasks]
  37. def validate(answer: str) -> bool:
  38. # 示例规则:答案非空。实际项目可增加格式校验或小模型判分。
  39. return bool(answer.strip())
  40. async def run_subtask(client, task_id: int, task: str) -> dict:
  41. async with sem:
  42. for attempt in range(1, MAX_SUBTASK_RETRY + 1):
  43. try:
  44. text = await chat(client, SUB_URL, SUB_KEY, SUB_MODEL,
  45. [{"role": "user", "content": task}])
  46. return {"id": task_id, "ok": True, "result": text}
  47. except httpx.HTTPStatusError as e:
  48. if e.response.status_code not in RETRYABLE:
  49. break
  50. log.warning("subtask_retry id=%s attempt=%d status=%d",
  51. task_id, attempt, e.response.status_code)
  52. except httpx.TransportError:
  53. log.warning("subtask_retry id=%s attempt=%d reason=transport",
  54. task_id, attempt)
  55. await asyncio.sleep(min(2 ** attempt + random.random(), 30))
  56. log.error("subtask_failed id=%s", task_id)
  57. return {"id": task_id, "ok": False, "result": None}
  58. async def flagship_fallback(client, user_prompt, reason, results=None) -> dict:
  59. log.warning("fallback_triggered reason=%s", reason)
  60. context = json.dumps(results or [], ensure_ascii=False)[:8000]
  61. answer = await chat(client, FLAG_URL, FLAG_KEY, FLAG_MODEL, [
  62. {"role": "user",
  63. "content": f"需求:{user_prompt}\n已有子任务结果(可能不完整):{context}\n请给出最终结论。"},
  64. ], max_tokens=4096)
  65. return {"source": "flagship", "reason": reason, "answer": answer}
  66. async def execute_task(user_prompt: str) -> dict:
  67. async with httpx.AsyncClient(timeout=TIMEOUT) as client:
  68. tasks = None
  69. for attempt in range(1, 3):
  70. raw = await chat(client, LOCAL_URL, "local", LOCAL_MODEL, [
  71. {"role": "system", "content": PLANNER_PROMPT},
  72. {"role": "user", "content": user_prompt},
  73. ])
  74. try:
  75. tasks = parse_plan(raw)
  76. break
  77. except (ValueError, KeyError, TypeError, json.JSONDecodeError):
  78. log.warning("plan_parse_failed attempt=%d", attempt)
  79. if tasks is None:
  80. return await flagship_fallback(client, user_prompt, "plan_invalid")
  81. results = await asyncio.gather(
  82. *(run_subtask(client, i, t) for i, t in enumerate(tasks))
  83. )
  84. failed = sum(1 for r in results if not r["ok"])
  85. if failed / len(results) > FAILURE_RATIO_LIMIT:
  86. return await flagship_fallback(client, user_prompt,
  87. "failure_ratio", results)
  88. merged = "\n".join(r["result"] for r in results if r["ok"])
  89. answer = await chat(client, LOCAL_URL, "local", LOCAL_MODEL, [
  90. {"role": "system", "content": AGGREGATE_PROMPT},
  91. {"role": "user", "content": f"原始需求:{user_prompt}\n子任务结果:\n{merged}"},
  92. ], max_tokens=2048)
  93. if not validate(answer):
  94. return await flagship_fallback(client, user_prompt,
  95. "validate_failed", results)
  96. return {"source": "main", "answer": answer}

代码中有几点需要注意。

  • 日志只记录任务编号、重试次数和原因,不记录提示词和响应内容,因为需求中可能包含敏感数据。
  • 4xx错误直接失败,不进入重试,避免在鉴权错误或参数错误上消耗配额。
  • 兜底时结果被截断到8000字符,防止旗舰模型的输入Token失控。旗舰模型的思考强度参数由各厂商接口单独设置,应按其文档配置。
  • validate 只是占位规则。它决定什么情况下进入兜底,应结合业务标准完善。

七、上线验证

上线前需要完成四类验证。每类都要检查日志中的预期记录,而不只看最终返回值。

1. 主代理连通性。 发送一条简单需求,确认主代理返回的内容可以被json.loads解析,并包含sub_tasks字段。

2. 子代理并行能力。 输入一个包含5到10个独立子任务的需求。日志中应能看到多个子任务在同一时间段开始执行,且全部成功返回。

3. 兜底机制验证。 使用以下三类输入分别测试。

测试用例 构造方式 预期日志
格式错误 让主代理返回非JSON文本(可用mock替换) plan_parse_failed attempt=1、plan_parse_failed attempt=2、fallback_triggered reason=plan_invalid
结果校验失败 让聚合结果为空字符串 fallback_triggered reason=validate_failed
连续失败 用mock让子代理接口持续返回503 subtask_retry 出现3次、subtask_failed,随后 fallback_triggered reason=failure_ratio

4. 性能与资源压测。 压测时记录以下指标。阈值是起点,应按业务压测结果校准。

指标 统计口径 建议起点阈值
本地显存峰值 nvidia-smi 采样 低于总显存的90%
子任务P95时延 从发出请求到收到响应 低于10秒
本地推理OOM次数 容器日志中搜索 out of memory 每天为0
子代理失败率 失败子任务数除以子任务总数 超过5%告警
兜底触发率 旗舰调用次数除以总请求数 超过10%告警
出网带宽 云主机监控 持续高于70%告警

兜底触发率持续偏高,通常说明主代理的规划能力不足,应优化规划提示词,或换用更大的本地模型。

八、成本估算

月成本可以按以下公式估算:

月成本 = 本地GPU月租或折旧 + 子代理月费用 + 旗舰月费用

其中:

  • 子代理月费用 = 日均子任务Token数 × 30 × 子代理单价
  • 旗舰月费用 = 日均兜底次数 × 30 × 单次兜底平均Token数 × 旗舰单价

假设条件如下,仅用于演示计算方法:日均子任务消耗2000万Token,子代理单价为每百万Token 1元,日均兜底200次,单次兜底平均消耗6000Token,旗舰单价为每百万Token 60元。那么子代理月费用约为600元,旗舰月费用约为2160元。可以看出,兜底次数对成本的影响远大于子任务量。因此,降低兜底率比压缩子任务数更有效。

实际单价以各厂商当期报价为准。输入与输出Token的单价可能不同,计算时需要分开统计。

九、常见问题排查

现象 可能原因 排查命令 修复动作
本地推理OOM 并发过高或上下文过长 `docker logs <容器名> —tail 200 \ grep -i “out of memory”` 降低 --max-num-seqs 或 --max-model-len,或调度中枢增加排队
云端API超时 出网带宽打满,或触达RPM限制 curl -o /dev/null -s -w "%{time_total}\n" <子代理地址> 降低 SUB_CONCURRENCY,检查带宽监控,确认配额
云端API返回429 超过RPM或TPM限额 查看 subtask_retry status=429 日志数量 确认指数退避生效,申请提升配额或降低并发
计划反复解析失败 主代理输出格式不稳定 grep plan_parse_failed 统计次数 在提示词中给出JSON示例,或降低采样温度
兜底率持续偏高 主代理规划能力不足,或子任务拆分过细 统计 fallback_triggered 的reason分布 优化规划提示词,升级本地模型,或合并过细的子任务
子代理鉴权失败 密钥错误或过期 查看 subtask_failed 前的状态码 检查环境变量是否注入,并轮换密钥

十、运维与安全

监控与告警。 收集调度中枢和推理引擎的日志,建立看板,展示本地吞吐量、云端Token消耗、平均处理时长、兜底触发率和子代理失败率。告警阈值参考第七节的表格。

稳定性。 调度中枢部署至少两个副本,前置负载均衡。本地推理服务配置健康检查接口,服务无响应时由容器平台自动重启。重启后,调度中枢应能重新建立连接,而不需要人工干预。

数据安全。 需求中如果包含个人信息、客户数据或内部机密,应在发送给云端子代理之前完成脱敏。否则,混合架构会把本应留在内网的数据送到外部。出站白名单、日志脱敏和密钥轮换都应纳入上线检查清单。

成本控制。 为每个云端账号设置月度预算告警和硬性上限。定期核对兜底率与成本的关系,发现异常立即排查,而不要等账单出现后再处理。

完成以上步骤后,这套架构可以在配额和预算允许的范围内,提升任务的并发处理能力和Token吞吐量。

发表评论

活动