logo

企业调用大模型怎么做:从接入到降本的实操指南

作者:快去debug2026.11.17 03:34浏览量:0

简介:企业接入大模型前,要先在云端API与私有化部署之间做选择。本文给出可直接运行的Python接入代码、超时重试与流式输出方法、Token成本计算公式、选型评分表和常见故障排查清单,帮助团队少走弯路,把预算控制在可预期范围内。

很多团队第一次接入大模型时,先写代码,后想业务,结果调用成本失控,故障也难以定位。更稳妥的顺序是先定场景,再选调用方式,最后用数据做选型。每一步都留下可以检查的产出,后续的成本分析和故障排查才有依据。

一、先定场景,再选调用方式

企业接入大模型前,先写清楚要解决的任务,例如客服问答、合同摘要或代码辅助。任务明确后,再决定调用方式和模型。不同任务对延迟、准确率和数据安全的要求差别很大,把它们混在一起选型,通常会得到一个各方面都不突出的结果。

云端API或SDK调用:通过HTTP接口或SDK调用服务商托管的模型。企业不需要采购GPU、维护推理框架或处理扩缩容。它适合快速上线、流量波动大、运维人手少的团队。

本地或私有化部署:把模型部署在自有服务器、专有云或边缘设备上。数据不出企业边界,延迟可控,也便于满足国产化要求。代价是企业要自己承担算力采购、运维、安全加固和模型版本更新。

两种方式的主要差异如下:

对比项 云端API/SDK 本地或私有化部署
数据出域 数据经过服务商网络,需审查数据处理条款 数据留在企业边界内
上线速度 接入即可调用,通常较快 需采购硬件、部署并调优
扩缩容 由平台承担 企业自行规划容量
鉴权方式 API Key或访问令牌 企业内部统一认证,自行实现
审计能力 依赖平台提供的日志和账单 需自建日志系统
计费方式 按Token或调用量付费 硬件折旧、电费和人力成本
模型版本 平台统一升级,输出可能随之变化 企业自主决定升级时间

许多团队采用混合模式:敏感数据交给私有化模型处理,通用能力调用云端API。这种做法要在网关层设置路由规则。第一步是识别敏感数据,例如身份证号、手机号、合同金额等字段,可以用正则规则起步,再逐步引入分类模型。命中规则的请求走私有化模型。无法判断的请求默认走私有化模型,避免敏感数据误发到云端。每次路由决策都要写入审计日志,记录请求ID、路由目标和命中的规则,方便事后核查。

二、接入步骤与Python示例

建议按以下顺序接入:

  1. 申请API Key,写入环境变量LLM_API_KEY,不要写进代码或代码仓库。
  2. 确认服务地址(base_url)和模型名称,并固定到具体版本号,避免平台升级后输出悄悄变化。
  3. 设置超时时间和重试次数,避免单次请求无限等待。
  4. 先用少量样本调通,再开启流式输出。
  5. 记录每次调用的Token用量、耗时和错误码,作为后续成本与稳定性分析的数据。

示例代码使用OpenAI兼容接口的Python SDK。其他平台替换base_url和模型名即可。

  1. import os
  2. import time
  3. import random
  4. import logging
  5. from openai import (
  6. OpenAI, APIError, APITimeoutError, APIConnectionError, RateLimitError,
  7. AuthenticationError, PermissionDeniedError, BadRequestError,
  8. InternalServerError,
  9. )
  10. logging.basicConfig(level=logging.INFO)
  11. logger = logging.getLogger("llm")
  12. client = OpenAI(
  13. api_key=os.environ["LLM_API_KEY"],
  14. base_url=os.environ.get("LLM_BASE_URL", "https://api.example.com/v1"),
  15. timeout=30.0,
  16. max_retries=0, # 关闭SDK内置重试,统一由下方逻辑控制
  17. )
  18. MODEL = os.environ.get("LLM_MODEL", "your-model-version")
  19. def backoff(attempt: int) -> float:
  20. # 指数退避加随机抖动,避免多个进程在同一时刻同时重试
  21. return min(2 ** attempt, 30) + random.uniform(0, 1)
  22. def ask(prompt: str, max_retries: int = 3) -> str:
  23. for attempt in range(1, max_retries + 1):
  24. try:
  25. resp = client.chat.completions.create(
  26. model=MODEL,
  27. messages=[{"role": "user", "content": prompt}],
  28. max_tokens=512,
  29. temperature=0.2,
  30. )
  31. except (AuthenticationError, PermissionDeniedError):
  32. logger.error("鉴权或权限失败,请检查LLM_API_KEY及模型访问权限")
  33. raise
  34. except BadRequestError as e:
  35. logger.error("请求参数错误或上下文超限: %s", e)
  36. raise
  37. except (RateLimitError, APITimeoutError, APIConnectionError) as e:
  38. wait = backoff(attempt)
  39. logger.warning("第%d次失败(%s),%.1f秒后重试", attempt, type(e).__name__, wait)
  40. time.sleep(wait)
  41. continue
  42. except InternalServerError as e:
  43. wait = backoff(attempt)
  44. logger.warning("服务端5xx错误: %s,%.1f秒后重试", e, wait)
  45. time.sleep(wait)
  46. continue
  47. except APIError as e:
  48. logger.error("未分类的API错误,不重试: %s", e)
  49. raise
  50. usage = resp.usage
  51. if usage:
  52. logger.info("tokens in=%s out=%s", usage.prompt_tokens, usage.completion_tokens)
  53. content = resp.choices[0].message.content
  54. if content is None:
  55. # 模型可能返回工具调用或被安全策略拦截,此时没有文本可用
  56. raise ValueError(
  57. f"模型未返回文本,finish_reason={resp.choices[0].finish_reason}"
  58. )
  59. return content
  60. raise RuntimeError("重试次数耗尽,请切换到降级方案")
  61. def ask_stream(prompt: str):
  62. stream = client.chat.completions.create(
  63. model=MODEL,
  64. messages=[{"role": "user", "content": prompt}],
  65. stream=True,
  66. )
  67. for chunk in stream:
  68. if not chunk.choices: # 部分平台在末尾发送只含usage的空chunk
  69. continue
  70. delta = chunk.choices[0].delta.content
  71. if delta:
  72. yield delta
  73. def show_stream(prompt: str) -> None:
  74. try:
  75. for piece in ask_stream(prompt):
  76. print(piece, end="", flush=True)
  77. print()
  78. except APIError as e:
  79. logger.error("流式输出中断: %s", e)
  80. print("\n[提示] 本次回答生成中断,已显示的内容可能不完整,请重新提问。")

使用说明:

  • 运行前执行export LLM_API_KEY="你的密钥",密钥只存在于运行环境中。日志里不要打印密钥,排查时只确认它是否已设置。
  • 流式输出的错误处理要放在调用方。已经推送给用户的文字无法撤回,因此异常时必须给出明确提示,而不是静默结束。
  • 只对限流(429)、超时、连接错误和5xx错误重试。鉴权错误(401/403)和参数错误(400)重试没有意义,应直接报错,让问题尽快暴露。
  • 部分平台在流式模式下不返回usage字段。可以在请求中加入stream_options={"include_usage": True},平台不支持时,改用本地tokenizer估算输入和输出Token数。

三、选型评分表与Token成本

只看参数规模或榜单分数,容易选错模型。更稳妥的做法是用企业自己的任务样本,按维度逐项打分。

维度 权重 评估方法 阈值示例
任务效果 30% 在自有评测集上人工或自动打分,1到5分 平均分不低于4分
成本 20% 用单次任务成本换算为月度成本 月度成本不超过预算上限
响应延迟 15% 首字延迟与P95总耗时 交互场景P95不超过3秒
上下文长度 10% 最长输入加最长输出是否放得下 预留20%余量
合规与数据驻留 15% 数据处理条款、存储地点、审计能力 通过法务审查
稳定性 10% 近30天成功率、限流策略、SLA承诺 成功率不低于99%,有书面SLA

评分时要记录测量条件,包括样

发表评论

活动