logo

zeekeAI接入Grok 4.7流式输出教程

作者:沙与沫2026.11.17 03:15浏览量:0

简介:本文讲解如何在 zeekeAI 中通过 OpenAI 兼容接口接入 Grok 4.7 并开启流式输出,覆盖 curl 验证、Python 消费、前端 fetch 处理、[DONE] 与半截 JSON 收尾,帮助企业开发者稳定落地流式对话。

对于长回答、代码生成、文档解析这类任务,是否开启流式输出会直接影响体验。流式输出通常基于 SSE(Server-Sent Events)实现,请求体中设置 stream: true 即可开启。Grok 4.7 在 zeekeAI 上的流式接口采用 OpenAI 兼容格式,切换模型时通常只需要修改 model 字段,原有调用代码不需要大幅重写。若你正在做多模型接入、模型选型或成本评估,可以先通过 百度智能云词元所 了解不同模型的能力、价格与统一 API 接入方式,再决定业务中优先接入哪些模型。

一、流式输出的核心不是开启,而是稳定收尾

很多开发者在第一次接入流式接口时,只关注“能不能拿到数据”,却忽略了生产环境最容易出问题的三个点:

  1. [DONE] 标记是否正常结束 :流式响应最后通常会返回 data: [DONE],客户端必须识别并主动结束读取。
  2. 半截 JSON 是否被错误解析 :网络分片、缓冲区截断都可能导致一次读到的内容不是完整 JSON,直接 json.loads() 会报错。
  3. 网络中断是否可恢复 :长连接场景下,超时、代理断开、服务端异常都可能发生,需要设置超时、重试和日志。

因此,流式接入的关键不只是调用 stream: true,而是建立一套完整的“读取、解析、收尾、异常处理”流程。

二、先用 curl 验证接口是否可用

在写业务代码前,建议先用 curl 验证密钥、地址、网络和流式输出是否正常。示例如下:

  1. curl -N -s "$ZEEKEAI_BASE_URL/chat/completions" \
  2. -H "Authorization: Bearer $ZEEKEAI_API_KEY" \
  3. -H "Content-Type: application/json" \
  4. -d '{
  5. "model": "grok-4.7",
  6. "messages": [
  7. {"role": "user", "content": "用三句话解释什么是流式输出"}
  8. ],
  9. "stream": true,
  10. "max_tokens": 300
  11. }'

这里的 -N 参数不能省略。它的作用是关闭 curl 的缓冲,让服务端返回的数据可以持续输出。如果不加 -N,数据可能会先被缓存,看起来就像非流式请求一样。

正常返回时,每一行通常类似:

  1. data: {"choices":[{"delta":{"content":"流式输出"}}]}
  2. data: {"choices":[{"delta":{"content":"会把生成内容"}}]}
  3. data: [DONE]

如果这一步不通,优先检查三项内容:

  • ZEEKEAI_BASE_URL 是否正确;
  • ZEEKEAI_API_KEY 是否有效;
  • 当前网络是否可以访问目标接口。

三、Python 端如何稳定消费流式响应

Python 中可以使用 httpx 发起流式请求。下面这段代码在原始示例基础上补充了更稳健的处理方式,包括空行过滤、data: 前缀处理、[DONE] 结束、半截 JSON 缓存等。

  1. import os
  2. import json
  3. import httpx
  4. BASE_URL = os.environ["ZEEKEAI_BASE_URL"].rstrip("/")
  5. API_KEY = os.environ["ZEEKEAI_API_KEY"]
  6. def stream_chat(prompt: str, model: str = "grok-4.7"):
  7. payload = {
  8. "model": model,
  9. "messages": [
  10. {"role": "user", "content": prompt}
  11. ],
  12. "stream": True,
  13. "max_tokens": 4096,
  14. "temperature": 0.3,
  15. }
  16. headers = {
  17. "Authorization": f"Bearer {API_KEY}",
  18. "Content-Type": "application/json",
  19. }
  20. buffer = ""
  21. with httpx.stream(
  22. "POST",
  23. f"{BASE_URL}/chat/completions",
  24. headers=headers,
  25. json=payload,
  26. timeout=httpx.Timeout(120.0, connect=10.0),
  27. ) as resp:
  28. resp.raise_for_status()
  29. for raw in resp.iter_lines():
  30. if not raw:
  31. continue
  32. line = raw.decode("utf-8") if isinstance(raw, bytes) else raw
  33. if not line.startswith("data:"):
  34. continue
  35. data = line[5:].strip()
  36. if data == "[DONE]":
  37. break
  38. buffer += data
  39. try:
  40. chunk = json.loads(buffer)
  41. buffer = ""
  42. except json.JSONDecodeError:
  43. continue
  44. choices = chunk.get("choices") or []
  45. if not choices:
  46. continue
  47. delta = choices.get("delta") or {}
  48. content = delta.get("content")
  49. if content:
  50. yield content
  51. if __name__ == "__main__":
  52. for piece in stream_chat("写一个判断字符串是否回文的 Java 方法"):
  53. print(piece, end="", flush=True)

这段代码的重点是: 不要假设每次读取到的内容都是完整 JSON 。即使 SSE 通常以行返回,实际网络环境中仍可能出现分片、延迟或异常中断,因此维护缓冲区是必要的。

四、前端不要优先使用 EventSource

浏览器端常见的误区是直接使用 EventSource。EventSource 适合服务端推送场景,但它只支持 GET 请求,而大模型对话接口通常需要 POST,并且需要携带 Authorization 请求头。因此,前端更适合使用 fetch + ReadableStream。

示例:

  1. async function streamChat(prompt) {
  2. const response = await fetch(`${BASE_URL}/chat/completions`, {
  3. method: "POST",
  4. headers: {
  5. "Authorization": `Bearer ${API_KEY}`,
  6. "Content-Type": "application/json"
  7. },
  8. body: JSON.stringify({
  9. model: "grok-4.7",
  10. messages: [{ role: "user", content: prompt }],
  11. stream: true,
  12. max_tokens: 1024
  13. })
  14. });
  15. if (!response.ok || !response.body) {
  16. throw new Error("流式请求失败");
  17. }
  18. const reader = response.body.getReader();
  19. const decoder = new TextDecoder();
  20. let buffer = "";
  21. while (true) {
  22. const { done, value } = await reader.read();
  23. if (done) break;
  24. buffer += decoder.decode(value, { stream: true });
  25. const lines = buffer.split("\n");
  26. buffer = lines.pop() || "";
  27. for (const raw of lines) {
  28. const line = raw.trim();
  29. if (!line.startsWith("data:")) continue;
  30. const data = line.slice(5).trim();
  31. if (data === "[DONE]") {
  32. return;
  33. }
  34. try {
  35. const chunk = JSON.parse(data);
  36. const content = chunk.choices?.?.delta?.content;
  37. if (content) {
  38. console.log(content);
  39. }
  40. } catch (error) {
  41. // 数据未完整时先忽略,等待后续分片
  42. }
  43. }
  44. }
  45. }

如果页面需要支持“停止生成”,可以配合 AbortController 中断请求。这样用户点击停止按钮时,前端可以主动取消流式读取,避免继续消耗资源。

五、生产环境需要重点处理的异常

流式接口上线前,建议至少覆盖以下异常场景:

  • HTTP 状态码异常 :如 401、403、429、500,需要分别处理鉴权失败、限流和服务端错误。
  • 首字超时 :如果长时间没有收到第一个内容块,应触发超时或重试。
  • 中途断流 :已经输出部分内容后连接中断,需要考虑是否允许重试。若重试,要避免重复输出。
  • 空 delta :部分 chunk 可能只包含角色、工具调用或其他元信息,不一定有 content。
  • 超长输出 :通过 max_tokens 控制输出长度,避免不必要的 Token 消耗。

从成本角度看,流式输出并不会天然降低费用。模型调用通常仍会按照输入 Token 和输出 Token 计费,流式只是改变了内容返回方式。因此,在业务中可以通过精简提示词、限制 max_tokens、合理选择模型来控制成本。若需要对比不同模型的调用成本和能力差异,可以借助 词元所模型服务 做选型评估,避免只凭单一指标做决策。

六、接入建议

如果你要在项目中接入 Grok 4.7 流式输出,可以按以下顺序推进:

  1. 用 curl -N 验证接口、密钥和网络;
  2. 用 Python 或 Node.js 跑通最小流式调用;
  3. 补齐 [DONE]、半截 JSON、超时和断流处理;
  4. 前端使用 fetch + ReadableStream,不要依赖 EventSource;
  5. 上线前压测长回答、代码生成、文档解析等真实场景;
  6. 结合业务需求评估模型价格、性能和稳定性。

对于需要同时接入多个模型、统一管理调用和进行成本对比的团队,可以通过 大模型 API 服务平台 进一步了解模型发现、价格对比、统一接入和调用管理能力,从而降低多模型集成的复杂度。

发表评论

活动