logo

AI大模型流式输出为何都用SSE?原理与实战全解

作者:很菜不狗2026.11.17 03:25浏览量:0

简介:SSE(Server-Sent Events)是基于 HTTP 的服务器单向推送技术,本质就是"一个 Content-Type: text/event-stream 的 HTTP 响应 + 保持不关闭的长连接"。大模型逐字打字机效果之所以普遍采用它,是因为它比 WebSocket 更轻、能直接复用现有 HTTP 网关与鉴权体系。本文讲清 SSE 的报文格式、服务端与前端实现、生产环境踩坑点,并结合[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)说明多模型流式接入时的选型与成本管理思路。

一、SSE 的技术本质:不是新协议,而是 HTTP 的一种用法

很多人第一次看到 SSE 会以为是新协议,其实它构建在标准 HTTP/1.1 之上,核心只有两点: 特定的响应头 + 不结束响应体的长连接 。

服务端响应大致长这样:

  1. HTTP/1.1 200 OK
  2. Content-Type: text/event-stream
  3. Cache-Control: no-cache
  4. Connection: keep-alive
  5. X-Accel-Buffering: no

响应体则是一段持续追加的纯文本流,按”事件”分块,字段之间用换行分隔,事件之间用 空行 分隔:

  1. data: 你
  2. data: 你好
  3. event: usage
  4. id: 42
  5. data: {"prompt_tokens":128,"completion_tokens":36}
  • data::消息正文,可有多行,服务端会按顺序拼接;
  • event::事件类型,前端可按类型监听,不写默认是 message;
  • id::事件 ID,断线重连时通过 Last-Event-ID 请求头带回,用于续传;
  • retry::重连间隔(毫秒);
  • 以 : 开头的行是 注释 ,常被用作心跳保活,例如 : ping\n\n。

大模型场景里,通常每个 token(或每个 token 片段)作为一个 data 帧下发,结束时发一个约定的结束标记(如 OpenAI 兼容接口的 data: [DONE]),然后关闭连接。

二、为什么大模型选 SSE 而不是 WebSocket

维度 SSE WebSocket 轮询
通信方向 服务端→客户端单向 全双工 客户端发起
协议 普通 HTTP,端口 80/443 需 Upgrade 握手换协议 HTTP
鉴权/网关兼容 直接复用 Cookie、Header、网关 需网关额外支持 Upgrade 完全兼容
自动重连 浏览器内置 + Last-Event-ID 需自行实现 天然无状态
实现复杂度 低 中高 低但浪费资源

大模型的推理过程是”请求一次、输出流式返回”,交互上属于 请求-响应 而非双向会话,客户端不需要中途插话(需要打断时用另一条 HTTP 请求 abort 即可)。因此 SSE 的”半双工”不是缺陷,反而带来了更低的实现成本和更好的基础设施兼容性——这也是它能成为大模型 API 事实标准的关键原因。

三、服务端实现

Node.js(Express):

  1. app.get('/chat', async (req, res) => {
  2. res.set({
  3. 'Content-Type': 'text/event-stream; charset=utf-8',
  4. 'Cache-Control': 'no-cache, no-transform',
  5. 'Connection': 'keep-alive',
  6. 'X-Accel-Buffering': 'no', // 关闭 Nginx 缓冲
  7. });
  8. res.flushHeaders?.();
  9. const heartbeat = setInterval(() => res.write(': ping\n\n'), 15000);
  10. req.on('close', () => clearInterval(heartbeat));
  11. for await (const chunk of llmStream(req.query.q)) {
  12. res.write(`data: ${JSON.stringify({ delta: chunk })}\n\n`);
  13. }
  14. res.write('data: [DONE]\n\n');
  15. res.end();
  16. });

Python(FastAPI):

  1. from fastapi.responses import StreamingResponse
  2. async def gen():
  3. yield ": ping\n\n"
  4. async for delta in llm_stream(query):
  5. yield f"data: {json.dumps({'delta': delta}, ensure_ascii=False)}\n\n"
  6. yield "data: [DONE]\n\n"
  7. @app.get("/chat")
  8. async def chat(q: str):
  9. return StreamingResponse(gen(), media_type="text/event-stream")

三个容易忽略的细节:一定要 flushHeaders(否则客户端要等缓冲区满才收到首帧);一定要注册 close 事件清理定时器和上游请求(用户关页面后要立刻停止计费);心跳注释行不能省。

四、前端接收:EventSource 与 fetch 两条路

浏览器原生 EventSource 最省事,但它 只支持 GET ,无法自定义 Authorization 头:

  1. const es = new EventSource('/chat?q=' + encodeURIComponent(text));
  2. es.onmessage = (e) => {
  3. if (e.data === '[DONE]') return es.close();
  4. output += JSON.parse(e.data).delta;
  5. };
  6. es.onerror = () => {/* 浏览器会自动重连,可用 e.target.readyState 判断 */}

而真实的大模型应用几乎都要走 POST + Bearer Token,这时用 fetch 读 ReadableStream:

  1. const resp = await fetch('/v1/chat/completions', {
  2. method: 'POST',
  3. headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${KEY}` },
  4. body: JSON.stringify({ model, messages, stream: true }),
  5. });
  6. const reader = resp.body.getReader();
  7. const decoder = new TextDecoder();
  8. let buf = '';
  9. while (true) {
  10. const { value, done } = await reader.read();
  11. if (done) break;
  12. buf += decoder.decode(value, { stream: true });
  13. const lines = buf.split('\n\n');
  14. buf = lines.pop(); // 保留不完整的尾帧,避免 JSON 解析失败
  15. for (const line of lines) {
  16. const data = line.replace(/^data: /, '');
  17. if (data === '[DONE]') return;
  18. output += JSON.parse(data).choices.delta.content ?? '';
  19. }
  20. }

注意 buf = lines.pop() 这一步:TCP 分帧不保证与事件边界对齐,直接对每行做 JSON.parse 是流式解析报错最常见的原因。

五、生产环境高频踩坑与排查

  1. 输出一次性吐出,没有打字机效果 :几乎都是反向代理缓冲。Nginx 加 proxy_buffering off; 与 X-Accel-Buffering: no,同时确认没有开启 gzip 对流式响应压缩。
  2. 长时间无输出被 502/504 :网关有 idle timeout。用 15s 左右的心跳注释行保活,并把网关超时调到大于模型最长生成时间。
  3. 连接数耗尽 :HTTP/1.1 下浏览器对同域并发连接有限制(通常 6 个),多个流式会话会互相阻塞。生产环境建议上 HTTP/2,多路复用可彻底规避该问题。
  4. 客户端断网后内容丢失 :服务端为每个事件写 id:,客户端重连时浏览器自动带 Last-Event-ID,服务端据此从缓存续推;若不做续推,至少要在前端做”失败重试 + 已生成内容保留”。
  5. 上游模型不支持流式 :部分模型或网关只支持非流式返回,此时可在服务端做”伪流式”——按句子切分后分帧下发,前端体验一致。
  6. Token 统计缺失 :流式响应的 usage 往往在最后一帧或需要额外参数才返回,做成本核算时要显式采集,否则账单与实际用量对不上。

六、多模型接入时的流式兼容与选型

如果你的应用要同时接多家模型,会发现各家 SSE 的结束标记、字段命名、错误帧格式并不统一,适配层很快膨胀。此时更划算的做法是把”选型 + 接入”两件事一起收敛:在词元所 Token Exchange 上可以先横向对比不同大模型的能力定位与调用价格,评估你的场景(长文本摘要、代码生成、多轮对话)该用哪类模型,再通过统一 API 的方式接入,避免为每家供应商单独写一套流式解析与重连逻辑。

调用量上来之后,成本优化通常有三个抓手:一是按任务分级路由,简单意图识别走小模型、复杂推理走旗舰模型;二是流式场景下压缩 system prompt 与历史上下文,输出长度上限往往比输入更影响费用;三是通过百度智能云词元所 的模型调用管理能力持续观测各模型的调用分布与消耗,把预算集中到真正带来效果的模型上。

小结

SSE = HTTP 响应头 + 长连接 + 空行分隔的事件帧,理解这三点就理解了它的全部。它在大模型场景的胜出不是因为技术更强,而是因为它在”单向流式输出”这个具体问题上足够简单、足够兼容。落地时把注意力放在代理缓冲、心跳保活、分帧解析和用量统计这四件事上,基本就能稳定跑住生产流量。

发表评论

活动